适用场景
GPFS 适合需要通过文件系统语义共享数据的场景,例如:- 多个 CES 实例或 CKS 集群节点需要访问同一份数据。
- 训练任务需要读取数据集,并写入模型权重、checkpoint 或训练输出。
- 推理、批处理或数据处理任务需要共享输入文件和输出结果。
核心概念
创建挂载服务、绑定文件系统和添加客户端属于访问环境准备;完成本地目录挂载后,计算节点才能通过该目录访问文件系统中的数据。
使用路径
- 根据数据量、吞吐需求和使用地域选择规格,并 创建 GPFS 文件系统。
- 准备挂载服务:已有适用服务时复用,没有适用服务时创建,并按需绑定文件系统、添加客户端。配置方法见 管理 GPFS 挂载服务。
- 挂载文件系统,将文件系统或其中的子目录挂载到目标计算节点的本地目录。
- 通过挂载目录读写数据,并 查看文件系统监控,关注容量、性能和运行状态。
- 数据量变化时,按需 扩容或缩容文件系统;不再需要访问时卸载,不再需要保留文件系统时 删除文件系统。
CKS 工作负载通过 PV、PVC 等资源使用持久化存储。节点上的 GPFS 挂载与容器中的卷挂载不是同一操作,请参见 持久化存储概览。
规格类型
GPFS 提供性能型和容量型两类规格。
如需调整最大带宽,或者上调 inode 数量,请联系技术支持进行评估。
容量和计费口径
GPFS 文件系统支持两种计费方式:- 按量付费:按实际使用时长和配置容量计费。
- 包年包月:按固定周期预付。
df 或 du 看到的容量和使用量,可能与控制台展示的可用容量和使用量不完全一致。例如,在 CES、CKS 场景下,文件系统可能启用副本配置。此时,df 显示的容量可能大于控制台展示的可用容量;写入 1 GiB 文件后,du 可能显示占用 2 GiB。
容量和数量限制
GPFS 文件系统使用 thick provision 模式。创建文件系统时需要指定容量,后续扩容或缩容也是调整文件系统的目标容量。 起步容量和扩容步长受具体存储机型限制。相同规格在不同地域、不同存储集群上可能存在差异。性能和水位建议
为获得稳定性能,建议将文件系统水位控制在 95% 以内。 这里的水位包括:- 可用空间水位。
- inode 使用水位。
数据保护
GPFS 文件系统底层通过副本、纠删码等方式保护数据。但为了进一步提高数据安全性,您仍然需要自行备份重要数据。 删除文件系统或删除文件系统中的数据后,数据无法恢复。执行删除操作前,请确认需要保留的数据已完成备份或迁移。运行环境限制
以下限制与挂载后的 CES 实例或 CKS 集群节点运行环境有关。如果需要修改这些配置,请先联系技术支持。端口要求
请保持 GPFS 使用的以下端口和协议可用:
如果 GPFS 使用的 IP 发生网络端口移动,例如从
eth0 移动到 br0,请重启该节点的 GPFS 客户端。
API 调用频率限制
如果通过 API 管理 GPFS 文件系统,请遵守调用频率限制。 存储管控 API:
CES 管控服务 API:
