跳转到主要内容
将数据集挂载到开发环境或训练任务后,代码才能通过容器内路径读取数据。挂载时,请选择当前工作负载可用的数据集,按需指定子目录,并配置容器内挂载路径。

挂载路径与读写边界

挂载数据集不会自动改写脚本或转换数据格式。训练脚本、Notebook 或服务代码中的数据路径需要与容器挂载路径一致。
  • 输入与输出分离:数据集适合作为输入数据,训练输出、checkpoint、Notebook、临时文件和中间结果建议写入可写 Volume。
  • 按需挂载子目录:如果数据集包含多个版本或子集,可以只挂载需要使用的部分,减少路径层级,也便于代码定位目标数据。
  • 避免覆盖关键目录:请避免挂载到 /opt、/workspace 或 /usr 等镜像自带目录,也不要与其他 Volume、数据集或模型挂载路径冲突。

挂载到开发环境

  1. 创建 JupyterLab 或 VS Code Server 开发环境。
  2. 在数据集挂载配置中选择目标数据集,并核对数据版本和源目录。 开发环境数据集挂载配置
  3. 按需选择子目录,并配置容器内挂载路径。
  4. 提交创建。
开发环境启动后,进入挂载路径,列出目录并读取少量样本,确认数据可读。开发过程中产生的代码、Notebook、依赖缓存和中间结果,建议写入 Volume。

挂载到训练任务

  1. 创建训练任务。
  2. 在数据集挂载配置中选择目标数据集,并核对数据版本和源目录。 训练任务数据集挂载配置
  3. 按需选择子目录,并配置容器内挂载路径。
  4. 提交创建。
任务启动后,训练脚本应从挂载路径读取数据。建议先验证列目录、读取样本和数据加载,再运行完整任务。训练输出、checkpoint 和模型文件建议写入 Volume,便于任务结束后继续保留和复用。

排查挂载问题

如果容器内无法读取数据集,可以按以下顺序检查:
  1. 目标数据集是否在当前区域、集群和工作负载中可用。
  2. 区域、集群与开发环境或训练任务是否一致,或是否处于可访问范围内。
  3. 子目录是否填写正确。
  4. 代码读取路径是否与容器内挂载路径一致。
  5. 挂载路径是否覆盖镜像自带目录,或与其他挂载路径冲突。

相关文档