Skip to main content
数据集需要挂载到开发环境或训练任务中,代码才能通过容器内路径读取数据。挂载时,您可以选择内置数据集或自定义数据集,按需指定子目录,并配置容器内挂载路径。

挂载路径与读写方式

  • 区分输入和输出:数据集适合作为输入数据,Volume 适合保存代码、临时文件、中间结果和训练输出。建议从数据集读取数据,将结果写入可写 Volume。
  • 按需挂载子目录:如果数据集包含多个版本或子集,可以只挂载需要使用的部分,减少路径层级,也便于代码直接定位目标数据。
  • 规划容器内路径:挂载路径是开发环境或训练任务容器内的访问目录。建议为团队约定固定路径,便于 Notebook 和训练脚本复用。请避免挂载到 /opt、/workspace 或 /usr 等镜像自带目录。

挂载前确认

  • 目标数据集已经存在。
  • 开发环境或训练任务可以在目标区域和集群中访问目标数据集。
  • 如需写入输出,已准备可写的 Volume。
  • 已规划好挂载路径,避免与其他 Volume、数据集或模型挂载路径冲突。

挂载到开发环境

  1. 创建 JupyterLab、VS Code Server 实例。
  2. 在数据集挂载配置中选择目标数据集。 开发环境数据集挂载配置
  3. 提交创建。
实例启动后,进入挂载路径确认数据可读。开发过程中产生的代码、Notebook、依赖缓存和中间结果,建议写入 Volume。

挂载到训练任务

  1. 创建训练任务。
  2. 在数据集挂载配置中选择目标数据集。 训练任务数据集挂载配置
  3. 提交创建。
任务启动后,训练脚本应从挂载路径读取数据。训练输出、checkpoint 和模型文件建议写入 Volume,便于任务结束后继续保留和复用。

排查挂载问题

如果容器内无法读取数据集,可以按以下顺序检查:
  1. 确认数据集名称和类型是否选择正确。
  2. 确认区域、集群与开发环境或训练任务一致,或处于可访问范围内。
  3. 确认子目录是否填写正确。
  4. 确认代码读取路径与容器内挂载路径一致。
  5. 确认挂载路径没有覆盖镜像自带目录或与其他挂载路径冲突。

相关文档