跳转到主要内容
提交训练任务后,您可以在任务列表中筛选和定位任务,进入训练任务详情页查看 状态详情、任务详情、事件、存储 等页签,并对任务执行克隆、重提、停止、删除、分享或标签管理。

查找训练任务

任务列表包含 个人任务 和 被分享任务 两个页签。个人任务 通常可以执行查看、日志、克隆、重提、停止、删除、分享和打标签等操作。被分享任务 通常可以查看详情、查看日志或克隆。
  1. 进入 训练任务 > 任务管理。
  2. 选择区域和集群。
  3. 选择 个人任务 或 被分享任务 页签。
  4. 按需输入名称,选择状态、标签或项目组,或打开 查看全部 扩大查询范围。 标签筛选通常是与关系。选择多个标签时,列表会筛选同时匹配这些标签的任务。
  5. 单击 搜索。
查看搜索结果时,重点关注名称、所有者、项目组名称、资源池、状态、优先级、实例规格、创建时间、更新时间和运行时间,用于判断任务归属、运行进度、资源占用和后续处理方式。 任务刚提交后,如果列表没有立即出现,请先搜索或刷新;确认任务已生成并记录任务 ID 后,再进入训练任务详情页查看实际资源、各副本状态、事件、日志和输出路径,避免重复提交相同配置。

判断任务状态

找到任务后,先根据任务状态判断下一步是继续等待、查看详情、排查问题,还是执行克隆、重提、停止或删除等管理操作。 开启自动容错的任务可能出现容错相关子状态。闲时任务或 Spot 任务被抢占时,任务可能进入失败状态;如果状态信息出现 was preempted by another task,通常表示任务被其他任务抢占。具体原因需结合 状态详情 和 事件 判断。 排队位置只代表当前时刻的资源竞争快照,不能换算为稳定的等待时长。资源池可用量、其他任务释放资源、优先级、资源保障和节点约束变化后,任务排序和启动条件都可能变化。

按目标查看任务信息

找到任务并进入训练任务详情页后,先按查看目标选择对应页签。 建议按目标使用:

查看状态详情

  1. 在任务列表中单击目标任务名称,进入训练任务详情页。
  2. 打开 状态详情 页签。
状态详情 用于查看任务运行阶段和 Pod 状态。 训练任务状态详情

查看任务详情

  1. 在任务列表中单击目标任务名称,进入训练任务详情页。
  2. 打开 任务详情 页签。
任务详情 用于核对任务创建配置。 训练任务配置详情

查看事件

  1. 单击任务名称,进入训练任务详情页。
  2. 打开 事件 页签。
  3. 按时间顺序查看事件,确认任务是否卡在调度、镜像拉取、Volume 挂载、Pod 启动、运行或容错恢复阶段。
  4. 如果事件指向某个 Pod、节点、资源池或挂载对象,再回到 状态详情、任务详情、日志 或 监控 页签继续定位。
训练任务事件列表 事件用于解释平台侧调度和生命周期变化。常见排查目标包括: 事件适合先判断问题发生阶段;日志用于查看容器和训练程序输出,监控用于判断资源和指标表现。 对于分布式任务,如果只有部分副本未就绪,请先在 状态详情 中定位具体 Pod 或角色,再结合事件判断是资源、节点、镜像、挂载还是启动命令问题。

查看存储

  1. 在任务列表中单击目标任务名称,进入训练任务详情页。
  2. 打开 存储 页签。
训练任务存储信息 存储 用于查看任务 Pod 临时存储和所在节点磁盘信息。
  • Pod 临时存储统计容器可写层、emptyDir 和容器日志等本地临时数据,不包含已挂载的数据集、模型存储或其他 PVC 数据。
  • 所在节点磁盘用于查看任务 Pod 所在节点的磁盘水位和剩余可写空间。页面展示的数据可能存在采集延迟,请以页面提示为准。
如果训练日志、Checkpoint、中间数据或模型输出持续增长,应写入已挂载的 Volume,避免写满 Pod 临时存储导致任务被驱逐。详情请参见 临时存储使用最佳实践。

管理训练任务

在任务列表或训练任务详情页找到目标任务后,可根据任务状态和权限执行管理操作。

相关文档