Skip to main content
提交训练任务后,您可以在任务列表中筛选和定位任务,在详情页查看 状态详情、任务详情、事件、日志、监控 和 容错详情,并对任务执行克隆、重提、停止、删除、分享或标签管理。

查找训练任务

任务列表包含 个人任务 和 被分享任务 两个页签。个人任务 通常可以执行查看、日志、克隆、重提、停止、删除、分享和打标签等操作。被分享任务 通常可以查看详情、查看日志或克隆。
  1. 进入 训练任务 > 任务管理。
  2. 选择区域和集群。
  3. 选择 个人任务 或 被分享任务 页签。
  4. 按需输入名称,选择状态、标签或项目组,或打开 查看全部 扩大查询范围。 标签筛选通常是与关系。选择多个标签时,列表会筛选同时匹配这些标签的任务。
  5. 单击 搜索。
查看搜索结果时,重点关注名称、所有者、项目组名称、资源池、状态、优先级、实例规格、创建时间、更新时间和运行时间,用于判断任务归属、运行进度、资源占用和后续处理方式。

判断任务状态

找到任务后,先根据任务状态判断下一步是继续等待、查看详情、排查问题,还是执行克隆、重提、停止或删除等管理操作。 开启自动容错的任务可能出现容错相关子状态。闲时任务或 Spot 任务被抢占时,任务可能进入失败状态;如果状态信息出现 was preempted by another task,通常表示任务被其他任务抢占。具体原因需结合 状态详情 和 事件 判断。

查看状态详情和任务详情

  1. 在任务列表中单击目标任务名称,进入详情页。
  2. 根据查看目标,打开 状态详情 或 任务详情 页签。
状态详情 用于查看任务运行阶段和 Pod 状态。 训练任务状态详情 任务详情 用于核对任务创建配置。 训练任务配置详情 建议按目标使用:

查看事件

  1. 单击任务名称,进入详情页。
  2. 打开 事件 页签。
  3. 按时间顺序查看最近事件,确认任务是否卡在调度、镜像拉取、Volume 挂载、Pod 启动、运行或容错恢复阶段。
  4. 如果事件指向某个 Pod、节点、资源池或挂载对象,再回到 状态详情、任务详情、日志 或 监控 页签继续定位。
训练任务事件列表 事件用于解释平台侧调度和生命周期变化。常见排查目标包括: 事件适合先判断问题发生阶段;日志用于查看容器和训练程序输出,监控用于判断资源和指标表现。

查看日志

  1. 单击任务名称,进入详情页。
  2. 打开 日志 页签。
  3. 选择 用户日志 或 系统日志。
  4. 设置时间段,或筛选具体某个 Pod。
  5. 查看日志。
训练任务日志 查看日志时,可按排查目标选择日志类型和 Pod: 平台日志当前仅保留近 30 天的数据。如果选择的起始时间超出日志保留范围,可能无法展示日志。 日志查看器支持关键字搜索、查看末尾行数、自动刷新、手动刷新和下载日志,可用于定位错误并保留排查记录。

查看监控

  1. 单击任务名称,进入详情页。
  2. 打开 监控 页签。
  3. 选择要查看的视角维度。
  4. 按需调整指标和时间范围。
训练任务监控 监控信息建议按判断目标使用: 监控可用于判断任务是否充分使用 GPU,CPU、内存或网络是否成为瓶颈,并为后续调整实例规格、资源池、并发规模或启动参数提供依据。任务结束后,监控数据仍可用于复盘。

查看容错详情

如果任务开启了自动容错,或任务状态出现容错相关子状态,可进入 容错详情 页签查看恢复过程。
  1. 单击任务名称,进入详情页。
  2. 打开 容错详情 页签。
  3. 查看重试链路、故障说明和重试任务状态。
容错详情 用于判断平台是否已触发自动恢复、是否达到重试上限,以及是否需要手动重提、Debug 重提或调整任务配置。

管理训练任务

在任务列表或任务详情页找到目标任务后,可根据任务状态和权限执行管理操作。

相关文档