排查任务问题
- 进入 训练任务 > 任务管理，找到目标任务。
- 单击任务名称，进入训练任务详情页。
- 查看生命周期时间线，确认任务卡在提交、排队、环境准备、运行还是结束阶段。
- 查看 状态详情，确认任务整体状态、Pod 状态、节点、退出码和状态说明。
- 查看 事件，确认是否存在资源不足、镜像拉取失败、Volume 挂载失败、调度受阻或容错相关事件。
- 查看 日志，定位训练脚本报错、依赖缺失、数据路径错误或运行时异常。
- 查看 监控，判断 GPU、显存、CPU、内存和网络是否存在瓶颈或异常波动。
根据现象处理
重点排查路径
长时间排队
资源总量看起来足够时，也需要满足单副本放置和分布式任务整体调度条件。建议按以下顺序排查：- 打开任务详情，查看 状态详情 和 事件，确认是否指向配额、资源池、节点策略或实例规格。事件指向节点策略时，检查节点调度策略的调度类型、生效范围、生效模式、负载类型、节点名称和失效时间。
- 核对个人配额、资源池可用量和资源池状态。
- 检查单个副本是否能放入一台可用节点；分布式任务还需要全部副本同时满足启动条件。
- 如任务有网络分组要求，确认节点位于兼容分组内。页面或事件中的 RoCE POD 指网络分组，不是 Kubernetes Pod。
已运行但训练没有进展
资源已经分配不代表训练计算已经开始。先在 状态详情 中确认各 Pod 是否就绪，再结合日志和监控区分问题阶段：镜像拉取或文件访问失败
修复确定性配置错误后再重提任务。单纯增大重试次数通常无法解决镜像地址错误、路径错误、权限不足或容量不足。
中断后继续训练
任务被抢占、节点故障、主动停止或达到容错限制后，先确认当前是否已有自动恢复动作，再决定是否手动重提。- 查看实际资源池及抢占、故障或停止事件，确认中断原因。
- 查看 容错详情 和关联任务，确认是否已有原地重启或自动重提。
- 跟踪最新尝试，检查 checkpoint 加载日志、恢复后的训练步和新输出。
- 人工停止、预算耗尽或快速失败策略可能终止自动恢复；确认当前尝试后再手动重提，避免两份任务同时运行。
使用 Debug 重提
Debug 重提适合保留原任务资源需求，但不立即执行原训练命令，而是进入可排查的现场环境。 在任务列表中找到目标任务，单击 重提，并在重提弹窗中选择 Debug 模式。提交前请确认需要保留的 checkpoint、日志或模型输出已经写入持久化 Volume。
对于 RayJob，如果 Submitter Pod 已完成但 Head / Worker 仍保留，任务可能处于
DebugHolding 状态，可进入 Head Pod 查看 Ray 集群状态。