Skip to main content
本页用于区分资源调度、环境准备和程序运行阶段的问题。先通过状态详情和事件确定问题阶段,再查看对应配置或日志。

有剩余额度,任务为什么仍在排队

额度只说明允许使用多少资源;实际调度还需要资源池就绪、负载类型兼容、单节点容量满足单副本需求,以及节点和网络拓扑条件同时满足。因此,有剩余额度不代表此刻存在满足任务配置的可调度资源。
  1. 打开任务详情,查看 状态详情 和 事件,确认是否提示配额、资源池、实例规格或节点调度问题。
  2. 核对个人配额、资源池总配额和资源池状态。
  3. 确认资源池支持当前负载类型,任务选择的实例规格和副本数符合资源池配置。
  4. 如果任务配置了候选规格、资源保障或节点调度策略,确认这些约束没有进一步缩小可用资源范围。
  5. 在资源大盘和任务大盘中查看当前资源占用,判断是否需要等待资源释放、调整任务配置或扩容资源池。
查看 可调度量 时,不要将 0 与查询失败混为一谈:0 表示当前口径下不能安排副本;显示“—”、仍在加载或请求报错时,结果不可靠,应刷新后再判断。
完整排查路径请参考排查任务资源不足或长时间排队。

提交成功,但实例一直没有就绪

提交成功只表示平台已经接收创建请求。实例还需要完成资源调度、镜像拉取、存储挂载和程序启动。
  1. 查看 事件,确认实例停留在调度、镜像拉取、Volume 挂载还是启动阶段。
  2. 如果事件指向资源不足或排队,按排查任务资源不足或长时间排队检查资源池和配额。
  3. 如果事件指向镜像或挂载,核对镜像地址、版本、仓库访问、Volume 状态、源目录和容器挂载路径。
  4. 如果实例已经启动但仍未就绪,查看系统日志和应用日志,检查启动命令、环境变量、端口或健康检查。
列表没有立即刷新时,先按名称搜索或刷新页面。确认对象没有创建成功后再重新提交,避免产生重复对象。

训练已运行,但训练步没有推进

任务进入运行状态只表示资源已经分配、训练进程已经启动,不代表训练计算正在正常推进。
  1. 在 状态详情 中确认各 Pod 是否就绪,是否存在副本状态异常。
  2. 查看各副本日志,判断任务停留在分布式初始化、数据读取、通信等待还是训练程序自身运行阶段。
  3. 结合 监控 和用户日志,确认训练步、loss 或业务指标是否持续变化,以及 checkpoint 和输出文件是否仍在写入持久化 Volume。
详细现象和处理方法请参考排查训练任务问题。