问题现象
可能出现以下现象:- 创建开发环境、训练任务或推理服务后,状态长时间停留在排队或等待调度。
- 提交任务时提示资源不足、配额不足或资源池不可用。
- 资源大盘显示资源池已用量接近配额总量。
- 同一资源池内部分用户可以提交任务,部分用户无法提交任务。
- 大规格任务在独占资源池中长时间无法获得连续资源。
排查资源总量
先确认目标区域、集群、资源池或实例规格是否整体紧张。- 进入 所用资源 > 资源大盘。
- 在 资源池 页签选择目标区域、集群、资源类型、实例规格和时间范围。
- 查看配额总量、已用量、调度率和不可用资源。
区分剩余额度和可调度量
如果页面显示仍有剩余额度,但任务仍然排队,需要继续判断是否有满足当前任务配置的可调度资源。
剩余额度表示权限和额度是否足够,不等于任务一定能立即调度。单个副本通常需要放入一台满足资源需求的节点;如果空闲资源分散在多台节点上,即使合计空闲量足够,也可能无法启动需要更大单节点资源的副本。
可调度量会随节点状态、调度策略和其他任务变化。查询可调度量只用于判断当前时刻的可安排副本数,不会锁定或预约资源。
资源申请还需参与统一队列调度。即使查询时存在可调度资源,也不代表任务能够立即运行;请结合任务状态和调度事件判断等待原因。
处理可调度量显示异常
如果任务创建页或资源相关页面展示可调度量,请先区分是资源确实不可调度,还是暂时没有取得可靠查询结果。
如果合计空闲资源看起来充足,但可调度量仍为 0,常见原因是单个副本无法放入任一节点。例如任务的单个副本需要 4 份规格,但两台节点各自只空闲 3 份规格,合计空闲为 6 份,仍无法启动该副本。角色配置方法请参见 训练任务的资源配置。以上数值仅用于演示,实际资源量以所选规格为准。此时可以等待单个节点释放足够资源,或在确认程序可运行的前提下调整单副本资源配置。
排查任务占用
如果资源总量紧张,继续确认资源被哪些任务占用。- 进入 所用资源 > 任务大盘。
- 在 运行中任务 页签按区域、集群、资源池、负载类型或用户筛选。
- 查看运行中任务的资源用量和 GPU / CPU 资源利用率。
排查资源池配置
如果资源大盘显示仍有空闲资源,但任务无法启动,请检查资源池本身是否允许当前任务使用。 进入 所用资源 > 实例资源,打开目标资源池详情,重点确认:
如果任务类型不在资源池允许范围内,提交可能在配额校验阶段被拒绝,并提示类似:
排查独占资源池碎片
如果使用独占资源池,大规格任务可能因为无法获得连续整节点资源而长时间等待。 进入独占资源池详情页,查看以下信息:
碎片整理可能迁移或停止部分负载。执行前,请确认任务是否允许被迁移或停止,并查看整理结果。
排查订单和配额有效期
如果资源曾经可用但现在无法提交任务,请检查关联订单是否到期。- 进入 所用资源 > 订单。
- 查看实例资源订单状态和过期时间。
- 如果订单状态为
expired,请先续费或重新购买资源。 - 订单状态恢复为
active后,再回到实例资源或资源池中确认配额是否恢复。
仍无法解决
如果以上检查后仍无法定位原因,请保留以下信息并联系平台管理员或技术支持:- 任务名称、任务类型和创建时间。
- 区域、集群、资源池和实例规格。
- 当前任务状态、状态详情或报错信息。
- 资源大盘中目标资源池的配额总量、已用量和不可用资源。
- 任务大盘中相关运行任务的资源用量。
- 资源池授权用户、个人配额和负载类型配置。
- 相关资源订单状态和过期时间。
常见问题
有剩余额度,任务为什么仍在排队?
有剩余额度,任务为什么仍在排队?
剩余额度表示当前账号还允许使用多少资源,不等于资源池此刻一定有可调度资源。任务仍需匹配资源池状态、个人配额、负载类型、单节点容量和调度策略;如果空闲资源分散在多台节点上,也可能无法启动需要更大单节点资源的副本。
可调度量显示 0 或 — 时应该怎么处理?
可调度量显示 0 或 — 时应该怎么处理?
- 如果有效查询返回 0,表示当前规格和约束下暂时没有可调度副本,需要继续检查资源池、配额、负载类型和调度事件。
-
如果显示
—、暂不可用或请求报错,说明页面尚未取得可靠结果,可以刷新重试;仍异常时,保留资源池、实例规格、任务配置和截图联系平台支持。
