跳转到主要内容
当开发环境、训练任务或推理服务无法启动、长时间排队,或提交时提示资源不足时,通常需要同时检查资源总量、任务占用、资源池配置、个人配额和订单状态。 本文提供一条跨模块排查路径,帮助您先判断是否真的资源不足,再定位资源不足发生在哪一层。

问题现象

可能出现以下现象:
  • 创建开发环境、训练任务或推理服务后,状态长时间停留在排队或等待调度。
  • 提交任务时提示资源不足、配额不足或资源池不可用。
  • 资源大盘显示资源池已用量接近配额总量。
  • 同一资源池内部分用户可以提交任务,部分用户无法提交任务。
  • 大规格任务在独占资源池中长时间无法获得连续资源。

排查资源总量

先确认目标区域、集群、资源池或实例规格是否整体紧张。
  1. 进入 所用资源 > 资源大盘。
  2. 在 资源池 页签选择目标区域、集群、资源类型、实例规格和时间范围。
  3. 查看配额总量、已用量、调度率和不可用资源。
如果已用量持续接近配额总量,说明资源池可能已经满载。您可以扩容资源池、购买更多实例资源,或等待任务释放资源。 如果不可用资源较多,请进入资源池详情查看资源池状态和节点状态,确认是否存在资源异常。

区分剩余额度和可调度量

如果页面显示仍有剩余额度,但任务仍然排队,需要继续判断是否有满足当前任务配置的可调度资源。 剩余额度表示权限和额度是否足够,不等于任务一定能立即调度。单个副本通常需要放入一台满足资源需求的节点;如果空闲资源分散在多台节点上,即使合计空闲量足够,也可能无法启动需要更大单节点资源的副本。 可调度量会随节点状态、调度策略和其他任务变化。查询可调度量只用于判断当前时刻的可安排副本数,不会锁定或预约资源。 资源申请还需参与统一队列调度。即使查询时存在可调度资源,也不代表任务能够立即运行;请结合任务状态和调度事件判断等待原因。

处理可调度量显示异常

如果任务创建页或资源相关页面展示可调度量,请先区分是资源确实不可调度,还是暂时没有取得可靠查询结果。 如果合计空闲资源看起来充足,但可调度量仍为 0,常见原因是单个副本无法放入任一节点。例如任务的单个副本需要 4 份规格,但两台节点各自只空闲 3 份规格,合计空闲为 6 份,仍无法启动该副本。角色配置方法请参见 训练任务的资源配置。以上数值仅用于演示,实际资源量以所选规格为准。此时可以等待单个节点释放足够资源,或在确认程序可运行的前提下调整单副本资源配置。

排查任务占用

如果资源总量紧张,继续确认资源被哪些任务占用。
  1. 进入 所用资源 > 任务大盘。
  2. 在 运行中任务 页签按区域、集群、资源池、负载类型或用户筛选。
  3. 查看运行中任务的资源用量和 GPU / CPU 资源利用率。
如果发现长期运行且利用率较低的任务,请进入对应任务详情或业务模块确认是否仍需要运行。确认不再需要后,可以停止任务释放资源。 需要进一步确认任务运行情况时,请进入任务详情查看监控和日志。

排查资源池配置

如果资源大盘显示仍有空闲资源,但任务无法启动,请检查资源池本身是否允许当前任务使用。 进入 所用资源 > 实例资源,打开目标资源池详情,重点确认: 如果任务类型不在资源池允许范围内,提交可能在配额校验阶段被拒绝,并提示类似:
如果确认需要在该资源池提交任务,请调整资源池的负载类型配置。

排查独占资源池碎片

如果使用独占资源池,大规格任务可能因为无法获得连续整节点资源而长时间等待。 进入独占资源池详情页,查看以下信息: 碎片整理可能迁移或停止部分负载。执行前,请确认任务是否允许被迁移或停止,并查看整理结果。

排查订单和配额有效期

如果资源曾经可用但现在无法提交任务,请检查关联订单是否到期。
  1. 进入 所用资源 > 订单。
  2. 查看实例资源订单状态和过期时间。
  3. 如果订单状态为 expired,请先续费或重新购买资源。
  4. 订单状态恢复为 active 后,再回到实例资源或资源池中确认配额是否恢复。
订单到期后,关联配额会失效,可能导致资源池总配额下降或任务无法继续使用对应资源。

仍无法解决

如果以上检查后仍无法定位原因,请保留以下信息并联系平台管理员或技术支持:
  • 任务名称、任务类型和创建时间。
  • 区域、集群、资源池和实例规格。
  • 当前任务状态、状态详情或报错信息。
  • 资源大盘中目标资源池的配额总量、已用量和不可用资源。
  • 任务大盘中相关运行任务的资源用量。
  • 资源池授权用户、个人配额和负载类型配置。
  • 相关资源订单状态和过期时间。

常见问题

剩余额度表示当前账号还允许使用多少资源,不等于资源池此刻一定有可调度资源。任务仍需匹配资源池状态、个人配额、负载类型、单节点容量和调度策略;如果空闲资源分散在多台节点上,也可能无法启动需要更大单节点资源的副本。
  • 如果有效查询返回 0,表示当前规格和约束下暂时没有可调度副本,需要继续检查资源池、配额、负载类型和调度事件。
  • 如果显示 —、暂不可用或请求报错,说明页面尚未取得可靠结果,可以刷新重试;仍异常时,保留资源池、实例规格、任务配置和截图联系平台支持。

相关文档