Skip to main content
当开发环境、训练任务或推理服务无法启动、长时间排队,或提交时提示资源不足时,通常需要同时检查资源总量、任务占用、资源池配置、个人配额和订单状态。 本文提供一条跨模块排查路径,帮助您先判断是否真的资源不足,再定位资源不足发生在哪一层。

问题现象

可能出现以下现象:
  • 创建开发环境、训练任务或推理服务后,状态长时间停留在排队或等待调度。
  • 提交任务时提示资源不足、配额不足或资源池不可用。
  • 资源大盘显示资源池已用量接近配额总量。
  • 同一资源池内部分用户可以提交任务,部分用户无法提交任务。
  • 大规格任务在独占资源池中长时间无法获得连续资源。

排查资源总量

先确认目标区域、集群、资源池或实例规格是否整体紧张。
  1. 进入 所用资源 > 资源大盘。
  2. 在 资源池 页签选择目标区域、集群、资源类型、实例规格和时间范围。
  3. 查看配额总量、已用量、调度率和不可用资源。
如果已用量持续接近配额总量,说明资源池可能已经满载。您可以扩容资源池、购买更多实例资源,或等待任务释放资源。 如果不可用资源较多,请进入资源池详情查看资源池状态和节点状态,确认是否存在资源异常。

区分剩余额度和可调度量

如果页面显示仍有剩余额度,但任务仍然排队,需要继续判断是否有满足当前任务配置的可调度资源。 剩余额度表示权限和额度是否足够,不等于任务一定能立即调度。单个副本通常需要放入一台满足资源需求的节点;如果空闲资源分散在多台节点上,即使合计空闲量足够,也可能无法启动需要更大单节点资源的副本。

排查任务占用

如果资源总量紧张,继续确认资源被哪些任务占用。
  1. 进入 所用资源 > 任务大盘。
  2. 在 全量任务 页签按区域、集群、资源池、负载类型或用户筛选。
  3. 查看运行中任务的资源用量、运行时长和 GPU / CPU 资源利用率。
如果发现长期运行且利用率较低的任务,请进入对应任务详情或业务模块确认是否仍需要运行。确认不再需要后,可以停止任务释放资源。 资源利用率数据可能存在缓存延迟。需要实时判断时,请进入任务详情查看监控和日志。

排查资源池配置

如果资源大盘显示仍有空闲资源,但任务无法启动,请检查资源池本身是否允许当前任务使用。 进入 所用资源 > 实例资源(新版),打开目标资源池详情,重点确认: 如果任务类型不在资源池允许范围内,提交可能在配额校验阶段被拒绝,并提示类似:
如果确认需要在该资源池提交任务,请调整资源池的负载类型配置。

排查独占资源池碎片

如果使用独占资源池,大规格任务可能因为无法获得连续整节点资源而长时间等待。 进入独占资源池详情页,查看以下信息: 碎片整理可能迁移或停止部分负载。执行前,请确认任务是否允许被迁移或停止,并查看整理结果。

排查订单和配额有效期

如果资源曾经可用但现在无法提交任务,请检查关联订单是否到期。
  1. 进入 所用资源 > 订单。
  2. 查看实例资源订单状态和过期时间。
  3. 如果订单状态为 expired,请先续费或重新购买资源。
  4. 订单状态恢复为 active 后,再回到实例资源或资源池中确认配额是否恢复。
订单到期后,关联配额会失效,可能导致资源池总配额下降或任务无法继续使用对应资源。

仍无法解决

如果以上检查后仍无法定位原因,请保留以下信息并联系平台管理员或技术支持:
  • 任务名称、任务类型和创建时间。
  • 区域、集群、资源池和实例规格。
  • 当前任务状态、状态详情或报错信息。
  • 资源大盘中目标资源池的配额总量、已用量和不可用资源。
  • 任务大盘中相关运行任务的资源用量。
  • 资源池授权用户、个人配额和负载类型配置。
  • 相关资源订单状态和过期时间。

相关文档