Skip to main content
当您需要定位资源被哪些任务、哪些用户或哪些负载类型占用时,可以在任务大盘中查看任务资源占用。任务大盘从任务视角展示资源池、资源用量和 GPU / CPU 利用率,适合用于排查任务排队、识别低利用率任务和分析闲时训练任务。

适用场景

  • 任务进入排队后,判断是否已有任务占用目标资源。
  • 查看某个用户、资源池或负载类型下正在运行的任务。
  • 判断任务申请的资源是否被充分使用。
  • 发现低利用率任务后,进入任务详情或对应业务模块继续处理。
  • 查看闲时训练任务的提交量、卡时、被抢占情况和参与用户。

查看全量任务占用

进入 所用资源 > 任务大盘,打开 全量任务 页签,选择区域、集群、资源池、负载类型和用户范围。 任务大盘中的全量任务占用

查看任务列表字段

全量任务页签用于从任务维度查看资源占用,包括:

处理低利用率任务

如果发现任务占用资源但 GPU / CPU 利用率长期偏低,可以先确认:
  • 任务是否仍处于有效运行阶段。
  • 数据读取、网络或存储是否成为瓶颈。
  • 任务规格是否明显高于实际需求。
  • 训练任务是否存在通信等待、节点异常或负载不均。
  • 推理服务副本数是否高于实际流量需求。
确认任务不再需要后,可以在任务列表或对应业务模块中停止任务。停止任务会释放其占用的实例资源,但可能中断训练或在线服务。

查看闲时任务监控

在 闲时任务监控 页签中,查看闲时训练任务的整体资源使用、运行时长和被抢占情况。当前仅统计闲时训练任务的监控数据。 闲时任务监控

查看核心指标

进入页面后,先选择区域、集群和时间范围。页面顶部会汇总当前筛选条件下的核心指标:

查看闲时任务趋势

闲时任务趋势用于观察统计周期内闲时资源的使用变化。页面通常展示以下趋势图:

趋势图

判断方法

查看趋势时,可以结合顶部指标一起判断:
  • 如果提交数量升高,但卡时没有同步升高,可能说明任务运行时间较短,或较快被抢占。
  • 如果被抢占率升高,同时首次被抢占前运行时长下降,说明闲时资源可持续运行的时间变短。
  • 如果平均运行时长和 P50 差异较大,说明不同任务的运行时长分布可能不均,需要结合具体任务继续查看。
趋势数据用于判断闲时任务整体运行情况,不等同于单个任务的实时状态。若您需要确认某个任务是否被抢占,请进入任务详情或训练任务列表查看任务状态和状态信息。

查看参与用户

参与用户列表用于查看哪些用户在统计周期内提交了闲时训练任务。列表通常包含: 如果某个用户的提交任务总数或闲时资源申请数量明显偏高,可以结合全量任务列表继续查看具体任务,再判断是否需要调整任务提交节奏、任务规格或 checkpoint 策略。

判断任务是否占用目标资源

当任务无法启动或长时间排队时,任务大盘可以帮助您先确认目标资源是否已被其他任务占用: 如果需要完整排查任务为什么无法启动或长时间排队,请参考排查任务资源不足或长时间排队。

相关文档