跳转到主要内容
任务大盘从工作负载视角展示资源池、资源用量和 GPU / CPU 资源利用率,可用于定位资源由哪些任务或用户占用,并分析低利用率任务和闲时训练任务。

按分析目标选择页签

进入 所用资源 > 任务大盘 后,按分析目标选择页签。

查看运行中任务

打开 运行中任务 页签,按区域、集群、负载类型、实例规格、资源池、用户或任务名称筛选。 任务大盘中的运行中任务

查看资源占用

任务列表提供以下资源和归属信息:
  • 可以按提交时间排序。
  • 分析资源利用率时,可以选择 avg、min 或 max 统计口径,并选择统计时间范围。
  • 需要调整列表展示字段时,单击 列。
当任务无法启动或长时间排队时,可以在当前页签确认目标资源是否已被其他任务占用: 如需进一步排查任务无法启动或长时间排队的原因,请参见 排查任务资源不足或长时间排队。

处理低利用率任务

如果发现任务占用资源但 GPU / CPU 利用率长期偏低,可以先确认:
  • 任务是否仍处于有效运行阶段。
  • 数据读取、网络或存储是否成为瓶颈。
  • 任务规格是否明显高于实际需求。
  • 训练任务是否存在通信等待、节点异常或负载不均。
  • 推理服务副本数是否高于实际流量需求。
确认任务不再需要后,可以在任务列表或对应业务模块中停止任务。停止任务会释放其占用的实例资源,但可能中断训练或在线服务。

管理运行中任务

停止或删除属于影响任务运行的操作,操作前请确认目标任务,避免误操作。

查看全量任务列表

打开 全量任务列表 页签,查询过去 14 天内提交的任务及其历史记录。可以选择区域、集群、负载类型、资源池类型、资源池、实例规格、用户和状态,或输入名称搜索任务。 任务大盘中的全量任务列表 负载类型为单选;任务状态支持多选,并按已选负载类型展示对应的原始状态。列表提供以下信息:

查看闲时任务监控

在 闲时任务监控 页签中,查看闲时训练任务的整体资源使用、运行时长和被抢占情况。当前仅统计闲时训练任务的监控数据。 闲时任务监控

查看核心指标

进入页面后,先选择区域、集群和时间范围。页面顶部会汇总当前筛选条件下的核心指标:

查看闲时任务趋势

闲时任务趋势用于观察统计周期内闲时资源的使用变化。页面通常展示以下趋势图:

趋势图

判断方法

查看趋势时,可以结合顶部指标一起判断:
  • 如果提交数量升高,但卡时没有同步升高,可能说明任务运行时间较短,或较快被抢占。
  • 如果被抢占率升高,同时首次被抢占前运行时长下降,说明闲时资源可持续运行的时间变短。
  • 如果平均运行时长和 P50 差异较大,说明不同任务的运行时长分布可能不均,需要结合具体任务继续查看。
趋势数据用于判断闲时任务整体运行情况,不等同于单个任务的实时状态。若您需要确认某个任务是否被抢占,请进入任务详情或训练任务列表查看任务状态和状态信息。

查看参与用户

参与用户列表用于查看哪些用户在统计周期内提交了闲时训练任务。列表通常包含: 如果某个用户的提交任务总数或闲时资源申请数量明显偏高,可以结合 运行中任务 或 全量任务列表 继续查看具体任务,再判断是否需要调整任务提交节奏、任务规格或 checkpoint 策略。

查看推理服务监控

打开 推理服务监控 页签,选择区域、集群、推理服务和时间范围,查看以下指标趋势:

相关文档