适用场景
- 任务进入排队后,判断是否已有任务占用目标资源。
- 查看某个用户、资源池或负载类型下正在运行的任务。
- 判断任务申请的资源是否被充分使用。
- 发现低利用率任务后,进入任务详情或对应业务模块继续处理。
- 查看闲时训练任务的提交量、卡时、被抢占情况和参与用户。
查看全量任务占用
进入 所用资源 > 任务大盘,打开 全量任务 页签,选择区域、集群、资源池、负载类型和用户范围。
查看任务列表字段
全量任务页签用于从任务维度查看资源占用,包括:处理低利用率任务
如果发现任务占用资源但 GPU / CPU 利用率长期偏低,可以先确认:- 任务是否仍处于有效运行阶段。
- 数据读取、网络或存储是否成为瓶颈。
- 任务规格是否明显高于实际需求。
- 训练任务是否存在通信等待、节点异常或负载不均。
- 推理服务副本数是否高于实际流量需求。
查看闲时任务监控
在 闲时任务监控 页签中,查看闲时训练任务的整体资源使用、运行时长和被抢占情况。当前仅统计闲时训练任务的监控数据。
查看核心指标
进入页面后,先选择区域、集群和时间范围。页面顶部会汇总当前筛选条件下的核心指标:查看闲时任务趋势
闲时任务趋势用于观察统计周期内闲时资源的使用变化。页面通常展示以下趋势图:趋势图
判断方法
查看趋势时,可以结合顶部指标一起判断:- 如果提交数量升高,但卡时没有同步升高,可能说明任务运行时间较短,或较快被抢占。
- 如果被抢占率升高,同时首次被抢占前运行时长下降,说明闲时资源可持续运行的时间变短。
- 如果平均运行时长和 P50 差异较大,说明不同任务的运行时长分布可能不均,需要结合具体任务继续查看。
查看参与用户
参与用户列表用于查看哪些用户在统计周期内提交了闲时训练任务。列表通常包含:
如果某个用户的提交任务总数或闲时资源申请数量明显偏高,可以结合全量任务列表继续查看具体任务,再判断是否需要调整任务提交节奏、任务规格或 checkpoint 策略。
判断任务是否占用目标资源
当任务无法启动或长时间排队时,任务大盘可以帮助您先确认目标资源是否已被其他任务占用:
如果需要完整排查任务为什么无法启动或长时间排队,请参考排查任务资源不足或长时间排队。
