选择监控视角
- 单击任务名称，进入训练任务详情页。
- 打开 监控 页签。
-
在左侧选择监控视角。
- 如果选择 任务级、Pod级 或 节点级，选择指标分类，例如 GPU & RDMA、CPU系统 或 异常。
- 如果选择 Pod级 或 节点级，选择需要查看的 Pod 或节点。
- 按需调整时间范围，并单击 刷新 获取最新数据。
查看平台内置指标
任务级、Pod 级和节点级监控中的资源、系统和异常指标由平台默认采集，不需要在创建任务时额外配置。查看时，先选择监控视角，再根据排查目标选择指标分类。
监控可用于判断任务是否充分使用 GPU，CPU、内存或网络是否成为瓶颈，并为后续调整实例规格、资源池、并发规模或启动参数提供依据。任务结束后，监控数据仍可用于复盘。
查看自定义指标
自定义指标用于查看训练代码暴露的业务指标，例如请求量、队列长度、训练 loss 或其他业务侧状态。本文说明如何查看已经接入的自定义指标；如果需要新接入指标端点、配置多端口采集或配置自定义指标图表，请参见 接入训练任务自定义指标。- 进入训练任务详情页，打开 监控 页签。
- 在左侧选择 自定义。
- 选择需要查看的指标或图表。
- 按需调整时间范围，并单击 刷新。
排查监控暂无数据
如果图表显示暂无数据，请先确认时间范围覆盖任务运行时间，并按需刷新页面。不同类型的监控数据可按以下方式继续排查。平台内置指标暂无数据
- 如果查看 Pod级 或 节点级 监控，确认已选择正确的 Pod 或节点。
- 确认当前指标分类适用于所选监控视角和任务资源类型。
- 考虑指标采集和展示可能存在一定延迟，可稍后刷新或扩大时间范围后查看。
自定义指标暂无数据
- 确认任务创建时已开启 监控看板，且端口和路径配置正确。
- 确认训练代码已经暴露 metrics 端点，并且任务运行期间产生了指标。端到端接入和端点暴露示例请参见 接入训练任务自定义指标。
-
如需进一步确认，可在训练任务容器内访问对应 metrics 端点。
- 如果配置了多个指标端点，请分别检查每个端口和路径。端点能够返回指标样本，说明训练代码侧已经暴露指标；如果访问失败或没有返回预期指标，请先检查训练代码、端口和路径配置。
- 考虑指标采集和展示可能存在一定延迟，可稍后刷新或扩大时间范围后查看。
相关文档
查看与排查- 查找、查看和管理训练任务：核对任务状态、配置和事件，按需执行管理操作。
- 查看训练任务日志：结合监控查看用户日志和系统日志，定位脚本或启动问题。
- 排查训练任务问题：按排队、失败、卡住或被抢占等现象选择排查路径。
- 接入训练任务自定义指标：需要采集训练 loss 等业务指标时，暴露指标端点并配置采集。
- 创建训练任务：需要提交新任务时，配置资源、镜像和启动命令，并按需配置指标采集。
- 训练任务高级配置：需要选择调度、资源保障或自动容错策略时，查看配置说明。