> ## Documentation Index
> Fetch the complete documentation index at: https://docs.siflow.cn/llms.txt
> Use this file to discover all available pages before exploring further.

# 查看训练任务监控

> 在人工智能平台中查看训练任务的资源监控、异常指标和自定义监控指标。

任务运行中或完成后，您可以在训练任务详情页查看资源指标、异常指标和自定义指标，判断训练任务资源使用情况并定位性能瓶颈。

## 选择监控视角

1. 单击任务名称，进入训练任务详情页。

2. 打开 **监控** 页签。

3. 在左侧选择监控视角。

   | 监控视角 | 说明 |
   | - | - |
   | **任务级** | 查看任务整体资源趋势。 |
   | **Pod级** | 选择具体 Pod，查看单个副本的资源和异常指标。 |
   | **节点级** | 选择具体节点，查看任务所在节点的资源和异常指标。 |
   | **自定义** | 查看训练代码暴露的自定义 metrics。 |

4. 如果选择 **任务级**、**Pod级** 或 **节点级**，选择指标分类，例如 **GPU & RDMA**、**CPU系统** 或 **异常**。

5. 如果选择 **Pod级** 或 **节点级**，选择需要查看的 Pod 或节点。

6. 按需调整时间范围，并单击 **刷新** 获取最新数据。

## 查看平台内置指标

任务级、Pod 级和节点级监控中的资源、系统和异常指标由平台默认采集，不需要在创建任务时额外配置。查看时，先选择监控视角，再根据排查目标选择指标分类。

| 判断目标 | 查看方式 |
| - | - |
| 判断任务整体负载 | 使用 **任务级** 查看 GPU、显存、CPU、内存、网络、磁盘和存储相关趋势。 |
| 定位某个副本是否异常 | 使用 **Pod级** 选择目标 Pod，查看该 Pod 的 GPU、CPU、内存、网络、GPFS 或异常指标，并结合日志定位问题。 |
| 判断问题是否与节点相关 | 使用 **节点级** 选择目标节点，查看节点侧 GPU、RDMA、CPU、内存、网络、磁盘、GPFS 和异常指标。 |
| 分析 GPU 与通信链路 | 在 **GPU & RDMA** 中查看 GPU、显存、SM、NVLink 和 RDMA 网络等指标。 |
| 排查系统资源瓶颈 | 在 **CPU系统** 中查看 CPU、内存、网络、磁盘和 GPFS 等指标。 |
| 排查硬件、网络或拥塞异常 | 在 **异常** 中查看 GPU 硬件错误、RDMA / 网络异常、掉队告警、ECN / PFC 拥塞控制等指标。 |

监控可用于判断任务是否充分使用 GPU，CPU、内存或网络是否成为瓶颈，并为后续调整实例规格、资源池、并发规模或启动参数提供依据。任务结束后，监控数据仍可用于复盘。

## 查看自定义指标

自定义指标用于查看训练代码暴露的业务指标，例如请求量、队列长度、训练 loss 或其他业务侧状态。本文说明如何查看已经接入的自定义指标；如果需要新接入指标端点、配置多端口采集或配置自定义指标图表，请参见 [接入训练任务自定义指标](https://docs.siflow.cn/ai-platform/training/collect-training-task-custom-metrics.md)。

1. 进入训练任务详情页，打开 **监控** 页签。
2. 在左侧选择 **自定义**。
3. 选择需要查看的指标或图表。
4. 按需调整时间范围，并单击 **刷新**。

如果自定义指标包含业务 label，平台会在展示时保留这些维度，便于按业务状态区分曲线。平台也会补充任务、Pod、采集端点等维度，用于关联具体任务实例。可用 label 以当前指标和控制台展示为准。

## 排查监控暂无数据

如果图表显示暂无数据，请先确认时间范围覆盖任务运行时间，并按需刷新页面。不同类型的监控数据可按以下方式继续排查。

### 平台内置指标暂无数据

1. 如果查看 **Pod级** 或 **节点级** 监控，确认已选择正确的 Pod 或节点。
2. 确认当前指标分类适用于所选监控视角和任务资源类型。
3. 考虑指标采集和展示可能存在一定延迟，可稍后刷新或扩大时间范围后查看。

### 自定义指标暂无数据

1. 确认任务创建时已开启 **监控看板**，且端口和路径配置正确。

2. 确认训练代码已经暴露 metrics 端点，并且任务运行期间产生了指标。端到端接入和端点暴露示例请参见 [接入训练任务自定义指标](https://docs.siflow.cn/ai-platform/training/collect-training-task-custom-metrics.md)。

3. 如需进一步确认，可在训练任务容器内访问对应 metrics 端点。

   ```bash theme={null}
   curl localhost:8000/metrics
   curl localhost:8001/metrics
   ```

4. 如果配置了多个指标端点，请分别检查每个端口和路径。端点能够返回指标样本，说明训练代码侧已经暴露指标；如果访问失败或没有返回预期指标，请先检查训练代码、端口和路径配置。

5. 考虑指标采集和展示可能存在一定延迟，可稍后刷新或扩大时间范围后查看。

## 相关文档

**查看与排查**

* [查找、查看和管理训练任务](https://docs.siflow.cn/ai-platform/training/view-and-manage-training-tasks.md)：核对任务状态、配置和事件，按需执行管理操作。
* [查看训练任务日志](https://docs.siflow.cn/ai-platform/training/view-training-task-logs.md)：结合监控查看用户日志和系统日志，定位脚本或启动问题。
* [排查训练任务问题](https://docs.siflow.cn/ai-platform/training/troubleshoot-training-tasks.md)：按排队、失败、卡住或被抢占等现象选择排查路径。

**接入与配置**

* [接入训练任务自定义指标](https://docs.siflow.cn/ai-platform/training/collect-training-task-custom-metrics.md)：需要采集训练 loss 等业务指标时，暴露指标端点并配置采集。
* [创建训练任务](https://docs.siflow.cn/ai-platform/training/create-training-tasks.md)：需要提交新任务时，配置资源、镜像和启动命令，并按需配置指标采集。
* [训练任务高级配置](https://docs.siflow.cn/ai-platform/training/advanced-training-task-configuration.md)：需要选择调度、资源保障或自动容错策略时，查看配置说明。


This documentation is built and hosted on [Mintlify](https://mintlify.com), a developer documentation platform.