跳转到主要内容
如果训练任务需要上报请求数、队列长度、训练 loss 或其他业务指标,可以让训练代码暴露 metrics 端点,并在创建训练任务时配置指标采集端点。任务运行后,平台会采集这些指标,并在训练任务详情页的 监控 > 自定义 中展示。

1. 在训练代码中暴露指标端点

训练代码需要暴露端口和路径,并确保端口和路径与创建任务时配置的指标端点一致。以下示例在同一个训练任务中通过两个端口暴露 /metrics。 代码示例: 示例中的指标更新逻辑仅用于演示。实际接入时,请替换为训练代码中的真实业务数据,并保持代码暴露的端口、路径与创建任务时填写的指标端点一致。

2. 创建训练任务并配置指标端点

创建训练任务时,在 高级选项 中开启 监控看板,并为训练代码暴露的端口配置指标端点。 如果需要采集多个端点,单击 添加指标端点 逐个添加。同一训练任务内,指标端口 与 指标路径 的组合不可重复。按照上面的示例,需要添加以下两个端点。 创建训练任务的其他配置,请参见 创建训练任务。

3. 验证指标端点

任务运行后,可在训练任务容器内访问对应 metrics 端点,确认端点能够返回指标样本。
如果配置了多个指标端点,请分别检查每个端口和路径。端点能够返回指标样本,说明训练代码侧已经暴露指标;如果访问失败或没有返回预期指标,请先检查训练代码、端口和路径配置。

4. 配置并查看自定义指标图表

指标端点采集到数据后,进入训练任务详情页,打开 监控 页签,在左侧选择 自定义,基于指标名称和 label 配置图表,才能查看对应曲线。不同环境中的可选模块、子模块和分类以控制台展示为准。 配置时重点关注以下字段。 配置图例和 PromQL 时,可以使用指标自身的业务 label,也可以使用平台补充的 Pod、采集端点、容器等 label。常用 label 如下。 可用 label 以当前任务实际暴露的指标和控制台展示为准。 以下示例展示如何为 myapp_http_requests_total 配置图表:
配置完成后,选择需要查看的指标或图表,按需设置时间范围,并单击 刷新。 更多看板创建和更新方法,请参见 管理监控看板。

排查自定义指标暂无数据

如果 监控 > 自定义 中暂无数据,请按以下顺序排查:
  1. 确认任务创建时已开启 监控看板,且端口和路径与训练代码一致。
  2. 确认训练代码已经暴露 metrics 端点,并且任务运行期间产生了指标。
  3. 在训练任务容器内访问对应 metrics 端点,确认端点能够返回指标样本。
  4. 如果配置了多个指标端点,请分别检查每个端口和路径。
  5. 稍后刷新或扩大时间范围后查看。

相关文档