Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
在人工智能平台中创建通用推理服务，配置镜像、资源、端口、命令、健康检查、网关和监控。
| 配置 | 说明 |
|---|---|
| 区域、集群、项目组 | 决定服务归属和协作范围。 |
| 服务名称 | 服务的唯一名称。 |
| 版本名称 | 工作负载版本名称，用于区分服务不同版本。 |
| 在项目组内公开 | 控制服务是否在项目组内可见。 |
| 配置 | 说明 |
|---|---|
| 副本 | 服务实例副本数。 |
| 资源类型 | 选择预留、按量或 Spot 等资源类型。 |
| 实例 | 选择服务使用的实例规格。使用预留实例时，请先选择资源池。 |
| 单节点实例规格数量 | 配置单个副本使用的实例规格数量。 |
| 资源优先级 | 控制服务调度优先级。 |
| 配置 | 说明 |
|---|---|
| 端口配置 | 配置服务监听端口，可添加多个端口。端口应与应用实际监听端口一致。 |
| 镜像 | 选择内置镜像、自定义镜像或填写镜像地址。建议使用固定版本镜像，避免后续回滚时无法复现。 |
| 命令 | 容器启动后执行的命令。 |
| 存储 | 挂载服务运行需要的 Volume。持久化数据应放入 Volume，避免随实例重建丢失。 |
| 环境变量 | 为服务注入运行时配置。 |
127.0.0.1 时，通常无法通过网关访问。
| 配置 | 说明 |
|---|---|
| 是否需要鉴权 | 开启后，平台会为服务生成访问 Token，可在 Endpoints 中查看。调用服务时需要在请求 Header 中携带 Authorization，匿名访问会被拒绝。生产服务建议开启鉴权。 |
| 是否开启 Base URL |
|
| 优雅退出延迟时间 | 配置服务停止前的等待时间，用于给实例预留处理存量请求、释放连接或保存状态的时间。 |
| 健康检查 | 配置存活探针或就绪探针。存活探针失败会触发实例重启；就绪探针失败会将实例从流量中摘除，但不会重启。支持 Exec、HTTPGet 和 TCPSocket；如需同时检查多个端口，可使用 Exec 执行自定义检查命令，并确认镜像内已包含 nc 或可替代工具。探针通过只表示平台检查成功，不等于业务请求一定成功。 |
| 配置 | 说明 |
|---|---|
| 指标监控 | 开启后，平台采集服务指标用于监控、容量分析或告警。 |
| 指标端口 | 服务暴露 Metrics 的端口，例如 9090。 |
| 指标路径 | 服务暴露 Metrics 的路径，例如 /metrics。 |
Authorization；若开启 Base URL，请确认服务能够处理带前缀的请求路径。