创建大模型推理服务

创建大模型推理服务后，平台会根据模型、推理引擎、资源池和服务配置拉起服务实例，并提供访问端点用于在线调用。您可以使用表单创建，也可以通过 JSON 复用已有配置。

使用表单创建服务

1. 进入创建页

进入 推理服务 > 大模型推理。
单击新建，选择 表单创建。

2. 填写配置信息

基础配置

基础配置决定服务所在范围、服务名称和项目组可见性。

配置	说明
区域、集群	决定服务创建到哪个资源范围。后续可选资源池、模型、存储和镜像会受区域和集群影响。
服务名称	服务的唯一名称，建议包含模型名、用途或环境，便于后续查找和运维。
服务描述	记录服务用途、模型版本、调用方或上线说明。
项目组	决定服务归属和协作范围。
在项目组内公开	开启后，项目组内其他用户可以查看或复用该服务，具体权限以项目组配置为准。

配置	说明
使用推荐模板	如果需要复用已有模板，开启后选择目标模板。模板会自动填充模型、引擎、探针、监控和部分高级配置；提交前仍需要核对是否符合本次服务目标。
资源池	选择服务使用的资源来源。页面可能以资源类型和资源池类型组合展示，例如预留实例 / 共享资源池；资源池会影响可用配额、调度位置和资源保障方式。创建后可在服务列表的资源池和占用资源中确认实际占用。

推理引擎

配置	说明
引擎	选择推理引擎。支持的引擎包括 SGLang、vLLM、Dynamo 和 Custom，以当前集群展示为准。
引擎参数	单击添加更多输入添加引擎参数。vLLM 和 SGLang 在分布式、PD 分离场景下所需的系统分布式参数由平台生成，不需要重复填写。
Served Model Name	设置客户端请求时使用的模型标识。使用 OpenAI 兼容接口时，请求中的模型名应与该配置一致。

选择引擎后，如页面展示 引擎版本、执行方式 或角色资源配置，请按页面要求继续填写。更换引擎、引擎版本 或 执行方式 后，原有角色配置可能不再适用，提交前需要重新核对每个角色的副本、组规模、实例规格和 GPU 总量。常见执行方式和角色关系如下，实际可选项以当前引擎和页面展示为准。

执行方式	常见角色	配置重点
`single-node`	`worker`	配置单角色副本和实例规格，适合单机单卡或单机多卡。
`distributed`	`leader`、`worker`	配置多机角色资源，并确认并行参数、网络和资源池配额。
`pd-disaggregated`	`router`、`prefill`、`decode`	分别规划 Prefill、Decode 和路由角色资源。Prefill 侧重点是输入上下文处理，Decode 侧重点是生成阶段吞吐和延迟。

vLLM 和 SGLang 使用平台内置启动方式时，引擎参数会追加到平台生成的启动命令中，例如 vllm serve --port <PORT> --host <HOST> {{引擎参数}} 或 python3 -m sglang.launch_server --port <PORT> --host <HOST> {{引擎参数}}。Custom 模式需要自行填写完整启动命令，并确保命令、端口和服务协议与后续端口、探针和网关配置一致；如需读取平台传入的模型路径或引擎参数，可在命令中引用 MODEL_PATH、ENGINE_PARAMS 等环境变量。

模型配置

配置	说明
模型	选择模型来源。 Hugging Face：填写模型名称和 Hugging Face Token。 Volume：选择已授权 Volume，并填写容器内挂载路径和挂载目录下的模型路径。模型仓库：选择模型仓库中的模型和版本。 OSS：填写对象存储 Bucket、路径和访问密钥等信息，密钥不要出现在截图、日志或共享材料中。
Lora 模型	如需加载 LoRA Adapter，开启后选择对应模型。

选择 Volume 作为模型来源时，需要区分容器内 挂载路径 和挂载目录下的 模型路径。最终传给推理引擎的模型路径为 MountPath/ModelPath。如填写 SubPath，它只用于把 PVC 限定到某个子目录并做目录级鉴权，不要把 模型路径 当作 Kubernetes 的 SubPath 使用。Lora 模型 使用 Volume 来源时也遵循同样规则。

缓存配置

配置	说明
开启分布式缓存	为支持的引擎启用分布式缓存能力。是否可用以及需要配置的角色、端口或参数，以当前引擎和页面展示为准。

服务配置

服务配置用于控制服务实例的健康检查。

配置	说明
存活探针检查	判断服务进程是否存活。持续检查失败时，平台可能会重启服务实例。模型加载时间较长时，不要把检查配置得过于激进，避免启动阶段被误判为异常。
可用性探针检查	判断服务是否已经准备好接收流量。检查失败时，平台不会向该实例分配新请求。建议优先配置可用性探针，等模型真正加载完成后再接入流量。

探针支持 HTTP、TCP 和 Exec。HTTP 适合已有 /health 或 /ready 等健康检查接口的服务；TCP 适合只确认端口连通的服务；Exec 适合在容器内执行自定义命令检查文件、进程或多端口状态。 vLLM 和 SGLang 常见健康检查路径为 /health，具体路径和端口仍应以所选引擎配置和服务实际暴露能力为准。

监控配置

配置	说明
Metrics	填写指标路径和指标端口，用于服务监控、弹性扩缩容或告警。SGLang、vLLM 和 Custom 的常见默认路径为 `/metrics`；常见默认端口：vLLM 为 `8000`，SGLang 为 `30000`，Custom 为 `8080`。PD 分离等部署方式下，监控端口可能与服务端口不同，以当前页面生成或展示的配置为准。

高级配置

配置	说明
环境变量	单击添加更多输入，为服务注入运行时配置。
存储、Pod中挂载路径	挂载额外 Volume，用于读取模型、配置文件或依赖数据。目录模式卷支持通过 `SubPath` 挂载指定子目录；同一个容器内的挂载路径应保持唯一。
服务端口	配置服务监听或暴露端口，应与引擎或自定义命令实际监听端口一致。
弹性扩缩容配置	按时间或指标调整副本数。首次上线建议先手动验证服务容量，再启用自动策略；更完整的扩缩容策略可参考推理服务高级运维。
网关配置	单击添加网关配置服务访问入口、路由和鉴权。可按页面展示选择网关类型、开启路由 hash 和 Auth Token。网关类型可选择共享网关等页面支持的类型；开启 Auth Token 后，调用服务时需要携带鉴权信息。只有引擎或路由明确提供兼容接口时，才使用对应 OpenAI 兼容路径。
是否推送告警	开启后，服务异常可进入告警链路。通知方式需要在告警中心配置。
是否开启gang调度	开启后，同一副本内多个角色需要整体满足资源后再调度，适合多角色强依赖的服务。
快速失败	用于在镜像拉取等创建期异常时更快暴露失败原因，便于排查。

容器本地盘（如 /root、/tmp 等本地目录）容量有限，写入大量数据可能导致负载系统驱逐；重启或迁移后本地数据会被清空。请将数据集、模型、输出结果等重要文件写入挂载的 Volume 共享存储，挂载路径建议使用 /volume、/mnt 等开头的目录，避免覆盖根目录、/opt、/workspace、/usr 等镜像中默认目录。

3. 提交并验证

提交前核对模型来源、引擎版本、执行方式、各角色资源总量、端口、网关和公开范围。
单击提交。
提交后查看各角色目标实例和就绪实例，结合事件和日志确认模型加载进度。
服务进入 运行中 后，在服务列表单击 Endpoints，或在详情页打开 服务网关，获取实际访问地址和鉴权信息。
按协议、路径、端口和鉴权方式发送最小请求，确认模型标识、响应内容以及流式或非流式调用方式符合预期。

如果 Endpoints 同时提供测试入口和生产入口，测试入口仅用于验证，不建议作为正式调用地址。Auth Token 不应出现在截图、日志或共享材料中。

使用 JSON 创建服务

如果需要复用已有配置、批量迁移服务，或由自动化流程生成服务参数，可以使用 JSON 创建。

进入 推理服务 > 大模型推理。
单击新建，选择 JSON 创建。
选择区域和集群。
在编辑器中填写服务配置 JSON。
单击新建。

示例配置

以下示例使用模型仓库中的模型，通过 vLLM 以 单节点 方式创建大模型推理服务。提交前，请根据实际区域、集群、资源池、实例规格、模型路径和访问策略修改占位值。

{
  "name": "qwen-vllm-service",
  "description": "Qwen vLLM inference service",
  "modelConfig": {
    "modelSource": {
      "storageType": "model-repo",
      "storage": {
        "modelRepo": {
          "name": "Qwen/Qwen2.5-0.5B-Instruct",
          "version": "v1.0"
        }
      }
    }
  },
  "servingEngineConfig": {
    "engineType": "vllm",
    "engineVersion": "v0.8.5",
    "executeType": "single-node",
    "engineParams": {}
  },
  "resourcePool": "<RESOURCE_POOL_NAME>",
  "resourcePoolType": "dedicated",
  "resourcePoolQosType": "reserved",
  "roleConfig": {
    "server": {
      "replicas": 1,
      "ports": [
        {
          "name": "router",
          "containerPort": 8000
        }
      ],
      "resourceConfig": {
        "instanceName": "sci.g20-3",
        "instanceQuantity": 1
      },
      "routerConfig": {
        "routerPolicy": "round_robin",
        "resourcePool": "<ROUTER_RESOURCE_POOL_NAME>",
        "resourcePoolType": "shared",
        "resourcePoolQosType": "ondemand"
      }
    },
    "worker": {
      "replicas": 1,
      "resourceConfig": {
        "instanceName": "sci.g20-3",
        "instanceQuantity": 1
      }
    }
  },
  "serviceConfig": {
    "replicas": 0,
    "servicePort": {
      "name": "server",
      "port": 8000
    },
    "registerConfig": {
      "servedModelName": "qwen2.5"
    },
    "readinessProbe": {
      "probeType": "",
      "initialDelaySeconds": 0,
      "periodSeconds": 0,
      "timeoutSeconds": 0,
      "probeConfig": {}
    },
    "livenessProbe": {
      "probeType": "",
      "initialDelaySeconds": 0,
      "periodSeconds": 0,
      "timeoutSeconds": 0,
      "probeConfig": {}
    },
    "autoScaleConfig": {
      "autoScaleType": "timeseries",
      "timeseriesConfig": {
        "timePoints": []
      }
    }
  },
  "gatewayConfigs": [
    {
      "type": "Shared",
      "authToken": "",
      "enableHashRoute": false
    }
  ],
  "metricsConfig": {
    "metricsType": "prometheus",
    "metricsPath": "/metrics",
    "metricsPort": 8000
  },
  "monitoringConfig": {
    "enableAlarmPush": true
  },
  "env": {
    "MODEL_PATH": "/mnt/model/Qwen/Qwen2.5-0.5B-Instruct",
    "NCCL_IB_ADDR_FAMILY": "AF_INET6",
    "NCCL_IB_ADDR_RANGE": "<NCCL_IB_ADDR_RANGE>",
    "TZ": "Asia/Shanghai"
  },
  "storageConfig": {
    "fileSystemVolumes": []
  }
}

配置说明

配置块	说明
`name`	服务名称。
`modelConfig`	模型来源、模型名称、版本和存储配置。
`servingEngineConfig`	推理引擎类型、版本、执行方式和引擎参数。`executeType` 会影响 `roleConfig` 中需要配置的角色。
`resourcePool` / `resourcePoolType` / `resourcePoolQosType`	服务默认使用的资源池、资源池类型和资源类型。
`roleConfig`	不同角色的副本数、端口、命令、镜像和资源配置。示例中的 `server` 角色包含 `routerConfig`，用于配置路由策略和路由角色资源；`worker` 角色用于承载模型推理负载。
`serviceConfig`	自动扩缩容、探针、注册信息和服务端口等配置。`registerConfig.servedModelName` 是客户端请求时使用的模型标识，应与调用请求中的模型名一致。
`gatewayConfigs`	网关、路由、鉴权和访问入口配置。`authToken` 为空时，请根据实际鉴权策略确认是否由平台生成或另行配置。
`metricsConfig`	指标采集路径和端口配置。
`monitoringConfig`	告警推送等监控相关配置。
`env`	服务运行时环境变量。
`storageConfig`	Volume 等额外存储配置。没有额外挂载时，`fileSystemVolumes` 可以为空数组。

使用 JSON 创建时，请确保资源池、模型、镜像、端口、环境变量和网关信息与目标区域、集群一致。提交前可从已有服务或模板复制配置，再按本次服务目标修改必要字段。

后续操作

管理大模型推理服务

开始使用

资源准备

开发与训练

模型与推理

运维与治理

开发者接入

创建大模型推理服务

使用表单创建服务

1. 进入创建页

2. 填写配置信息

基础配置

推荐模板和资源池

推理引擎

模型配置

缓存配置

服务配置

监控配置

高级配置

3. 提交并验证

使用 JSON 创建服务

示例配置

配置说明

后续操作

​使用表单创建服务

​1. 进入创建页

​2. 填写配置信息

​基础配置

​推荐模板和资源池

​推理引擎

​模型配置

​缓存配置

​服务配置

​监控配置

​高级配置

​3. 提交并验证

​使用 JSON 创建服务

​示例配置

​配置说明

​后续操作

使用表单创建服务

1. 进入创建页

2. 填写配置信息

基础配置

推荐模板和资源池

推理引擎

模型配置

缓存配置

服务配置

监控配置

高级配置

3. 提交并验证

使用 JSON 创建服务

示例配置

配置说明

后续操作