创建大模型推理服务

创建大模型推理服务后，平台会根据模型、推理引擎、资源池和服务配置拉起服务实例，并提供访问端点用于在线调用。您可以使用表单创建，也可以通过 JSON 复用已有配置。

使用表单创建服务

1. 进入创建页

进入 推理服务 > 大模型推理。
单击新建，选择 表单创建。

2. 填写配置信息

基础配置

基础配置决定服务所在范围、服务名称和项目组可见性。

配置	说明
区域、集群	决定服务创建到哪个资源范围。后续可选资源池、模型、存储和镜像会受区域和集群影响。
服务名称	服务的唯一名称，建议包含模型名、用途或环境，便于后续查找和运维。
服务描述	记录服务用途、模型版本、调用方或上线说明。
项目组	决定服务归属和协作范围。
在项目组内公开	开启后，项目组内其他用户可以查看或复用该服务，具体权限以项目组配置为准。

配置	说明
使用推荐模板	如果需要复用已有模板，开启后选择目标模板。模板会自动填充模型、引擎、探针、监控和部分高级配置；提交前仍需要核对是否符合本次服务目标。
资源池	选择服务使用的资源来源。页面可能以资源类型和资源池类型组合展示，例如预留实例 / 共享资源池；资源池会影响可用配额、调度位置和资源保障方式。创建后可在服务列表的资源池和占用资源中确认实际占用。

推理引擎

配置	说明
引擎	选择推理引擎及版本，例如 SGLang / v0.5.1.post1-cu126。可选项以当前集群展示为准。如需新增引擎版本、使用其他运行镜像或调整执行方式对应的角色规则，请参见管理大模型引擎配置。
引擎参数	单击添加更多输入添加引擎参数。vLLM 和 SGLang 在分布式、PD 分离场景下所需的系统分布式参数由平台生成，不需要重复填写。
执行方式	选择 `distributed`、`pd-disaggregated` 或 `single-node`。执行方式会影响后续需要配置的角色和资源。
Served Model Name	设置客户端请求时使用的模型标识。使用 OpenAI 兼容接口时，请求中的模型名应与该配置一致。

选择引擎和 执行方式 后，页面会展示对应的角色资源配置。实际角色取决于引擎、引擎版本和执行方式，不应根据执行方式名称固定推断角色。执行方式的用途如下：

执行方式	适用场景	配置重点
`single-node`	模型和运行状态能够放入单个节点。单节点也可以使用多张 GPU。	配置单节点规格、GPU 数和并行参数。
`distributed`	模型或执行方案需要跨多个节点运行。	配置组规模、节点资源、通信网络和并行参数。
`pd-disaggregated`	需要分别规划输入处理和生成阶段的容量。	分别配置 Prefill、Decode、路由及页面展示的其他角色。Prefill 重点关注输入长度和请求并发，Decode 重点关注输出长度和请求并发。

选择执行方式时，应结合模型规模、运行状态、代表性请求和目标并发评估。实际支持的执行方式与角色组合以当前引擎版本和集群展示为准。更换引擎或 执行方式 后，原有角色配置可能不再适用。提交前，请重新核对页面展示的角色、各角色副本数、组规模、实例规格和 GPU 总量。多节点或多角色服务需要分别计算各角色资源量。角色 GPU 数可按 角色副本数 × 每组节点数 × 每节点 GPU 数 估算；每节点 GPU 数还需要计入单节点实例规格数量。例如，一个角色配置 2 个副本，每组 2 台节点，每台节点 4 张 GPU，则该角色共使用 16 张 GPU。更新期间如同时保留新旧容量，额外资源需要另行计算。 vLLM 和 SGLang 使用平台内置启动方式时，引擎参数会追加到平台生成的启动命令中，例如 vllm serve --port <PORT> --host <HOST> {{引擎参数}} 或 python3 -m sglang.launch_server --port <PORT> --host <HOST> {{引擎参数}}。Custom 模式需要自行填写完整启动命令，并确保命令、端口和服务协议与后续端口、探针和网关配置一致；如需读取平台传入的模型路径或引擎参数，可在命令中引用 MODEL_PATH、ENGINE_PARAMS 等环境变量。

模型配置

配置	说明
模型	选择模型来源。 Hugging Face：填写模型名称和 Hugging Face Token。 Volume：选择已授权 Volume，并填写容器内挂载路径和挂载目录下的模型路径。模型仓库：选择模型仓库中的模型和版本。 OSS：填写对象存储 Bucket、路径和访问密钥等信息，密钥不要出现在截图、日志或共享材料中。
Lora 模型	如需加载 LoRA Adapter，开启后选择对应模型。

选择 Volume 作为模型来源时，需要区分容器内 挂载路径 和挂载目录下的 模型路径。最终传给推理引擎的模型路径为 MountPath/ModelPath。如填写 SubPath，它只用于把 PVC 限定到某个子目录并做目录级鉴权，不要把 模型路径 当作 Kubernetes 的 SubPath 使用。Lora 模型 使用 Volume 来源时也遵循同样规则。

缓存配置

配置	说明
开启分布式缓存	为支持的引擎启用分布式缓存能力。是否可用以及需要配置的角色、端口或参数，以当前引擎和页面展示为准。

服务配置

服务配置用于控制服务实例的健康检查。

配置	说明
存活探针检查	判断服务进程是否存活。持续检查失败时，平台可能会重启服务实例。模型加载时间较长时，不要把检查配置得过于激进，避免启动阶段被误判为异常。
可用性探针检查	判断服务是否已经准备好接收流量。检查失败时，平台不会向该实例分配新请求。建议优先配置可用性探针，等模型真正加载完成后再接入流量。

探针支持 HTTP、TCP 和 Exec。HTTP 适合已有 /health 或 /ready 等健康检查接口的服务；TCP 适合只确认端口连通的服务；Exec 适合在容器内执行自定义命令检查文件、进程或多端口状态。 vLLM 和 SGLang 常见健康检查路径为 /health，具体路径和端口仍应以所选引擎配置和服务实际暴露能力为准。

监控配置

配置	说明
Metrics	填写指标路径和指标端口，用于服务监控、弹性扩缩容或告警。SGLang、vLLM 和 Custom 的常见默认路径为 `/metrics`；常见默认端口：vLLM 为 `8000`，SGLang 为 `30000`，Custom 为 `8080`。PD 分离等部署方式下，监控端口可能与服务端口不同，以当前页面生成或展示的配置为准。

高级配置

配置	说明
环境变量	单击添加更多输入，为服务注入运行时配置。
存储、Pod中挂载路径	挂载额外 Volume，用于读取模型、配置文件或依赖数据。目录模式卷支持通过 `SubPath` 挂载指定子目录；同一个容器内的挂载路径应保持唯一。
服务端口	配置服务监听或暴露端口，应与引擎或自定义命令实际监听端口一致。
弹性扩缩容配置	按时间或指标调整副本数。首次上线建议先手动验证服务容量，再启用自动策略；更完整的扩缩容策略可参考推理服务高级运维。
网关配置	单击添加网关配置服务访问入口、路由和鉴权。可按页面展示选择网关类型、开启路由 hash 和 Auth Token。网关类型可选择共享网关等页面支持的类型；开启 Auth Token 后，调用服务时需要携带鉴权信息。只有引擎或路由明确提供兼容接口时，才使用对应 OpenAI 兼容路径。
是否推送告警	开启后，服务异常可进入告警链路。通知方式需要在告警中心配置。
优先级	设置服务的调度优先级。
可被抢占	设置服务是否允许被抢占。
是否开启gang调度	开启后，同一副本内多个角色需要整体满足资源后再调度，适合多角色强依赖的服务。
快速失败	用于在镜像拉取等创建期异常时更快暴露失败原因，便于排查。

容器本地盘（如 /root、/tmp 等本地目录）容量有限，写入大量数据可能导致负载系统驱逐；重启或迁移后本地数据会被清空。请将数据集、模型、输出结果等重要文件写入挂载的 Volume 共享存储，挂载路径建议使用 /volume、/mnt 等开头的目录，避免覆盖根目录、/opt、/workspace、/usr 等镜像中默认目录。

3. 提交并验证

提交前核对模型来源、引擎版本、执行方式、各角色资源总量、端口、网关和公开范围，必要时记录模型版本和关键配置。
单击提交。
提交后查看各角色目标实例和就绪实例，结合事件和日志确认模型加载进度。
服务进入 运行中 后，进入详情页的 服务网关 页签，查看实际访问地址和鉴权信息。
按协议、路径、端口和鉴权方式发送最小请求，确认模型标识、响应内容以及流式或非流式调用方式符合预期。只有引擎或路由明确提供兼容接口时，才使用对应 OpenAI 兼容路径；Custom 模式按实际服务协议调用。

访问 Token 不应出现在截图、日志或共享材料中。

使用 JSON 创建服务

如果需要复用已有配置、批量迁移服务，或由自动化流程生成服务参数，可以使用 JSON 创建。

进入 推理服务 > 大模型推理。
单击新建，选择 JSON 创建。
选择区域和集群。
在编辑器中填写服务配置 JSON。
单击新建。

示例配置

以下示例使用模型仓库中的模型，通过 vLLM 以 单节点 方式创建大模型推理服务。提交前，请根据实际区域、集群、资源池、实例规格、模型路径和访问策略修改占位值。

{
  "name": "qwen-vllm-service",
  "description": "Qwen vLLM inference service",
  "modelConfig": {
    "modelSource": {
      "storageType": "model-repo",
      "storage": {
        "modelRepo": {
          "name": "Qwen/Qwen2.5-0.5B-Instruct",
          "version": "v1.0"
        }
      }
    }
  },
  "servingEngineConfig": {
    "engineType": "vllm",
    "engineVersion": "v0.8.5",
    "executeType": "single-node",
    "engineParams": {}
  },
  "resourcePool": "<RESOURCE_POOL_NAME>",
  "resourcePoolType": "dedicated",
  "resourcePoolQosType": "reserved",
  "roleConfig": {
    "server": {
      "replicas": 1,
      "ports": [
        {
          "name": "router",
          "containerPort": 8000
        }
      ],
      "resourceConfig": {
        "instanceName": "sci.g20-3",
        "instanceQuantity": 1
      },
      "routerConfig": {
        "routerPolicy": "round_robin",
        "resourcePool": "<ROUTER_RESOURCE_POOL_NAME>",
        "resourcePoolType": "shared",
        "resourcePoolQosType": "ondemand"
      }
    },
    "worker": {
      "replicas": 1,
      "resourceConfig": {
        "instanceName": "sci.g20-3",
        "instanceQuantity": 1
      }
    }
  },
  "serviceConfig": {
    "replicas": 0,
    "servicePort": {
      "name": "server",
      "port": 8000
    },
    "registerConfig": {
      "servedModelName": "qwen2.5"
    },
    "readinessProbe": {
      "probeType": "",
      "initialDelaySeconds": 0,
      "periodSeconds": 0,
      "timeoutSeconds": 0,
      "probeConfig": {}
    },
    "livenessProbe": {
      "probeType": "",
      "initialDelaySeconds": 0,
      "periodSeconds": 0,
      "timeoutSeconds": 0,
      "probeConfig": {}
    },
    "autoScaleConfig": {
      "autoScaleType": "timeseries",
      "timeseriesConfig": {
        "timePoints": []
      }
    }
  },
  "gatewayConfigs": [
    {
      "type": "Shared",
      "authToken": "",
      "enableHashRoute": false
    }
  ],
  "metricsConfig": {
    "metricsType": "prometheus",
    "metricsPath": "/metrics",
    "metricsPort": 8000
  },
  "monitoringConfig": {
    "enableAlarmPush": true
  },
  "env": {
    "MODEL_PATH": "/mnt/model/Qwen/Qwen2.5-0.5B-Instruct",
    "NCCL_IB_ADDR_FAMILY": "AF_INET6",
    "NCCL_IB_ADDR_RANGE": "<NCCL_IB_ADDR_RANGE>",
    "TZ": "Asia/Shanghai"
  },
  "storageConfig": {
    "fileSystemVolumes": []
  }
}

配置说明

配置块	说明
`name`	服务名称。
`modelConfig`	模型来源、模型名称、版本和存储配置。
`servingEngineConfig`	推理引擎类型、版本、执行方式和引擎参数。`executeType` 会影响 `roleConfig` 中需要配置的角色。
`resourcePool` / `resourcePoolType` / `resourcePoolQosType`	服务默认使用的资源池、资源池类型和资源类型。
`roleConfig`	当前示例所使用角色的副本数、端口和资源配置。示例中的 `server` 和 `worker` 只对应这份配置，不代表不同引擎、版本和执行方式均使用相同角色。实际需要配置的角色以创建页面为准。
`serviceConfig`	自动扩缩容、探针、注册信息和服务端口等配置。`registerConfig.servedModelName` 是客户端请求时使用的模型标识，应与调用请求中的模型名一致。
`gatewayConfigs`	网关、路由、鉴权和访问入口配置。`authToken` 为空时，请根据实际鉴权策略确认是否由平台生成或另行配置。
`metricsConfig`	指标采集路径和端口配置。
`monitoringConfig`	告警推送等监控相关配置。
`env`	服务运行时环境变量。
`storageConfig`	Volume 等额外存储配置。没有额外挂载时，`fileSystemVolumes` 可以为空数组。

使用 JSON 创建时，请确保资源池、模型、镜像、端口、环境变量和网关信息与目标区域、集群一致。提交前可从已有服务或模板复制配置，再按本次服务目标修改必要字段。

开始使用

资源准备

开发与训练

模型与推理

运维与治理

最佳实践

开发者接入

常见问题

文档工具

创建大模型推理服务

使用表单创建服务

1. 进入创建页

2. 填写配置信息

基础配置

推荐模板和资源池

推理引擎

模型配置

缓存配置

服务配置

监控配置

高级配置

3. 提交并验证

使用 JSON 创建服务

示例配置

配置说明

后续操作

​使用表单创建服务

​1. 进入创建页

​2. 填写配置信息

​基础配置

​推荐模板和资源池

​推理引擎

​模型配置

​缓存配置

​服务配置

​监控配置

​高级配置

​3. 提交并验证

​使用 JSON 创建服务

​示例配置

​配置说明

​后续操作

使用表单创建服务

1. 进入创建页

2. 填写配置信息

基础配置

推荐模板和资源池

推理引擎

模型配置

缓存配置

服务配置

监控配置

高级配置

3. 提交并验证

使用 JSON 创建服务

示例配置

配置说明

后续操作