配置对象
不是每次创建服务都需要新建引擎配置或推理模板。已有配置满足本次部署目标时,可以直接进入服务创建流程。
配置大模型引擎
- 进入 推理服务 > 大模型引擎配置。
- 选择 区域 和 集群。
- 单击 新建。
- 填写引擎配置 JSON。
- 单击 提交。
创建后,可按需编辑、克隆或删除已有引擎配置。删除前请确认没有模板或服务依赖该配置。
Documentation Index
Fetch the complete documentation index at: /llms.txt
Use this file to discover all available pages before exploring further.
在创建大模型推理服务前,了解大模型引擎配置、推理模板和服务创建配置之间的关系。
| 对象 | 作用 | 何时需要关注 |
|---|---|---|
| 大模型引擎配置 | 定义引擎名称、版本、镜像和不同执行方式下的角色规则。 | 使用自定义引擎、新引擎版本、不同执行方式或 PD 分离部署前。 |
| 大模型推理模板 | 组合模型、引擎、执行方式、探针、监控和部分高级配置,供创建服务时复用。 | 多个服务需要复用相同配置,或团队希望统一服务创建口径时。 |
| 大模型推理服务 | 按模型、引擎、执行方式和资源配置拉起在线服务实例。 | 已确认本次部署的模型、资源、端口、网关和访问方式后。 |
| 字段 | 说明 |
|---|---|
engine | 引擎名称,例如 vllm、sglang、dynamo 或 custom。 |
version | 引擎版本。 |
image | 引擎运行镜像。 |
routerImage | 路由角色使用的镜像。 |
executeTypeRoles | 定义不同执行方式下需要展示和配置的角色。 |
showRoleRules | 控制角色参数、命令、镜像、规格和副本数等字段是否展示。 |
