> ## Documentation Index
> Fetch the complete documentation index at: https://docs.siflow.cn/llms.txt
> Use this file to discover all available pages before exploring further.

# 准备大模型推理配置

> 在创建大模型推理服务前，了解大模型引擎配置、推理模板和服务创建配置之间的关系。

创建大模型推理服务前，先确认是否需要复用已有配置。已有合适的引擎配置和推理模板时，可以直接在创建服务时选择；如果需要沉淀团队标准配置，再先维护对应配置对象。

## 配置对象

| 对象          | 作用                                  | 何时需要关注                          |
| ----------- | ----------------------------------- | ------------------------------- |
| **大模型引擎配置** | 定义引擎名称、版本、镜像和不同执行方式下的角色规则。          | 使用自定义引擎、新引擎版本、不同执行方式或 PD 分离部署前。 |
| **大模型推理模板** | 组合模型、引擎、执行方式、探针、监控和部分高级配置，供创建服务时复用。 | 多个服务需要复用相同配置，或团队希望统一服务创建口径时。    |
| **大模型推理服务** | 按模型、引擎、执行方式和资源配置拉起在线服务实例。           | 已确认本次部署的模型、资源、端口、网关和访问方式后。      |

不是每次创建服务都需要新建引擎配置或推理模板。已有配置满足本次部署目标时，可以直接进入服务创建流程。

## 配置大模型引擎

1. 进入 **推理服务 > 大模型引擎配置**。
2. 选择 **区域** 和 **集群**。
3. 单击 **新建**。
4. 填写引擎配置 JSON。
5. 单击 **提交**。

常见字段如下：

| 字段                 | 说明                                           |
| ------------------ | -------------------------------------------- |
| `engine`           | 引擎名称，例如 `vllm`、`sglang`、`dynamo` 或 `custom`。 |
| `version`          | 引擎版本。                                        |
| `image`            | 引擎运行镜像。                                      |
| `routerImage`      | 路由角色使用的镜像。                                   |
| `executeTypeRoles` | 定义不同执行方式下需要展示和配置的角色。                         |
| `showRoleRules`    | 控制角色参数、命令、镜像、规格和副本数等字段是否展示。                  |

创建后，可按需编辑、克隆或删除已有引擎配置。删除前请确认没有模板或服务依赖该配置。

## 准备推理模板

如果多个服务会复用相同模型、引擎、探针、监控或高级配置，可以先创建大模型推理模板。模板创建后，可在大模型推理服务的表单创建页开启 **使用推荐模板** 并选择。

模板的创建、复用和管理，请参考[管理大模型推理模板](./manage-llm-inference-templates)。

## 后续操作

* [管理大模型推理模板](./manage-llm-inference-templates)
* [创建大模型推理服务](./create-llm-inference-services)