管理大模型推理模板

大模型推理模板用于沉淀可复用的服务配置。创建模板后，您可以在创建大模型推理服务时开启 使用推荐模板，快速复用模型、引擎、执行方式、探针、监控和部分高级配置。

​

创建模板

​

1. 进入创建页

1. 进入 推理服务 > 大模型推理模板。
2. 选择 区域 和 集群。
3. 单击 新建。

​

2. 填写配置信息

​

基础配置

​

模型和引擎

​

探针、监控和高级配置

探针支持 HTTP、TCP 和 Exec 等检查方式。服务提供健康检查接口时，优先配置 可用性探针，避免模型未加载完成时接入流量；如果需要在进程卡死或异常时自动恢复，再配置 存活探针。

​

3. 提交创建

单击 提交。创建后，可在创建大模型推理服务时选择该模板并复用配置。

​

从服务创建模板

如果已有服务配置适合复用，可以在目标大模型推理服务的 创建为模板 入口保存为模板。保存前请核对模型路径、引擎、探针、监控、网关和公开范围是否适合后续服务复用。

​

管理模板

在 推理服务 > 大模型推理模板 中找到目标模板后，可以按需编辑、克隆或删除模板。

​

后续操作

• 创建大模型推理服务