Skip to main content
创建大模型推理服务前,先确认是否需要复用已有配置。已有合适的引擎配置和推理模板时,可以直接在创建服务时选择;如果需要沉淀团队标准配置,再先维护对应配置对象。

配置对象

不是每次创建服务都需要新建引擎配置或推理模板。已有配置满足本次部署目标时,可以直接进入服务创建流程。

配置大模型引擎

  1. 进入 推理服务 > 大模型引擎配置。
  2. 选择 区域 和 集群。
  3. 单击 新建。
  4. 填写引擎配置 JSON。
  5. 单击 提交。
常见字段如下: 创建后,可按需编辑、克隆或删除已有引擎配置。删除前请确认没有模板或服务依赖该配置。

准备推理模板

如果多个服务会复用相同模型、引擎、探针、监控或高级配置,可以先创建大模型推理模板。模板创建后,可在大模型推理服务的表单创建页开启 使用推荐模板 并选择。 模板的创建、复用和管理,请参考管理大模型推理模板。

后续操作