Skip to main content
大模型引擎配置用于注册可供服务和模板选择的推理引擎版本,并定义运行镜像、执行方式和角色展示规则。已有引擎配置满足部署需求时,可以直接在创建服务或模板时选择;需要新增引擎版本、调整运行镜像或维护角色规则时,再创建或编辑引擎配置。 引擎配置维护可复用的引擎定义。创建服务时,仍需为本次服务选择引擎版本,并配置引擎参数、执行方式和角色资源。

创建引擎配置

1. 进入创建页

  1. 进入 推理服务 > 大模型引擎配置。
  2. 选择 区域 和 集群。
  3. 单击 新建。

2. 填写引擎配置

在编辑器中填写引擎配置 JSON。配置中的字段共同决定创建服务时可选的引擎版本,以及不同执行方式下展示的角色和配置项。 引擎配置中的执行方式和角色规则应与对应镜像的启动方式保持一致。创建服务时,请以页面根据当前引擎版本实际展示的角色为准,不要仅根据执行方式名称固定推断角色。

3. 提交创建

单击 提交。创建完成后,该引擎版本可供大模型推理服务和推理模板选择。

管理引擎配置

进入 推理服务 > 大模型引擎配置,找到目标配置后执行相应操作。

后续操作