服务类型
如果要发布大语言模型，优先使用大模型推理服务。如果服务本质上是一个自定义 HTTP、gRPC 或其他容器化应用，使用通用服务更合适。
基本对象
使用路径
大模型推理服务
- 准备模型、资源池和存储资源。模型可来自模型仓库、Volume、对象存储或其他可用来源。
- 如需新增或维护引擎版本，先管理大模型引擎配置；如需复用团队服务配置，可在管理大模型推理模板中创建模板。
- 创建服务时，选择模型来源、推理引擎和执行方式，并按角色配置资源。单机、多机和 PD 分离会展示不同角色配置。
- 提交后等待服务进入 运行中，再查看服务提供的访问端点并发送最小请求。
- 上线后按需调整容量、执行功能测试、性能压测或配置告警；需要变更模型或服务配置时，选择直接发布或灰度发布，目标版本异常时回滚服务。
通用服务
- 准备固定版本镜像、启动命令、应用端口、资源池、最小验证请求和必要的存储资源。
- 创建服务时，配置基本信息、资源信息、环境信息、增强功能、网关和监控。
- 如果开启鉴权或 Base URL，确认调用方能携带 Token，并确认服务能处理对应访问路径。
- 服务进入 运行中 后，查看访问端点并发送最小业务请求，同时确认 Volume、外部依赖和鉴权方式正常。
- 服务通过首次验证后，按变更风险选择直接发布或灰度发布；日常按需执行上线、下线、重启、定时任务或回滚。