跳转到主要内容
通用服务用于部署持续运行的 HTTP 应用、工具接口和自定义容器服务,提供资源、端口、网关、健康检查及版本管理。部署模型引擎及多角色推理工作负载,请参见 创建大模型推理服务。

前提条件

  • 已获得目标区域、集群、项目组及资源池的使用权限和所需配额。
  • 已准备固定版本镜像、启动命令、应用端口和最小验证请求。
  • 持久化数据已规划到授权的 Volume,并已确认外部依赖和鉴权方式。
  • 有状态应用已评估多副本、新旧版本并行运行及数据结构兼容性。

1. 进入创建页

  1. 进入 推理服务 > 通用服务。
  2. 选择 区域、集群 和 项目组。
  3. 单击 创建。

2. 填写配置信息

基本信息

资源信息

服务所需的总资源按每个副本的规格和副本数计算。

环境信息

命令和挂载配置使用容器内路径。 应用需要监听可供容器外访问的地址;若仅监听 127.0.0.1,通常无法通过网关访问。

增强功能

网关配置

通用服务默认可通过平台共享网关访问。需要使用自定义域名,或按端口配置不同入口路径时,单击 添加网关,选择 独立网关。 配置独立网关前,需完成以下准备:
  • 将自定义域名解析到当前集群的网关入口。
  • 准备域名证书和 HTTPS 访问策略。
  • 在 端口配置 中添加独立网关需要转发的服务端口。
同一域名可以通过不同入口路径转发到不同端口,也可以为不同端口分别配置域名。网关配置应与服务实际协议、端口、路径、鉴权方式和 Base URL 设置保持一致。

监控信息

用于发布前后比较错误率、延迟和资源使用。

3. 提交创建

单击 创建。提交后,在通用服务列表中查看运行状态。 服务未进入 运行中 时,查看负载详情、事件、镜像拉取、存储挂载和启动日志,确认实例是否正常就绪。

4. 验证访问

服务进入 运行中 后,按以下步骤确认访问链路和业务响应均符合预期:
  1. 进入服务详情页的 概览 页签,在 访问端点 中单击 查看详情。在 端点信息详情 中按端口查看 共享网关、集群内访问(VPC) 等链接地址;若服务开启鉴权,同时获取平台生成的 Token。
    如果已关闭控制台域名访问,请使用集群共享网关地址进行验证。设置方法请参见 开启或关闭控制台域名访问。
  2. 按实际协议、端口、入口路径和鉴权方式发送最小请求。服务配置多个端口时,分别验证需要对外提供访问的端口。开启鉴权时,在请求 Header 中携带 Authorization;开启 Base URL 时,确认服务能够处理带前缀的请求路径。
  3. 确认必要的 Volume 读写、外部依赖和鉴权链路正常。
  4. 记录错误率、延迟和资源使用情况,作为后续更新或灰度发布的对比基线。
健康检查通过只表示平台探针成功,不等于业务请求一定成功。请在达到预期就绪容量并通过最小请求验证后,再接入正式流量。

后续操作

服务通过首次验证后,可根据后续目标继续操作:
  • 发布或回滚服务版本:低风险且已验证的变更可以直接发布;需要先验证目标版本时,使用灰度发布,并根据验证结果继续放量、回滚或清理旧版本。请参见 发布和回滚通用服务。
  • 管理运行中的服务:查看服务访问端点和运行负载,或按需更新独立网关、上下线、重启、设置定时策略、分享或删除服务。请参见 管理通用服务。