管理大模型推理服务

大模型推理服务创建后，您可以在服务列表中查找服务，在详情页获取访问入口、排查实例状态、查看事件日志和监控，并根据业务状态执行扩/缩容、更新、回滚、下线、复制、分享、公开到项目组或删除。

查找服务

进入 推理服务 > 大模型推理。
选择区域、集群和 项目组。
在搜索框中输入服务名称，或使用 引擎类型、服务状态、资源池 等筛选条件。
在 个人服务 或 被分享服务 页签中查看服务。

列表中重点关注以下信息：

目标	关注信息	判断方式
判断服务能否调用	服务状态、Endpoints。	服务进入运行中后，再查看访问地址并发送最小请求。服务处于排队中、扩/缩容中等状态时，先进入详情查看事件和实例。
判断资源是否正常占用	资源池、占用资源。	关注各角色占用的实例规格和数量。目标副本与就绪副本长期不一致时，查看事件和实例日志。
执行日常运维	详情、扩/缩容、更新、回滚、下线、Endpoints、更多。	优先通过详情确认当前状态；需要调整容量时单击扩/缩容，需要获取访问入口时单击 Endpoints。更多菜单中可按需选择复制、分享、创建为模板、删除或公开到项目组。
确认协作范围	个人服务、被分享服务、创建人、项目组和可见性。	自己创建或有权限管理的服务在个人服务查看；他人分享的服务在被分享服务查看。

查看服务详情

在服务列表中单击目标服务的详情。详情页顶部展示服务状态、引擎、引擎版本、创建人、区域、集群和可见性；下方页签用于访问、排查、监控和测试。

目标	进入页签	关注信息和操作
核对当前配置	基本信息	查看模型、引擎、资源、端口、网关和高级配置是否符合预期，再决定是否更新、扩缩容、回滚或重新创建。
排查实例未就绪或重启	实例列表	按 Pod 名称搜索，查看角色、容器状态、主机 IP、容器 IP、重启次数和状态。可对单个 Pod 单击重启、实时日志、查看监控或终端。
判断创建、调度或扩缩容卡点	事件	通过事件时间线查看服务从创建、初始化、排队到运行的变化；结合事件类型、子类型、发生时间和事件信息定位卡点。需要持续关注时，可从事件行单击告警订阅。
查看资源和引擎指标	监控告警	在配置、资源、Vllm 监控、Sglang 监控或自定义页签中查看；可按 Pod、监控数据、时间范围和采样步进筛选。
获取调用地址	服务网关	查看 Shared Gateway 或 In-Cluster Service 的网关域名、路径、Auth Token 和开启路由 hash 状态。需要验证入口时，单击对应网关的测试。
管理历史版本	发布版本	查看版本号、版本状态、创建时间和更新时间。回滚前确认目标版本配置、模型文件和访问方式仍然可用。
排查启动或请求异常	日志	在用户日志或系统日志中选择时间范围、Pod 和行数，使用过滤或关键字搜索定位问题；必要时单击下载保存日志。
验证接口或评估性能	一键测试	单击发起功能测试或添加压力测试任务；任务结束后可查看报告、复制或删除历史测试任务。

日志默认展示最近 1 小时数据。平台日志当前仅保留近 30 天，选择的起始时间超出日志保留范围时，可能没有日志展示。

获取和验证访问入口

服务进入 运行中 后，可以在服务列表单击 Endpoints，也可以进入详情页打开 服务网关 页签。

调用入口	适合场景	使用方式
Shared Gateway	从集群外部或统一网关入口调用服务。	获取网关域名和路径；如果开启 Auth Token，调用方需要携带鉴权信息；如果开启路由 hash，请按业务需要确认路由行为。
In-Cluster Service	在同一集群内由其他工作负载调用服务。	使用页面展示的集群内域名和路径。是否适合作为生产入口，以网络环境和调用方部署位置为准。

如果页面同时提供测试入口和生产入口，测试入口仅用于验证，不建议作为正式调用地址。Auth Token 不应出现在截图、日志或共享材料中。

调整服务容量

服务容量不足、业务流量变化，或需要调整角色资源时，在服务列表单击 扩/缩容。

配置	说明
引擎参数	如需调整引擎运行参数，单击添加更多输入。修改引擎参数可能影响启动命令、模型加载和接口行为，提交前需要确认与当前引擎、模型和端口配置兼容。
资源池	选择本次扩/缩容使用的资源池。资源池会影响可用配额、调度位置和资源保障方式。
角色页签	按页面展示的角色分别配置，例如 worker。多角色服务需要逐个角色确认副本数和资源配置。
副本数	设置目标副本数量。仅修改副本数通常不会触发滚动更新；缩容前确认剩余副本可以承接当前流量。
实例配置	选择实例规格。页面会展示规格对应的 CPU、内存等信息以及可用节点数量；可用节点不足时，扩容可能排队或失败。
镜像、Command	如果页面展示这两个配置，说明本次变更可能涉及服务运行镜像或启动命令。修改前应记录当前可用配置，确认新镜像、命令、端口和模型路径仍能正常启动。
智能路由	开启后，按页面要求配置路由侧资源。可选择是否使用其他资源池，并填写路由副本数、实例配置和请求分发策略，例如 `cache_aware_no_queue`。不确定策略含义时，优先保持现有配置。

单击确定后，进入详情页查看事件和 实例列表，确认目标副本和就绪副本逐步达到预期；如果实例长时间未就绪，再查看日志和 监控告警。

管理服务

操作	入口和用途	操作前关注
更新	在服务列表单击更新，修改服务配置。运行中服务通常适合更新非资源类配置；下线后可修改更多配置。	修改模型、引擎、镜像、启动参数或探针前，建议记录当前可用版本和业务基线。高风险变更优先使用灰度发布。
回滚	在服务列表或发布版本页签中使用回滚入口，将服务恢复到历史版本。	回滚后重新验证模型文件、资源、入口和数据兼容性。
下线 / 上线	运行中的服务可在列表中单击下线停止服务；下线后的服务如页面提供上线入口，可重新启动服务。	下线前迁移或停止业务流量；上线后等待服务进入运行中，再验证端点。
复制	在更多菜单中选择复制，复用当前服务配置创建相似服务。	提交前重新核对服务名称、项目组、资源池、访问入口和敏感配置，不要直接复用不适合新场景的 Token、路径或模型版本。
分享	在更多菜单中选择分享，将服务分享给其他用户查看或使用。	确认服务中是否包含敏感模型、访问端点或运行配置。分享后，被分享用户可在被分享服务页签查看。
公开到项目组	在更多菜单中选择公开到项目组，将服务可见范围调整为项目组内可见。	公开前确认项目组成员是否都适合查看或使用该服务。
创建为模板	在更多菜单中选择创建为模板，将当前服务配置保存为大模型推理模板。	保存前核对模型路径、引擎、探针和网关配置是否适合复用。
删除	在更多菜单中选择删除，删除服务记录和相关运行资源。	删除前确认服务已无调用方依赖，并保存必要配置、日志或排查信息。

排查服务异常

排查服务不可用或性能异常时，建议按以下顺序查看：

查看服务状态和事件，确认是否存在资源不足、镜像拉取失败、探针失败或网关配置问题。
查看实例状态，定位异常角色和异常实例。
查看日志，确认模型加载、引擎启动和请求处理是否异常。
查看资源监控和引擎监控，判断 GPU、显存、CPU、内存、吞吐或延迟是否成为瓶颈。
如果需要验证接口正确性，发起功能测试；如果需要评估容量，发起性能压测。

开始使用

资源准备

开发与训练

模型与推理

运维与治理

开发者接入

管理大模型推理服务

查找服务

查看服务详情

获取和验证访问入口

调整服务容量

管理服务

排查服务异常

相关文档

​查找服务

​查看服务详情

​获取和验证访问入口

​调整服务容量

​管理服务

​排查服务异常

​相关文档

查找服务

查看服务详情

获取和验证访问入口

调整服务容量

管理服务

排查服务异常

相关文档