推理服务高级运维

推理服务上线后，可以通过扩缩容、监控告警、功能测试、性能压测和灰度发布控制服务容量、稳定性和变更风险。本页作为高级运维入口，帮助您判断该进入哪类操作。

扩缩容

推理服务支持手动扩缩容和弹性扩缩容。扩容前确认资源池配额；缩容前确认剩余容量可以承接当前流量、长连接和流式请求。

类型	适合场景	使用建议
手动扩缩容	业务流量变化明确，或需要临时提升容量。	在服务列表中使用扩/缩容入口，按角色调整副本数、实例配置和资源池。大模型推理服务如页面展示智能路由配置，还需要同时确认路由侧副本、实例配置和请求分发策略。
定时扩缩容	流量峰谷规律明显。	在创建或更新服务的高级配置中配置时间点和目标副本数，并为资源等待和模型预热预留时间。
指标扩缩容	流量波动较大，需要自动响应负载。	根据目标角色、指标、阈值、采集窗口、冷却时间和副本上下限配置规则。先用保守阈值观察，再逐步调整。

如果服务中任一角色使用多实例组等复杂配置，指标扩缩容能力以当前页面是否允许配置为准。手动调整后，自动策略可能再次修改目标副本；固定容量排障或压测前，应明确自动策略是否需要暂停。

推理服务可采集资源指标和引擎指标。资源监控用于查看 CPU、GPU、显存、内存和网络使用情况；引擎监控用于查看 vLLM、SGLang 等引擎的请求、延迟和吞吐相关指标。

目标	查看内容	操作建议
判断资源瓶颈	CPU、GPU、显存、内存、网络。	资源长期接近上限且延迟上升时，评估扩容或调整引擎参数。
判断引擎瓶颈	请求量、错误、延迟、吞吐等引擎指标。	与资源监控一起查看，区分服务端瓶颈和请求侧波动。
配置告警	服务异常、错误率、删除滞留或自定义指标。	在告警中心订阅推理服务相关告警，并结合业务可用性配置通知策略。

当前服务异常类告警以控制台可订阅项为准。如果需要监控自定义指标，请先确认服务已暴露 Metrics 路径和端口。

创建推理服务时，部分集群支持声明服务是否允许被抢占。该声明用于表达服务在资源紧张时是否可以让路给更高优先级作业，不改变服务计费口径，也不提升服务调度优先级。

场景	建议
实验性、非关键、可中断服务	可以声明允许被抢占。
生产服务或关键在线服务	不建议声明允许被抢占。
使用闲时资源	闲时资源通常按可抢占理解，最终行为以资源池规则为准。
使用按量资源	按量资源通常不按可抢占资源处理，最终行为以资源池规则为准。

抢占声明的实际效果取决于服务使用的资源池类型和角色资源配置。多角色服务可能为不同角色选择不同资源池，实际抢占行为需要分别判断。

智能路由、分布式 KV Cache 和自定义监控看板等能力会受引擎、集群和服务配置影响。当前页面提供对应配置入口时，再按业务目标启用；没有确认入口和字段前，不建议把这些能力写成固定操作路径。