Skip to main content
大模型推理用于将大语言模型部署为在线服务并对外提供调用。基于推理模版实例化服务，支持 PD 分离以提升推理效率，并提供版本管理、手动 / 自动扩缩容等服务运维能力。