跳转到主要内容
大模型推理是平台推出的面向大语言模型的服务管理与部署功能。该新模块支持最新的 PD 分离技术，显著提升推理效率。同时，平台还增强了基础服务部署能力，包括版本管理、手动/自动扩缩容等。