发起性能压测
1. 进入压测页
进入目标大模型推理服务详情页,打开 一键测试 页签,单击 添加压力测试任务。 压测需要服务处于 运行中。同一个服务同一时刻只能有一个活跃测试任务,且性能压测和功能测试共用该限制。压测会对目标服务真实打流量,建议在服务可承受额外负载的时间窗口执行,或对灰度实例、专用实例进行压测。2. 填写压测配置
基本配置
| 配置 | 说明 | | --- | --- | --- | | 压力测试形态 | 选择本次压测目标。单点测试 用于验证单组负载配置下的服务表现;缓存命中率矩阵 用于比较不同缓存命中条件下的指标变化;速率扫描矩阵 用于按请求速率变化观察容量边界。 | | 运行模式 | 选择负载生成方式。固定并发 用于验证某个并发规模下的稳定表现;如果页面提供其他运行模式,请按本次目标选择。 | | API 类型 | 选择被测接口类型,例如completions。API 类型应与服务实际暴露的接口一致,否则压测请求可能无法被服务正确处理。 |
模式参数
数据源
资源配置和高级选项
3. 提交压测
单击 提交。压测任务会异步执行,您可以在 一键测试 页签的测试任务列表中查看状态。查看压测结果
压测任务到达终态后,在 一键测试 页签的任务列表中单击 查看报告。历史压测任务可按需 复制 或 删除。 性能压测只提供指标,不自动判断是否达标。是否满足业务目标,需要结合您的 SLA、成本和容量要求判断。
对比多次压测结果时,应确保模型、引擎版本、服务规格、请求数据、压测形式和目标入口一致。任一项不同,吞吐和延迟差异都可能不具备可比性。
判断瓶颈
常见问题
压测会影响线上真实请求吗?
压测会影响线上真实请求吗?
会。压测默认走真实服务入口,会给目标服务增加实际负载。生产服务压测前,请确认业务低峰窗口、灰度实例或专用实例。
为什么没有通过或不通过结论?
为什么没有通过或不通过结论?
性能压测只输出指标。是否达标需要结合业务 SLA、成本和容量目标判断;如果需要接口正确性结论,请使用功能测试。
提示已有活跃任务怎么办?
提示已有活跃任务怎么办?
该服务已有未结束的性能压测或功能测试任务。等待任务结束,或停止现有任务后再发起新的测试。
出现 cannot derive tokenizer from service model source 怎么办?
出现 cannot derive tokenizer from service model source 怎么办?
这表示平台无法从当前服务模型来源推导 tokenizer。使用 合成数据 时,平台需要 tokenizer 生成请求数据;可以改用 单个数据、数据地址、OSS 或 Volume,或按页面提示显式配置
data_source.processor。