跳转到主要内容
性能压测用于评估大模型推理服务的吞吐、延迟和容量边界。平台会拉起压测客户端,按配置向服务发送真实请求,并输出 QPS、首 token 延迟、出 token 速度、端到端延迟、token 吞吐和 HTTP 状态分布等指标。压测报告只提供指标,不判断通过或不通过。

发起性能压测

1. 进入压测页

进入目标大模型推理服务详情页,打开 一键测试 页签,单击 添加压力测试任务。 压测需要服务处于运行中。同一个服务同一时刻只能有一个活跃测试任务,且性能压测和功能测试共用该限制。压测会给目标服务增加实际负载,建议在服务可承受额外流量的时间窗口执行,或对灰度实例、专用实例进行压测。

2. 填写压测配置

选择压测形态

压测形态决定本次任务要观察的性能范围。 矩阵任务会展开多组测试,通常比单点测试耗时更长。可选择的压测形态以页面展示为准。

选择负载生成方式

负载生成方式决定压测客户端如何向服务发送请求。 选择方式后,按页面填写对应的并发数或请求速率、运行时长、预热时长、最大请求数等参数。建议从接近真实业务的负载开始逐步提高,避免一次性对服务施加过高压力。

选择 API 类型

API 类型应与服务实际提供的接口一致。

选择数据源

配置压测客户端和请求选项

3. 提交压测

单击 提交。压测任务会异步执行,您可以在 一键测试 页签的任务列表中查看状态。 任务显示的总耗时包含排队、资源创建、Pod 启动和正式执行时间,不等同于压测请求的实际运行时长。

查看压测结果

压测任务到达终态后,在 一键测试 页签的任务列表中单击 查看报告。 性能压测只输出指标。是否满足要求,需要结合业务 SLA、成本和容量目标判断。

解读矩阵结果

  • 缓存命中率矩阵:通过热力图比较不同输入、输出和缓存命中率组合。选择具体格子后,再查看该组合的吞吐和延迟详情。
  • 速率扫描矩阵:通过速率曲线观察请求速率提高时的吞吐和延迟变化,用于识别容量拐点。最大吞吐对应服务可以压出的吞吐上限,不代表该速率下的常规延迟表现。
对比多次压测结果时,应确保模型、引擎版本、服务规格、请求数据、压测形态、负载生成方式和目标入口一致。任一项不同,吞吐和延迟差异都可能不具备可比性。

停止或删除压测任务

判断瓶颈

常见问题

会。压测会向目标服务发送真实请求并增加实际负载。生产服务压测前,请选择业务低峰窗口、灰度实例或专用实例。
性能压测只输出指标。是否达标需要结合业务 SLA、成本和容量目标判断;如果需要接口正确性结论,请使用功能测试。
该服务已有未结束的性能压测或功能测试任务。等待任务结束,或停止现有任务后再发起新的测试。
使用合成数据需要 tokenizer。平台无法从当前服务模型来源推导 tokenizer 时,可以改用 单个数据、远程 URL、OSS 或 Volume,或按页面提示配置可用的 tokenizer。

相关文档