模型推理服务发布记录

​

功能优化

• 模型广场
  • 优化模型列表排序，新建模型默认展示在列表前部。
  • 优化模型展示信息，支持展示更易识别的模型显示名，模型 ID 保持不变。
• 调用链路
  • 优化限流场景下的重试等待时间，429 响应的 Retry-After 更贴近实际容量情况。
  • 优化请求重试策略，减少部分临时错误场景下的无效重试。

​

Bug 修复

• 修复部分模型在服务不可用时返回无原因 503 的问题，错误返回会包含更明确的原因。
• 修复 /v1/images/edits 接口在浏览器、curl -F 等客户端下可能解码失败的问题。

​

功能优化

• 控制台
  • 优化指标页面的单用户用量查询性能，改善高并发场景下的响应表现。
  • 优化指标页面用量数据更新延迟，提升用量展示及时性。
  • Playground 默认输出上限跟随模型配置，输出内容展示详细的 token 分类。
• 计费
  • 调整客户端断开连接（499）后的计费策略。请参见 Token 用量与计费说明。
• 调用链路
  • 错误响应新增 request_id 字段，用于调用排障。请参见 错误处理。
• 稳定性
  • 优化高并发场景下的服务稳定性。

​

Bug 修复

• 修复指标页面趋势图按时间区间统计时的数据对齐异常问题。
• 修复 Playground 参数为 0 时不生效的问题。

​

新功能

• 用量和费用分析支持展示 Top Models、Top API Keys 和成员用量等信息，便于快速定位主要调用来源和成本来源；其中成员用量仅管理员可见。请参见 查看模型指标。
• 指标页面新增首 Token 延迟（TTFT）、端到端延迟（Latency）和 Prompt 长度分布（prompt bucket）等指标，方便分析调用性能和响应延迟。请参见 查看模型指标。
• 使用详情 页面新增更完整的请求明细，包括请求时间、API Key、Token 用量、费用、TTFT 和端到端耗时等信息。

​

功能优化

• 模型信息
  • 模型详情页优化 context window 和 max output token 展示，帮助您更准确地评估模型上下文和输出能力。
• 调用链路
  • 优化错误码表达：可重试恢复的错误使用 4xx 表达，便于调用方识别并配置处理逻辑。
  • 优化平台请求重试策略，减少部分临时错误场景下的无效重试。
• 稳定性与性能
  • 优化高并发场景下的缓存和负载均衡能力，改善长上下文或高吞吐调用场景下的服务稳定性。
  • 优化推理服务部署和启动能力，缩短部分模型的服务准备时间。

​

Bug 修复

• 修复部分长上下文调用场景下缓存命中异常的问题，提升连续请求的稳定性。
• 修复部分长上下文调用场景下请求超时的问题。