跳转到主要内容
模型推理服务(Model Inference)是面向开发者和企业的多模型 API 平台,兼顾性能、稳定性与成本效率。平台通过统一 API 提供文本生成、推理、视觉与多模态模型调用,并提供在线体验、推理加速、用量观测和 API 密钥管理能力,帮助您从原型验证逐步走向生产应用。

开始使用

建议按照以下路径完成模型选型、接入和用量观测;如果已确定模型,可以直接从第 2 步开始。
1

选择和体验模型

在模型广场查找和比较模型,再到体验中心测试模型效果和参数,确认是否适合您的场景。
2

创建密钥并调用模型

创建 API 密钥,使用所选模型的 ID,通过 REST 请求或 SDK 发起首次调用。如果调用失败,请参见 错误处理。
3

查看用量与指标

  • 查看使用详情:了解单次请求的 token 用量、费用和耗时。
  • 查看指标:观察整体调用趋势、吞吐和延迟表现,评估接入效果与成本。

核心能力

  • 统一 API:通过统一接口调用不同模型,支持 REST 请求和流式输出,便于接入主流 SDK 和 AI 编码工具,减少接入和切换模型时的改动。
  • 高性能:自研推理加速与自动伸缩,实现低延迟、高吞吐,并能稳定承载长上下文负载。
  • 丰富的模型目录:覆盖文本生成、推理、视觉与多模态等模型类型。您可以在模型广场按厂商、类别、上下文和价格筛选模型,并在体验中心验证模型效果。
  • 成本可控:支持按量计费,并可按 API 密钥设置费用额度与 TPM/RPM 速率限制,便于控制支出和调用规模。
  • 用量与安全:可在首页、使用详情和指标页面查看 token 消耗、消费金额、请求明细和性能指标;API 密钥支持全生命周期管理,并可设置费用额度与速率限制。

模型与能力覆盖

平台提供以下模型类型。您可以先根据任务选择类型,再结合模型效果、上下文长度和价格确定具体模型。
  • 同一模型可能同时支持多种能力。需要在单次请求中处理大型文档或代码库时,还应关注模型的上下文窗口,详情请参见 长上下文。
  • 模型目录会持续更新,表中的模型仅用于举例。完整模型列表、能力支持、上下文长度和价格,请以 模型广场 的模型详情为准。调用 API 时,请使用详情页展示的模型 ID。

典型应用场景

  • 智能问答与助手:使用通用对话模型构建企业知识问答、运维助手和客服机器人,根据用户问题生成回复或辅助处理业务任务。
  • 内容创作与创意构思:生成营销文案和长文、撰写结构化文档,辅助完成从构思到内容生成的工作。
  • 代码智能与开发者效率:将模型接入编码工具或应用,用于代码生成、智能体编码、代码重构和多步开发工作流。
  • 视觉与多模态理解:通过图像描述、视觉问答和图表分析,理解图片、截图或图文材料中的信息。
  • 长上下文工作流:将大型文档、代码库片段或必要的对话历史传入单次请求,用于材料问答、总结、对比和代码分析。

计费与成本优化

平台按实际使用的 token 和模型单价计费,适合从开发验证逐步扩展到生产应用。计费口径和详细成本控制建议,请参见 Token 用量与计费说明。
  • 选择合适模型:开发验证阶段可先使用成本较低的模型,再按需求切换到能力更强的模型,并在效果、延迟和成本之间取舍。
  • 按密钥限制用量:为不同应用创建独立 API 密钥,并设置费用额度与 TPM/RPM 速率限制,降低用量失控风险。
  • 结合用量调整成本:通过请求明细和聚合指标识别主要用量与成本来源,再调整模型选择、输入长度或输出预算。