LiteLLM

LiteLLM 是一个 Python SDK 和 proxy server，可通过统一的 OpenAI-style interface 调用多种 LLM API。它的 OpenAI-compatible provider（openai/<model> + 自定义 api_base）可以接入 siflow endpoint。本文默认模型为 glm-5.2；完整模型列表和价格请查看模型广场。

配置

在 API 密钥页面创建 API Key，并将其导出为环境变量。请不要把 key 写入源码：

export SIFLOW_API_KEY="<Your API Key>"

SDK

SDK 调用时，在模型名前加 openai/ 前缀，并设置 api_base：

import os
from litellm import completion

response = completion(
    model="openai/glm-5.2",
    api_base="https://api.siflow.cn/model-api/v1",
    api_key=os.environ["SIFLOW_API_KEY"],
    messages=[{"role": "user", "content": "In one short sentence, which model are you?"}],
)
print(response.choices[0].message.content)

Proxy

LiteLLM proxy server 也使用同样的路由方式，在 config.yaml 中配置：

model_list:
  - model_name: glm-5.2
    litellm_params:
      model: openai/glm-5.2
      api_base: https://api.siflow.cn/model-api/v1
      api_key: os.environ/SIFLOW_API_KEY

字段	说明
`model`	`openai/<id>`。`openai/` 前缀会选择 OpenAI-compatible 路由；使用模型 ID，例如 `openai/glm-5.2`
`api_base`	siflow OpenAI-compatible endpoint：`https://api.siflow.cn/model-api/v1`。LiteLLM 会追加 `/chat/completions`
`api_key`	创建的 API Key。SDK 调用中通过 `api_key=` 传入；proxy 配置中使用 `os.environ/SIFLOW_API_KEY`

自定义 OpenAI-compatible endpoint 需要使用 openai/ 前缀。否则 LiteLLM 会尝试从裸模型 ID 推断 provider，并且不会路由到 api_base。如果要使用 LiteLLM 的 function-calling 功能，请选择原生支持 tool calling 的模型。

验证

导出 SIFLOW_API_KEY 后运行上面的 SDK 示例。如果返回正常回复，即表示连接成功：

$ python siflow_litellm.py
I am GLM, a large language model developed by Z.ai.

对于 proxy，运行：

litellm --config config.yaml

然后使用 model: glm-5.2 调用 http://localhost:4000/v1/chat/completions。 LiteLLM 内置的模型数据库没有列出模型 ID，因此可能提示未知 context size 或 price。可以显式传入 max_tokens，或通过 litellm.register_model({...}) 注册模型。这不会影响对话响应。

开始使用

模型

用量

API 指南

工具集成

配置

SDK

Proxy

验证

​配置

​SDK

​Proxy

​验证

配置

SDK

Proxy

验证