OnlineChatModule 支持自定义 OpenAI 兼容端点,因此可以接入算秩模型推理服务。
本文以 glm-5.2 为例。完整模型清单与价格见 模型广场。
配置
在 API 密钥 页面创建一个 API Key。安装lazyllm 后,用 source="openai" 构建一个指向 siflow endpoint 的在线模型:
验证
调用模型,能正常返回即接入成功(验证于 lazyllm 1.3.0):常见问题
source用openai,url填 base URL 且含/v1:https://api.siflow.cn/model-api/v1。model会透传给上游:填错模型 ID 会收到上游404 model_not_found,以 模型广场 的 ID 为准。- 需要工具调用 / Agent 能力时,选用支持工具调用的模型(
glm-5.2可用)。
