用户指南 - Siflow

创建服务

在 LLM Inference 模块中，点击 Create 进入创建表单

填写大模型服务配置，包含四个部分：基础配置、推理配置、监控配置和高级设置

类别	配置名称	说明	是否必填
基础配置	name	账户下唯一	✅
	description	服务描述，可在此添加一些备注	❌
推理配置	Model	模型来源： 1. hf：Hugging Face，需要填写模型名称和 Hugging Face token 2. volume：GPFS 存储卷，选择一个存储卷并填写挂载路径和模型路径 3. model-repo：模型仓库，从模型仓库中选择公开或私有模型 4. hostpath：本地路径【仅用于测试，即将废弃】 5. pvc：k8s 集群中的 PVC【仅用于测试，即将废弃】 6. oss：填写 bucket 和 key	✅
	Inference Engine	vLLM 或 SgLang
	健康检查配置	Liveness：服务存活探针 Readiness：服务就绪探针探针类型（tcp/http）探针请求路径、探针请求端口、超时时长注意：此处应考虑服务初始化时间（模型加载、引擎初始化）。一般情况下，72B 参数以下的模型将超时设置为 60，400B 参数以上的模型设置为 300。请根据实际情况调整
高级配置	弹性伸缩	注意：检测间隔 2*分钟 1. 时间戳：伸缩的时间点，时间戳格式 2. 副本数量：服务副本数量	❌
	服务注册	Ingress 类型：k8s ingress 配置，添加额外的集群 ingress 解析规则
	存储卷	服务挂载额外的 GPFS 存储卷
	环境变量	为服务配置环境变量

服务列表分为两个部分：

服务状态：显示服务的运行状态。将鼠标悬停在问号上可查看服务状态的详细说明操作项：

实例列表按角色分组显示服务实例，并允许您重建实例、查看实例日志和监控实例指标

在服务列表中点击”伸缩”以执行垂直伸缩（每个节点的资源配置）和水平伸缩（增加或减少副本数量）

部分引擎默认端口：

在告警中心通过选择 inference 和 service error 来订阅告警