创建通用服务

在 Inference 模块中找到 General Service。点击创建按钮进入创建页面。

​

填写基础服务信息

• Service Name：用于标识服务的自定义唯一名称
• Service ports：可配置一个或多个端口用于服务访问
• BaseURL：用于指定访问后端的前缀路径

​

配置负载信息

• Image：选择或输入服务运行所使用的 Docker 镜像
• Resource Allocation：包括 CPU、内存和 GPU 等资源限制
• Execute command (CMD)：服务启动时执行的命令
• Health check probe：配置存活/就绪探针以确保服务可用性
• Multi-version support：一个服务可配置多个工作负载版本，便于升级或回滚

​

Baseurl

• BaseURL Enable：当访问入口路径带有前缀时，服务内部同样可以接收到这个完整路径。
  • Access path：访问入口自动包含完整的前缀路径，服务端也会接收到相同的完整路径。
  • Usage：用于多租户隔离，确保访问路径不冲突。
  • Service Configuration Requirements：服务需要处理带前缀的访问路径。例如，当用户访问 /chat/completion 时，实际请求路径可能为：/siflow/cks/ai-infra/xyjiang02/test2/v1/8000/chat/completion
  • 可通过以下两种方式实现适配：
    1. 服务端支持前缀路径（例如在应用框架中配置 root_path 或 basePath）
    2. 在自定义 Nginx 配置中添加重写规则，将带前缀的请求转发到服务的原始路径
• BaseURL Disable：访问入口可以自由访问，但服务内部只接收到 /（即根路径）。
  • Usage：无需路径隔离的单租户或测试场景。
  • Service Configuration Requirements：服务只需支持其自身的 API 路径，无需添加前缀路径。例如，当用户访问 /siflow/cks/.../chat/completion 时，Ingress 会自动将请求转发到：/chat/completion