跳转到主要内容

​
Vllm

​
单机多 GPU

  1. 配置 vllm 参数（例如 tp: 8）
  2. 执行方式选择：单节点
  3. 配置 worker 资源，每台机器最多 8 个 GPU
图片

​
多机多 GPU

为 leader 和 worker 配置资源，最好保持资源一致（注意：leader 的数量等于副本数） Vllm 参数：tp 8 pp 节点数 图片

​
PD 分离

需要为 prefill、decode 和 server 配置资源。一般建议 server 使用 CPU，prefill 和 decode 各使用 8 个 GPU，并启用 RDMA vLLM 参数：tp 8（prefill tp 8，decode tp 8） 图片

​
Dynamo

​
Vllm Beckend 多机多 GPU

多节点多 GPU 推理的配置方式与 vLLM 类似 图片

​
Sglang

注意：默认端口为 30000

​
PD 分离

引擎选择：sglang，执行模式：pd-disaggregated 图片 引擎参数为全局参数，将应用于所有 PD。如需单独设置，请在相应角色中修改其 args Size：当 size > 1 时，表示分布式 prefill 或 decode。例如 decode size 为 2 时，每次 decode 操作涉及 2 个节点 Replicas：副本数，即 prefill 或 decode 实例的数量。例如 decode replica 为 2 且 size 为 2 时，共有 2 * 2 = 4 个 decode 节点 健康检查及其它配置与其它框架一致 示例：DeepSeek v3.1 1p2d 分布式推理 Decode 参数： 
--disaggregation-mode decode --chunked-prefill-size 20480 --page-size 64 --tp-size 16 --ep-size 16 --moe-dense-tp-size 1 --speculative-algorithm EAGLE --speculative-num-steps 1 --speculative-eagle-topk 1 --speculative-num-draft-tokens 2 --enable-dp-attention --enable-dp-lm-head --dp-size 8 --moe-a2a-backend deepep --deepep-mode low_latency --mem-fraction-static 0.85 --context-length 32768 --cuda-graph-max-bs 64 --max-running-requests 2048 --trust-remote-code --disaggregation-transfer-backend nixl --disaggregation-ib-device mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_6,mlx5_7 --watchdog-timeout 3600
Prefill 参数： 
--disaggregation-mode prefill --chunked-prefill-size 20480 --page-size 64 --tp-size 8 --ep-size 8 --moe-dense-tp-size 1 --enable-dp-attention --enable-dp-lm-head --dp-size 2 --moe-a2a-backend deepep --deepep-mode normal --mem-fraction-static 0.85 --context-length 32768 --max-running-requests 2048 --trust-remote-code --disaggregation-transfer-backend nixl --disaggregation-ib-device mlx5_0,mlx5_1,mlx5_2,mlx5_3,mlx5_4,mlx5_5,mlx5_6,mlx5_7 --watchdog-timeout 3600
图片

​
Custom

如果你想自定义角色的镜像或启动命令，请选择此引擎模式
  1. 选择 custom 引擎类型
    1. 选择执行类型： 单机：单节点多副本 分布式：多节点多副本 分布式模式下可用的环境变量：
    Key说明示例适用于
    LWS_LEADER_ADDRESS通过 headless service 访问 leader 的地址。leaderworkerset-multi-template-0.leaderworkerset-multi-template.defaultPod
    LWS_GROUP_SIZE跟踪 LWS 组的大小。4Pod
    LWS_WORKER_INDEXPod 在组内的索引或标识。2Pod
    1. 填写角色镜像和启动命令
    图片
其它配置与其它框架一致