vLLM

本地部署事实标准的高吞吐推理/服务引擎，PagedAttention 省显存，Apache 2.0 可商用。

当前 v0.33.0（published_at 2026-11-02 10:10 UTC，含 927 个提交、389 位贡献者（其中 122 位新贡献者），本站 2026-11-03 一手核验官方 release 说明）：① 新模型支持 —— Reflection Beam-1.0（501B MoE / 23B 激活，配 DFlash2 草稿模型）、Yandex AliceAI-Foundation-80B-A3B、Recursive Flint（40B MoE / 2.5B 激活）、Muse Spark Open、Step-5 Preview、NVIDIA Alpamayo 2 Super、Nemotron-Labs Dory1.0-4B、Nemotron Parse 3.5、MiniCPM-OCR 1.0、Domyn Edge 及 ColUltraVBERT 视觉文档检索器。

② 底座与镜像 —— 升级 PyTorch 2.14.0（torchvision 0.29.0 / Triton 3.8.0）；

CUDA 12.9 wheel 停发、仅发布 CUDA 13.0（-cu129 镜像不再提供）；

CUDA wheel 对 libtorch ABI 稳定；

新增 AWS EFA 镜像（vllm/vllm-openai:v0.33.0-efa，内置 Mooncake 传输引擎 EFA 构建）；

所有镜像同时以更短的 vllm/vllm 别名发布。

③ 投机解码 —— 新增 XPress refiner（面向 DFlash / DSpark 等块扩散草稿模型）；

FLy 有损验证策略（opt-in，MI355X 与 B300 上解码吞吐 1.04–1.31 倍）；

DFlash/DSpark 不再在 token 预算中预留草稿槽位（官方 PR 实测 DeepSeek-V4.1-Flash + DSpark 在 GB300 上输出吞吐 1373 → 3390 tok/s）；

量化草稿 lm_head（并发 1 时解码 +18%）；

EAGLE/MTP prefix-cache 命中保留末块（默认开启）；

Transformers 后端支持 MTP 草稿。

④ NVIDIA 解码提速 —— GB300 上 Kimi-K3 延迟专项解码 1.5–2 倍（TP8/TP16）、DeepSeek-V4.1-Flash batch 1 解码步快 18.3%；

DeepSeek-V4/V4.1 MXFP4 专家经 Humming 以 block FP8 跑在 Hopper（4x H200 解码 +9–21%）；

Blackwell 上 FA4 sparse MLA 解码；

FlashInfer DCP prefill（8xB200 100K 输入平均 TTFT 降 39–48%）。

⑤ AMD ROCm —— 默认镜像升级 ROCm 10.0（ROCm 7.2 仍以 -rocm72 提供）；

--monokernel 在 MI300X/MI325X 上让 DeepSeek-V4.1-Flash 并发 1 时 P50 交互 2.32 倍、MI355X 上 MiniMax-M3-MXFP4 TPOT 降 16.6%；

ROCM_OCTAVE 3–4bit KV cache（RX 7900 XTX 上 KV 容量为 fp16 的 4.6 倍）。

⑥ API 与服务 —— OpenAI 兼容 /v1/decisions 端点默认开启；

/v1/embeddings 支持 token embeddings 与可选 late chunking；

Rust 前端大幅对齐（长对话不再 500、不支持的参数启动即报错）；

TP>1 并发 worker 启动；

卡死进程看门狗自动转储堆栈。

⑦ 破坏性变更（升级前必读）—— 移除 Medusa 与 MLP speculator；

移除 legacy Ray compiled-graph executor；

--mamba-cache-mode 弃用；

生成暂停期间的请求返回 HTTP 503；

NIXL connector 需 1.5 及以上。

上一版 v0.32.0（2026-10-18，814 个提交 / 363 位贡献者，本站 2026-10-19 一手核验）：① 结构化决策与通用解析器 —— 新增 POST /v1/systemone 端点，在结构化状态上回答 choice / noul / score 类问题并默认启用，同时可跑在 Cloudflare/clef-omni、LiquidAI/d1-3B、DiffusionGemma 上；

新增 hf 工具与推理解析器（--tool-call-parser hf / --reasoning-parser hf）直接读取 checkpoint 自带的 response_template，不需要按模型写专用解析器，Python 与 Rust 前端均已支持。

② 低精度 KV cache 全面铺开 —— NVFP4 KV cache 扩到 SM8x / SM12x 与 SM90，并在 SM12x 上支持 XQA 解码、在 SM100 上支持 MiniMax-M3 稀疏注意力；

GLM-5.x 在 SM100 上默认改用 FP8 KV cache（每 rank KV 显存减半，官方 PR 实测吞吐 +2.3–5.5%、代价是 TTFT +7–11%）；

SM90 上的 fp8_ds_mla 让 GLM-5.3-Flash 输出吞吐最高 +31%；

ROCm 新增 4bit ultraquant_4bit KV cache，密度约 FP8 的 2 倍。

③ Model Runner V2 —— 新增变长草稿的 GPU n-gram 投机器、Elastic EP、MLA 模型配合 prefill 上下文并行的流水并行、原生 torch.compile 模式，且 MRV2 在 ROCm 上成为默认（取消按模型的特例）。

④ 启动与服务更快 —— vllm download-kernels 安装 FlashInfer 预编译内核；

vllm preload --preload-autotune 让 FlashInfer autotune 表跨重启复用；

共享内存张量 arena 一次拷贝即可向 worker 广播大多模态张量；

tokenizer 与 processor 从本地快照加载；

--api-server-count 大于 1 时连接路由到最空闲 API worker，官方 benchmark（Qwen3-0.6B、32 输入 / 1 输出 token 短请求）req/s 提升 43–85%。

⑤ 模型支持 —— 新增 EmbeddingGemma 2 全模态嵌入、MiniCPM-V 4.7、Nemotron 3.5 ASR；

Transformers 建模后端支持视频输入；

GLM-5.3 稀疏 MLA index 转换跨层复用（该 kernel 3.5–3.9 倍）、融合多步草稿解码（并发 1 时 +13.3%）；

GLM-5.3-NVFP4 在 B200 上的 HiSparse 逐请求驻留缓存让长上下文高并发场景吞吐最高 +58%。

⑥ 安全 —— 修复 GHSA-4hhp-h66f-j5j7（chat 模板资源耗尽）、GHSA-q97c-p368-75c4（tokenizer max_token_id）、GHSA-frvg-qw88-hww9（P2P ZMQ socket 耗尽）；

CORS 默认不再放行所有 origin；

不可信图片限定为栅格格式；

共享内存多模态缓存句柄加签名；

嵌套超过 64 层的 JSON schema 直接拒绝。

⑦ 破坏性变更（升级前必读）—— 不再支持 Python 3.10；

默认 CORS 来源收紧；

依赖 transformers>=5.16.1,<5.20.0 与 tokenizers>=0.23.2；

移除 torch.compile 序列并行与 AsyncTP pass、cascade attention、mamba_cache_mode="all"；

max_tokens 不再从上下文窗口预留；

Responses API 的 reasoning 流事件重命名。

上一版 v0.31.0（2026-10-05，717 个提交 / 307 位贡献者）：DeepSeek-V4.1-Flash 性能强化（FlashMLA mega attention 与 NVFP4 KV cache 成为 SM100 默认）、fast restart（vllm preload 常驻权重缓存 + 实验性 CRIU 快照）、MRV2 投机解码与自定义 logits processor、MoonEP 均衡 EP、--max-num-active-seqs 等调度参数。