SGLang

高性能 LLM 与多模态服务框架，RadixAttention 在长上下文场景优势明显，Apache 2.0。

当前 v0.5.23（published_at 2026-11-02 22:14 UTC，含 1007 个 PR、257 位贡献者，本站 2026-11-03 一手核验官方 release 说明）：① 新模型支持 —— Muse Spark Open（LLM/VLM）、Reflection Beam-1.0（LLM/VLM）、MiniMax-M3.1-Flash、MiniCPM-V 4.7、Kev；

扩散侧新增 Cosmos3-Nano-Sim（Bimanual / Transfer / Auto）、FastH3 Omni、FLUX.3 Image Klein、HY-Nomas、MOSS-Image。

② 性能 —— DeepSeek-V4.1 在 GB300 上负载 prefill 吞吐最高提升 1.5 倍、32K–64K 提示首 token 时延约降 28%；

低延迟模式经 NVIDIA megakernel（sgl-nvidia-mega）与 AMD monokernel（sgl-amd-mono）插件把 DeepSeek-V4.1-Flash 解码融合为常驻内核（GB300 单用户解码最高快 44%、MI350X 75%）；

DeepSeek-V4.1-Flash / GLM-5.3-Flash / gpt-oss 等 MoE 模型在 H200 8K 提示下首 token 提前 30–58%；

Paged Experts（opt-in）让超出显存的 MoE 模型在单张消费级 GPU 上运行、较 CPU offload 快至 30 倍。

③ 平台 —— 经 SGLang-TorchTPU（PyTorch 原生插件）支持 Google TPU7x；

FP8 / NVFP4 量化 MoE 模型现可挂 LoRA 适配器（新 LoRA 引擎，opt-in）；

DeepSeek 式 MLA 模型 decode 上下文并行时 prefix cache 可保留在 HiCache 文件 L3 存储。

④ 升级 —— uv pip install --prerelease=allow sglang==0.5.23；

Docker 镜像 lmsysorg/sglang:v0.5.23（AMD 分 rocm10-mi35x / rocm10-mi30x，另有 xpu / xeon）。

上一版 v0.5.22（2026-10-19，950 个 PR、245 位贡献者，本站 2026-10-20 一手核验）要点：① 新模型支持 —— Clef / Clef Flash、PPLX-Decider v1 / v1.1、Google EmbeddingGemma 2、LLaDA2.2，扩散侧新增腾讯 HunyuanImage-3.0-Instruct、Kandinsky 6 / 6 SR、Wan-Animate-2、SANA-Video 2.0、LLaDA-Image / LLaDA-Image-Turbo。

② 性能 —— DeepSeek-V4.1 在 H200 上每 GPU 吞吐最高提升 2.3 倍，并可在 AMD MI350X / MI355X 上运行（DSpark 带来最高 1.9 倍吞吐）；

Qwen3.8-Flash-Next 在 B200 上解码快 12%、GLM-5.3-Flash 配合 DFlash 在 B300 上快 10%；

MiMo-V2.6-Pro 在 B300 上用 DFlash 解码吞吐提升 1.85 倍；

新的 InstantTensor 加载器让模型加载快 10 倍；

PD 分离在长提示场景吞吐最高 +27%、p95 首 token 时延减半；

HiSparse 开始支持 EAGLE 与 MTP（面向 KV 缓存放 CPU 内存的长上下文服务）；

GLM-5.2 / GLM-5.3 可把解码上下文并行与 MTP 组合，GLM-5.3 解码最高快 2.1 倍。

③ 平台 —— 除 MLX 外，现可在 Apple Silicon Mac 上用标准 PyTorch 后端运行；

SGLang Diffusion 可在 ComfyUI 中跑 MiniMax-H3 与 Qwen-Image 2.1，并支持加载社区 GGUF 检查点与 LoRA。

④ 重要修复 —— 混合线性模型在「投机解码 + 结构化输出」同时启用时可能从错误的 mamba 状态恢复。

⑤ 升级要求 —— 需 Python 3.11 及以上。

上一版 v0.5.21（2026-10-02，含 779 个 PR、227 位贡献者）：新增 DeepSeek-V4.1 Flash、GigaChat 3.5、IQuest-Q1、小米 MiMo-V2.6 / MiMo-V2.6-Pro、Ling-3.0-flash-VL、Google DiffusionGemma、Qwen-Image 2.1、Ming-Image 0.1 Design 等模型支持；

PD 分离实例可在 prefill 与 decode 间动态切换（免重启）、prefix cache 默认改为 Rust 实现、DeepSeek-V4.1 长提示首 token 提速约 22%、Kimi K3 PD 服务 prefill 吞吐提升约 20.6%、GLM-5.3-Flash 支持 AMD MI355X（FP8 / MXFP4 MoE 与 MTP 投机解码），并新增 Decisions API（/v1/decisions，把 LLM / VLM 变成低延迟分类器与打分器）。

上一版 v0.5.20（2026-09-18，含 713 个 PR）曾新增 GLM-5.3-Flash、腾讯混元 Hy4-Preview、Qwen3.8-Flash-Next、K2 Horizon 等模型支持。