Xinference

改一行代码即可用任意开源 LLM / 语音 / 多模态模型，支持分布式部署，Apache 2.0，中文文档友好。

当前 v4.2.0（published_at 2026-11-07 13:07 UTC，本站 2026-11-08 一手核验官方 release 说明）：① Xavier 前缀 KV 缓存共享再扩 —— 可在同时运行 vLLM / SGLang / TRT-LLM / MLX 的多副本之间复用兼容前缀，LMCache 存储后端新增 Mooncake Store，并能在 Agent 等待工具结果期间优先保留 KV 前缀，减少恢复执行时的重复 prefill；

② 软件升级与模型滚动重载 —— 管理员可直接在 Web UI 检查并安装 Xinference 更新，按顺序升级 Worker、Supervisor 与 API；

受支持的 vLLM / SGLang 部署可保留 GPU 权重、在飞请求跑完后逐个副本重载，不必整体停服；

③ Web UI 可直接起模型压测 —— 按不同并发对运行中的对话模型跑测，对比吞吐、TTFT（首 token 时延）与 TPOT（每输出 token 耗时），可跨多次运行比较并导出 JSON；

④ 原生推理控制与请求优先级 —— OpenAI / Anthropic 兼容接口对支持该能力的模型暴露原生 reasoning effort，OpenAI 兼容接口在兼容运行时上支持 thinking budget，Web UI 相应显示控制项；

对话与文本补全请求在所有受支持 LLM 引擎上统一使用 priority 参数（受引擎版本与配置约束）；

⑤ 实时 Qwen3 音频 —— 通过 vLLM 提供 Qwen3-ASR 的并发实时语音识别与 Qwen3-TTS CustomVoice 的流式语音合成；

⑥ 模型与引擎支持扩展 —— DeepSeek-V4.1-Flash-1017 新增 llama.cpp 引擎支持；

OCR 侧新增 Unlimited-OCR-2、OvisOCR3、MiniCPM-OCR-1.0；

视频侧 MiniMax-H3 接入 vLLM 与 SGLang（带 Lightning）；

MiniCPM-V-4.7 增加 SGLang 支持；

新增 Audio8-TTS-Realistic-0.6b；

Qwen 增加 NVFP4 / YaRN 支持并更新 Gemma-4 GGUF 运行时；

⑦ 运维与体验 —— Windows 支持服务重启，Web UI 新增按副本配置 Worker 与 GPU 放置、启动耗时显示、模型收藏与推荐位徽标、目录翻译补全，chat 副本增加会话粘性（并按 vLLM 容量做亲和），TRT-LLM 支持 1.3 版 P/D，可暴露已加载模型的运行时上下文长度。

本版未附带新的安全公告。

上一版 v4.1.0（published_at 2026-10-25 07:33 UTC、0 个构建产物，本站 2026-10-26 一手核验官方 release 说明，改动量很大）：① TRT-LLM 成为正式推理后端 —— 可用 TensorRT-LLM 走 Xinference 统一服务接口，覆盖对话、生成与流式；

② Xavier 前缀 KV 缓存共享扩展到 TRT-LLM，支持原生或 Xavier 的 prefill / decode 分离，兼容模型可在 TRT-LLM、vLLM、SGLang、MLX 之间交接（含 NVIDIA ↔ Apple Silicon 组合）；

③ Xavier 新增 LMCache 磁盘后端，把前缀 KV 缓存存到内存之外，支持 vLLM / SGLang / TRT-LLM；

④ 实验性「不中断推理的热升级」—— 在 POSIX 上可升级模型引擎、替换 Worker / API / Supervisor 进程，已有请求与流先跑完再退旧进程，Web UI 提供本地与分布式部署的对应开关；

⑤ 各推理引擎的上下文长度控制统一化，可在 Web UI 用滑块调节并按生效配置校验；

⑥ 模型支持扩展 —— 新增 DeepSeek-V4.1-Flash-1017、GLM-5.3、Qwen3.8-Flash-Next，以及 MiniCPM-V-4.7、FLUX 3 Image Klein、FIBO2 Dev / Edit Turbo、Iris-3B、Qwen-Image-2.1-Turbo、MOSS-Image-SFT、Ming-3.0 TTS（Tiny / 0.5B）、Xiaomi-OCR-0、EmbeddingGemma 2 GGUF 多模态等；

⑦ 安全（本版为四个安全公告的首个修复版本，受影响版本应升级到 4.1.0 及以上）—— Critical：CosyVoice 模型加载需操作者显式信任才允许自定义源码或本地路径，防止不可信 HyperPyYAML 配置直接进加载器（GHSA-2gq8-2q98-6w29）；

High：初始管理员创建需先提供 setup token，防未认证调用者抢占未初始化实例，影响 3.0.0 ≤ 版本 < 4.1.0（GHSA-v43j-w7xm-2vwh）；

Medium：自动注册路径与 Flexible 启动器受限（GHSA-3jw7-r8gq-5ggj）；

Medium：chat 补全错误响应脱敏，不再暴露 worker 地址与进程号（GHSA-h97g-6mc6-66hm）；

另校验共享存储 API key、把远程代码信任策略扩到 MOSS 流水线、升级 Next.js / 前端依赖 / PyArrow / follow-redirects。

⑧ 升级注意 —— 全新实例需用 API 服务启动日志里的 setup token 创建初始管理员；

自定义 CosyVoice 源码需在 worker 侧设 XINFERENCE_TRUST_REMOTE_CODE=1；

额外的注册根目录与 Flexible 启动器分别需 XINFERENCE_MODEL_REGISTER_ROOTS、XINFERENCE_FLEXIBLE_LAUNCHERS；

Xoscar actor 传输认证仍是选装（每个 peer 配同一非空 XOSCAR_AUTH_KEY，仅升级不会自动开启）。

⑨ 其它 —— 流式工具调用解析性能大幅改善（32 KB 的一次调用从 12.5 秒降到 11 毫秒，涉及 DeepSeek / GLM-5 / Gemma / MiniMax / Kimi-K3）；

新增可选 fastapi-guard 安全中间件、Anthropic 上下文管理与多模态请求上限、请求级模型目录凭证、单模型目录刷新、模型收藏持久化、生成耗时与 ETA 显示；

并移除 LMDeploy 后端。

上一版 v4.0.1（2026-10-16 发布，GitHub Releases 的 Latest 标记已指向该版本，本站 2026-10-17 一手核验官方 release 说明）：安全补丁版本，基于 v4.0.0 回合并 xoscar actor 传输认证（#5696）—— Python 包与 CPU 镜像依赖要求 Xoscar 0.12.0 及以上，该版本会在 Python 对象反序列化之前对 actor 消息做可选的 HMAC-SHA256 认证，用于缓解 CVE-2026-49950；

standalone 与分布式 Docker Compose 配置会把部署级 XOSCAR_AUTH_KEY 透传给 supervisor 与 worker 服务，并补充九种语言的部署指引与集成测试。

注意：该认证默认关闭，必须配置非空 XOSCAR_AUTH_KEY 才生效，仅升级不会自动开启；

带密钥与不带密钥的节点无法互通，启用或轮换密钥需整体重启、不支持混合模式滚动升级；

HTTP API 认证并不保护 actor 端口，仍需在网络侧限制 actor 端口访问；

认证不加密流量也不防重放，且认证 GPU 传输会先暂存设备缓冲区做哈希、带来 CPU 与主机内存开销。

上一版 v4.0.0（2026-10-10 发布，本站 2026-10-11 一手核验）：v3.x 以来的首个大版本，主要亮点 —— ① Xavier 前缀 KV 缓存共享从单引擎扩展到 vLLM、SGLang、MLX 三个推理引擎，可在兼容副本之间复用已计算的上下文、避免重复 prefill；

② 支持跨引擎与跨硬件的 P/D（预填充/解码）分离部署，覆盖 vLLM ↔ SGLang 之间以及 NVIDIA ↔ Apple Silicon 的双向组合，可在统一服务接口下为两个角色分别选择引擎与硬件；

③ 可选的 GPU 权重缓存让 vLLM / SGLang 在不重载模型权重的前提下重建推理引擎，可动态调整并发、上下文、显存与 CUDA graph 设置并保持模型 UID 不变；

④ 通过 xoscar executor 支持分布式 vLLM V1 推理（张量并行与流水并行的组合），并改进流水线调度与故障处理；

⑤ 提供 Linux / macOS / Windows 一键安装与服务管理（隔离 Python 环境、可选系统服务后台运行与开机自启、受管服务升级失败可回滚）；

⑥ 新增无状态 OpenAI Responses API（/v1/responses，支持流式与工具调用），并在支持的引擎上报告缓存命中 token 数。

其余新增项包括 jina-ocr-v1 OCR 支持、Confucius4-TTS 语音合成、运行时日志中心、NVIDIA NIXL 原生后端、审计日志与运行时日志按请求 ID 关联等。

上一版 v3.5.0（2026-09-25）：新增讯飞 Spark-X2.5 模型支持，音频侧新增 AuK / AuK-Flash、Irodori TTS v4.1、FishAudio-S2-Pro、Breeze TTS 2、MiniMax Music3，并支持 YuE2 音乐生成与 LingBot-World-V2、MinerU2.5。