llama.cpp

高性能 C/C++ 推理引擎，MIT 协议，可在 CPU 与低配设备跑量化大模型。

仓库已迁至 ggml-org 组织，当前 v0.9.0（GitHub Releases API 显示 published_at 2026-11-04 13:08 UTC、1 个构建产物，本站 2026-11-05 一手核验官方 release 说明）：新增 OCP FP8 E4M3 量化支持（饱和模式张量类型与转换助手、新 ftype LLAMA_FTYPE_MOSTLY_F8_E4M3）；

新增 flash_attn_ext_rows 算子（统一 KV cache 在多序列推理下更高效，恢复非统一 KV 的 prefill 性能）；

新增通用批量张量拷贝 API（ggml_backend_tensor_copy_n / set_n / get_n，取代原 _2d API，Metal 与 CUDA 已实现）；

新增四种模型架构支持：Clover（Clover-35B-A3B-Preview 扩散模型 AR 模式）、Limite 1B Violetto、Metis-1.6（Praxis 约 2.9B 与 Logos 约 10.2B，Mamba-2 / GQA 混合注意力 + LatentMoE）与 Mistral Large 4；

音频生成与转写扩展：Chatterbox TTS、Nemotron 3.5 Transcribe、Pocket TTS 预置音色（新增预置音色 API，server /props 返回模型音色列表、TTS 端点接受预置音色名）；

Gemma 4 E2B/E4B 获 prefill 大幅优化；

server /v1/responses 现将 extra_params（seed、min_p 等）合并进转换后的响应；

mtmd 新增 QWEN3VL 视频提示模板；

ggml 升级至 v0.29.0（FP8 E4M3、flash attention rows、基于 NCCL 的多节点张量并行，CPU / CUDA / SYCL / Metal / Vulkan / OpenCL / Hexagon 后端性能优化）。

llama.cpp 连续第三年入选 GitHub Octoverse 精选仓库。

上一版 v0.8.0（GitHub Releases API 显示 published_at 2026-10-28 12:47 UTC，本站 2026-10-29 一手核验官方 release 说明）：新增 LiquidAI LFM3 全家族支持（文本、视觉、音频与 omni 四种形态 —— LFM3-1.7B 文本、LFM3-VL-2B 视觉、LFM3-Audio-2B 与 LFM3-Omni-2B 单模型同时覆盖 ASR、TTS 与语音对话，均已对照 Hugging Face 参考实现验证）；

mtmd 新增实验性流式音频 API（mtmd_audio_stream，把实时到达的 PCM 逐步转为解码器就绪的嵌入行）与有状态的音频生成 API（mtmd_gen_state）；

server 新增 /v1/realtime 端点（实现 OpenAI realtime 协议，支持对话与转写）与 POST /tts 端点（面向 TTS 模型），聊天模板的推理档位（reasoning effort）可经 API 暴露与选择；

新增一批模型架构支持：DeepSeek V4.1 Flash、SenseNova U1、Beam、Kolibri-1、Flint、Muse Spark、Granite Switch Decision，以及来自 LiquidAI、百度与 NVIDIA 的决策/嵌入模型；

核心侧稀疏注意力（QSA/DSA）重构为融合掩码算子、宿主内存 MoE 专家改用 50/50 SLRU 缓存、no_alloc 内存处理更干净；

server 路由内存管理与工具调用改进；

Web UI 可直接从 Hugging Face Hub 浏览并下载模型、支持会话搜索与会话压缩；

ggml 升级至 v0.28.0（新增 GGML_OP_TOP_K_MASK 算子与 -1 专家索引语义，含 CUDA 分块图启动、SYCL 图重放、OpenCL Q2_K/Q3_K、Hexagon HTP 重构与 KleidiAI SVE 内核等后端性能工作）。

上一版 v0.7.0（GitHub Releases API 显示 published_at 2026-10-15 17:13 UTC、1 个构建产物，本站 2026-10-16 一手核验官方 release 说明）：新增宿主机内存 MoE 专家的 GPU 缓存（--moe-cache-mib，专家经 LRU 缓存放到 GPU 上执行，专家卸载场景下解码最高约 2.2 倍提速，该缓存并可跨多卡共享）；

新增 LiliCorr 投机解码（在 DFlash 之上用小 draft transformer 做候选筛选）；

GLM5-Next 支持 MTP 投机解码与优化后的稀疏注意力路径；

新增 K2 Horizon（dense 与 MoVA 两种变体，含转换、tokenizer、chat 模板与 -sm tensor 切分）、Prism Bonsai 2 27B（三值模型）、EmbeddingGemma-2（文本+视觉+音频嵌入）、MiniCPM-V 4.7 多模态、Nemotron Super 3.5 VL 与 Nemotron Bolt 74B-A9B、maion-coder 等模型支持，以及 LiquidAI d1-3B / d1-omni-600M、vLLM decision 2 / d3、pplx-decider 等新决策模型；

server 侧把聊天层重构为 common_chat_session 会话 API（feed()/finish()，格式化输出由单一字符串改为分片数组），大幅改善 slot 与 prompt cache 的恢复行为，**默认监听端口由 8080 改为 9931**（Docker 镜像内部仍为 8080）；

Web UI 新增完整的模型管理器；

ggml 更新至 v0.27.0。

上一版 v0.6.0（2026-10-05）：新增 llama_batch_ext 扩展批量 API（llama_process，支持混合 token/embedding 输入与 MTP/deepstack 状态嵌入）；

新增 GLM-5.3-Flash（GLM5-Next）320B 文本+视觉混合模型支持；

Clef 决策模型完整支持（文本+视觉），server 新增 /v1/systemone 决策模型 API（laya、julia-1、lev、openjev、kev、nimble 六款）；

Qwen4Exp 高质量支持并带 MTP 投机解码（DGX Spark 解码约 1.5 倍提速）；

Web UI 大改版（接入 Hugging Face Hub 数据层与模型下载管线）；

Metal 新增 F16 KV tensor-API flash attention 内核与 few-row MMA mat-mul 内核（Apple GPU mat-mul 最高约 3 倍提速）；

ggml 更新至 v0.26.0。

上一版 v0.5.0（2026-09-23）曾新增 HRM-Text（DFM Mimir 1B）、MiMo-V2.6 与 HunyuanOCR 转换支持、server 多地址绑定。