llama.cpp

llama.cpp 是一个使用纯 C/C++ 编写的开源大语言模型推理框架，由 Georgi Gerganov 创建，专注于在消费级硬件（包括 CPU、Apple Silicon、普通 GPU）上高效运行开源 LLM。它不依赖任何深度学习框架，通过自研的 GGML/GGUF 张量库实现跨平台高性能推理，是本地运行 LLM 的事实标准之一。

llama.cpp 支持 4-bit、8-bit 等多种量化方案，显著降低模型对内存和显存的需求，使普通笔记本电脑也能运行 7B 乃至 70B 参数的大模型。GGUF 格式已成为开源社区分发量化模型的通用格式，Ollama、LM Studio 等工具均基于或兼容 llama.cpp。

• 极致硬件兼容性：支持 x86/ARM CPU、Apple Metal（M 系列芯片）、CUDA、OpenCL 等多种计算后端
• 高效量化推理：支持 Q2 到 Q8 全系列 GGUF 量化格式，在消费级硬件上实现可用的推理速度
• 生态基石地位：GGUF 模型格式被 Ollama、LM Studio、Jan 等工具广泛采用，Hugging Face 托管大量 GGUF 模型