vLLM

vLLM 是加州大学伯克利分校发布的开源大语言模型高吞吐量推理和服务框架，使用 Python 和 CUDA C++ 实现。它提出了 PagedAttention 技术，通过类操作系统分页内存管理的方式高效管理 KV Cache，在相同 GPU 显存下可显著提升并发处理能力和推理吞吐量，是目前最主流的 LLM 自托管推理引擎之一。

vLLM 兼容 OpenAI API 格式，支持 LLaMA、Mistral、Qwen、Gemma、DeepSeek 等数十种主流开源模型，并支持 FP8/AWQ/GPTQ 量化、张量并行、流水线并行等优化技术，适合在单机或多机 GPU 集群上高效部署开源大模型服务。

• PagedAttention 技术：将 KV Cache 管理类比操作系统虚拟内存，大幅减少显存碎片并提升并发吞吐量
• 兼容 OpenAI API：启动后即提供与 OpenAI Chat Completions 格式完全兼容的 HTTP 接口，迁移成本极低
• 广泛模型支持：支持 LLaMA、Mistral、Qwen、DeepSeek、Phi 等主流开源模型，并持续跟进最新模型