text-generation-webui

text-generation-webui 是一款开源的大语言模型 Web 界面工具，使用 Python（Gradio）构建，俗称「oobabooga」，支持在本地通过浏览器界面运行和测试各类开源 LLM。它兼容 Transformers、llama.cpp、GPTQ、AWQ、ExLlamaV2 等多种推理后端，是本地 LLM 推理与调试的全能型工具。

该工具支持单轮对话、多轮聊天、角色扮演（含系统提示模板）和笔记本模式等多种交互方式，内置扩展系统可接入语音识别、TTS 语音输出、Stable Diffusion 集成等功能模块。它同时提供 OpenAI 兼容的 API 端点，方便下游应用无缝对接。

• 多推理后端支持：统一界面管理 Transformers、llama.cpp、ExLlamaV2 等后端，按模型格式自动选择最佳引擎
• 丰富的交互模式：提供聊天、角色扮演、笔记本和代码生成等多种界面模式，满足不同使用场景需求
• OpenAI 兼容 API：内置兼容 OpenAI Chat Completions 格式的 HTTP 接口，可替换原有 OpenAI SDK 调用