Groq

Groq 是一家专注于 AI 推理加速的芯片与云服务公司，自主研发了 LPU（Language Processing Unit）芯片架构，在大语言模型推理速度上实现了突破性进展。Groq 提供的云端 API 服务以极快的推理速度著称，每秒可输出数百甚至上千个 Token，远超传统 GPU 方案，是对话速度要求极高的应用场景的首选方案。Groq 支持运行 Llama、Mixtral、Gemma 等主流开源模型，并提供免费 API 额度供开发者学习使用。

Groq 的 GroqCloud 平台面向开发者提供完整的 API 文档和 SDK，兼容 OpenAI API 格式，现有基于 OpenAI SDK 的项目只需更改少量配置即可接入 Groq 的高速推理服务。对于 AI 学习者和研究者而言，Groq 不仅是体验超高速大模型推理的实践平台，也是了解 AI 专用芯片架构和推理优化技术的重要学习资源。

• 基于自研 LPU 芯片，推理速度业内领先，每秒可输出数百 Token，显著优于 GPU 方案
• 兼容 OpenAI API 格式，现有项目低成本迁移，支持 Llama、Mixtral 等开源模型
• 提供免费 API 额度，适合 AI 开发者学习高速推理实践和进行应用性能基准测试