跳到主要内容

Groq LPU (Language Processing Unit)

产品概述​

Groq LPU（Language Processing Unit）是 Groq 自研的确定性 LLM 推理处理器，以其极低推理延迟著称（LLM Token 生成以毫秒计）。采用编译器定义硬件的架构，无缓存缺失，无乱序执行，所有延迟可预测。GroqCloud 提供 API 服务。

核心规格（GroqChip v1）​

| 项目 | 参数 |

发布2023-07-19
架构Tensor Streaming Processor (TSP)
制程TSMC 14nm
片上 SRAM228 MB
INT8 算力（估算）1,000 TOPS
FP16188 TFLOPS（官方）
互联GroqSync（确定性互联）
TDP300 W
形式GroqRack（8 颗 GroqChip）

厂商信息​

项目内容
制造商Groq Inc.
官网https://groq.com
产品页https://groq.com/products/
API 控制台https://console.groq.com
SDKhttps://github.com/groqcloud
文档https://docs.groq.com

关键特性​

  • 确定性架构：所有执行可预测
  • 极致低延迟：LLM 推理比 GPU 快 5-10×
  • 编译器驱动：软件定义硬件
  • 流式张量架构

适用场景​

  • LLM 实时推理（Chatbot、Code 助手）
  • 低延迟 AI 服务
  • GroqCloud API（按 Token 计费）

相关产品对比​