11 篇博文 含有标签「Benchmarks」

LLM 推理性能 = 算法 + 软件 + 硬件。硬件（H100、B300、Rubin）只决定了理论上限。实际推理性能可以通过算法优化提升 5-30 倍。本文深度解析 PagedAttention、FlashAttention、Speculative Decoding 三大推理优化技术。