返回本相词条库 | 所属主线:EP07 AI 大模型到底是怎么工作的?
标准 9 步本相词条

KV Cache 与分页注意力:为什么大模型推理被显存碎片卡死?

// FIRST_PRINCIPLES_SUMMARY · 一句话结论
传统大模型自回归推理为动态长序列预先分配连续物理显存,造成高达 60% 至 80% 的显存碎片与冗余浪费;PagedAttention 借鉴经典虚拟内存分页机制将缓存离散切块,按需动态分配,是打破大模型并发显存墙的核心分水岭。

自回归逐字生成本质上是深度访存受限(算术强度仅 1~2 FLOP/Byte),真正限制服务吞吐与推高单 Token 成本的,是显存物理容量与数据搬运总线的硬性拥堵。

02

为什么重要 (Why It Matters)

在云端提供大模型 API 服务时,最昂贵的硬件成本不是 GPU 内部未被用满的算力核心,而是极度昂贵且容量固定的高带宽显存(HBM)。

  • 显存容量危机:单张顶级加速卡(如 H100 80GB)在加载完模型权重后,剩余显存几乎全被 KV Cache 霸占。当并发用户增多或单次对话变长时,显存迅速耗尽,直接导致服务排队、批处理并发数(Batch Size)坍塌。
  • 碎片浪费惩罚:在传统推理框架下,由于生成文本长度不可预测,系统被迫为每个请求预留最大连续空间,实测导致 60% 到 80% 的显存处于“预留但未被使用”的空泡状态。这意味着买来价值数万美元的显存硬件,绝大部分容量在装碎片。
  • 商业成本咽喉:各大厂商对长上下文窗口收取高昂阶梯费用,底层物理原因不是算力消耗翻倍,而是长序列 KV Cache 对显存容量与搬运带宽构成了持续性的挤压。
03

底层机制 (Underlying Mechanism)

大语言模型在自回归生成时,为什么 KV Cache 会成为存储黑洞?

在 Transformer 解码过程中,预测第 $t$ 个词必须计算它与前文所有 $t-1$ 个词的注意力权重。每个历史 Token 在每一层网络都会对应两个关键向量:键向量(Key)与值向量(Value)。若不保存,计算复杂度将随序列长度呈 $O(L^2)$ 爆发;若在显存中保存(KV Cache),单序列显存占用为:

$$\text{Memory}_{\text{KV}} = 2 \times n_{\text{layers}} \times n_{\text{heads}} \times d_{\text{head}} \times \text{bytes\_per\_param} \times L \times B$$

显存占用与模型层数、注意力头数、序列长度 $L$ 和并发请求数 $B$ 成严格正比。以一个典型的 13B 参数模型(40 层、5120 隐藏维度、40 个注意力头、FP16 精度)为例:每个 token 的 KV Cache 占用 = 2(K 与 V 各一份)× 40 头 × 128 维 × 2 字节 × 40 层 ≈ 0.78 MB。单个 2048 长度的序列就要占用 ≈1.6 GB;当并发数达到 64 时,光是缓存就需要 ≈100 GB 显存空间——读者可用上式自行验算。

PagedAttention 的分页机制(UC Berkeley SOSP 2023):

  • 离散物理块(Block):PagedAttention 借鉴操作系统将物理内存划分为 Page 的思想,将逻辑上连续的 KV Cache 划分为固定容量的物理块(例如每个块容纳 16 个 Token 的 KV 向量)。
  • 块表映射(Block Table):各块在显存中无需连续分布,推理引擎维护一张逻辑块到物理块的页表。当新 Token 生成时,按需分配新的物理块并更新页表。
  • 消除碎片与零拷贝:这一设计彻底消除了预先分配造成的内部碎片,将显存浪费率从 60%~80% 压低至 4% 以下;同时支持束搜索(Beam Search)和并行采样时的物理块零拷贝共享。
04

真正的物理约束 (Physical Constraints)

🚨 Roofline 模型下的访存受限铁壁
H100 硬件平衡拐点:3,350 TFLOPS / 3.35 TB/s = 1,000 FLOPs/Byte
自回归 Decode 阶段算术强度:I ≈ 1 到 2 FLOP/Byte

在逐字生成阶段,模型每吐出一个词,必须将数十 GB 的全量模型权重与庞大的 KV Cache 完整搬运至片上计算核心一次。算术强度仅为 1 到 2 FLOP/Byte,远低于芯片 1,000 的物理设计拐点。绝大部分算力单元都在等待数据搬运。

物理容量铁壁与算法反哺:即使通过 PagedAttention 消除了显存碎片,KV Cache 固有的数据量依然随并发与长度线性膨胀。当上下文突破 32k、128k 时,单机 HBM 容量再度见顶。这倒逼算法界走向低秩投影(如 DeepSeek 多头潜在注意力 MLA 架构,将 KV 压缩为低维潜在向量),展现了半导体物理极限倒逼算法架构演进的清晰轨迹。

05

常见误区 (Common Myths & Fallacies)

✕ 常见误区
KV Cache 只是软件层面的临时缓存,对硬件没有实质性物理负担。
✓ 物理真相
在长序列或高并发推理中,KV Cache 占用的显存容量迅速超越模型本身权重;且每生成一个词都必须在 HBM 显存总线上完整读写一次,是加剧显存带宽墙拥堵的物理主因。
✕ 常见误区
只要显存容量足够大(如采购 80GB/192GB 显卡),就无需做显存管理优化。
✓ 物理真相
传统连续分配机制伴随 60% 至 80% 的碎片率。扩大显存只是按比例放大了闲置空泡;若不采用虚拟分页机制,高昂的硬件资本开支(CAPEX)大半被碎片空耗。
✕ 常见误区
模型标称支持 128k/1M 长上下文,在推理调用时是免费或廉价的。
✓ 物理真相
长上下文不仅在 Prefill 阶段带来二次方点积计算,更在 Decode 阶段导致 KV Cache 呈数百倍暴涨,单次请求吞噬整卡显存,导致服务器并发数跌落至个位数,极度推高单 Token 边际服务成本。
06

关键数字与证据 (Key Numbers & Evidence)

60% ~ 80% 传统大模型推理中预分配造成的显存碎片与冗余浪费 UC Berkeley SOSP 2023 (vLLM)
1 ~ 2 FLOP/Byte 自回归逐字生成阶段大模型的真实算术强度(深度访存受限) Google MLSys 2023 (Pope et al.)
1,000 FLOPs/Byte H100 芯片算力与带宽比值(3,350 TFLOPS / 3.35 TB/s) NVIDIA H100 架构白皮书 (2022)
4,096 维 典型中型开源模型单 Token 隐藏层嵌入向量维度 LLaMA / Mistral 架构规格
07

对应长视频与 Shorts (Associated Media)

🎬 所属主线长视频纪录片

EP07 AI 大模型到底是怎么工作的?前半导体工程师拆解从文字到显存的五笔物理账

从 4096 维连续几何空间、99% 矩阵乘法会师,到自回归生成被显存带宽掐住脖子的完整物理真相。

观看完整长片 ↗
⚡ 联动关联母期长片

EP03 GPU 为什么赢了?前半导体工程师拆解 AI 算力物理命门

从晶体管面积预算到 Roofline 性能模型,看清发布会算力忽悠与 HBM 先进封装底座。

观看 EP03 长片 ↗
08

延伸问题与相关词条 (Related Entries & Graph)

第一性原理因果网络互联:

➔ Roofline 模型与算术强度:为什么自回归生成阶段被显存带宽卡死? ➔ HBM 与内存墙:先进封装与 6144-bit 位宽的物理极限 ➔ 自回归机制的物理局限与锯齿状前沿 ➔ 端侧手机能不能跑大模型?LPDDR5 内存带宽与数据中心 40 倍鸿沟
09

原始资料与更新时间 (Primary Sources & Meta)

☕ 请主理人喝杯咖啡 · 支持纯净独立创作
「AI本相」坚持拒绝商业充值与公关软广,专注于第一性原理硬核拆解。如果您觉得本篇分析对您有所启发,欢迎支持我们保持客观独立的研究。
Support on Ko-fi
← 关联核心本相词条 GPU 为什么适合 AI?Roofline 模型与内存墙 下一篇核心本相词条 → HBM 与内存墙:先进封装物理极限