KV Cache 与分页注意力:为什么大模型推理被显存碎片卡死?
自回归逐字生成本质上是深度访存受限(算术强度仅 1~2 FLOP/Byte),真正限制服务吞吐与推高单 Token 成本的,是显存物理容量与数据搬运总线的硬性拥堵。
为什么重要 (Why It Matters)
在云端提供大模型 API 服务时,最昂贵的硬件成本不是 GPU 内部未被用满的算力核心,而是极度昂贵且容量固定的高带宽显存(HBM)。
- 显存容量危机:单张顶级加速卡(如 H100 80GB)在加载完模型权重后,剩余显存几乎全被 KV Cache 霸占。当并发用户增多或单次对话变长时,显存迅速耗尽,直接导致服务排队、批处理并发数(Batch Size)坍塌。
- 碎片浪费惩罚:在传统推理框架下,由于生成文本长度不可预测,系统被迫为每个请求预留最大连续空间,实测导致 60% 到 80% 的显存处于“预留但未被使用”的空泡状态。这意味着买来价值数万美元的显存硬件,绝大部分容量在装碎片。
- 商业成本咽喉:各大厂商对长上下文窗口收取高昂阶梯费用,底层物理原因不是算力消耗翻倍,而是长序列 KV Cache 对显存容量与搬运带宽构成了持续性的挤压。
底层机制 (Underlying Mechanism)
大语言模型在自回归生成时,为什么 KV Cache 会成为存储黑洞?
在 Transformer 解码过程中,预测第 $t$ 个词必须计算它与前文所有 $t-1$ 个词的注意力权重。每个历史 Token 在每一层网络都会对应两个关键向量:键向量(Key)与值向量(Value)。若不保存,计算复杂度将随序列长度呈 $O(L^2)$ 爆发;若在显存中保存(KV Cache),单序列显存占用为:
显存占用与模型层数、注意力头数、序列长度 $L$ 和并发请求数 $B$ 成严格正比。以一个典型的 13B 参数模型(40 层、5120 隐藏维度、40 个注意力头、FP16 精度)为例:每个 token 的 KV Cache 占用 = 2(K 与 V 各一份)× 40 头 × 128 维 × 2 字节 × 40 层 ≈ 0.78 MB。单个 2048 长度的序列就要占用 ≈1.6 GB;当并发数达到 64 时,光是缓存就需要 ≈100 GB 显存空间——读者可用上式自行验算。
PagedAttention 的分页机制(UC Berkeley SOSP 2023):
- 离散物理块(Block):PagedAttention 借鉴操作系统将物理内存划分为 Page 的思想,将逻辑上连续的 KV Cache 划分为固定容量的物理块(例如每个块容纳 16 个 Token 的 KV 向量)。
- 块表映射(Block Table):各块在显存中无需连续分布,推理引擎维护一张逻辑块到物理块的页表。当新 Token 生成时,按需分配新的物理块并更新页表。
- 消除碎片与零拷贝:这一设计彻底消除了预先分配造成的内部碎片,将显存浪费率从 60%~80% 压低至 4% 以下;同时支持束搜索(Beam Search)和并行采样时的物理块零拷贝共享。
真正的物理约束 (Physical Constraints)
自回归 Decode 阶段算术强度:I ≈ 1 到 2 FLOP/Byte
在逐字生成阶段,模型每吐出一个词,必须将数十 GB 的全量模型权重与庞大的 KV Cache 完整搬运至片上计算核心一次。算术强度仅为 1 到 2 FLOP/Byte,远低于芯片 1,000 的物理设计拐点。绝大部分算力单元都在等待数据搬运。
物理容量铁壁与算法反哺:即使通过 PagedAttention 消除了显存碎片,KV Cache 固有的数据量依然随并发与长度线性膨胀。当上下文突破 32k、128k 时,单机 HBM 容量再度见顶。这倒逼算法界走向低秩投影(如 DeepSeek 多头潜在注意力 MLA 架构,将 KV 压缩为低维潜在向量),展现了半导体物理极限倒逼算法架构演进的清晰轨迹。
常见误区 (Common Myths & Fallacies)
关键数字与证据 (Key Numbers & Evidence)
对应长视频与 Shorts (Associated Media)
EP07 AI 大模型到底是怎么工作的?前半导体工程师拆解从文字到显存的五笔物理账
从 4096 维连续几何空间、99% 矩阵乘法会师,到自回归生成被显存带宽掐住脖子的完整物理真相。
EP03 GPU 为什么赢了?前半导体工程师拆解 AI 算力物理命门
从晶体管面积预算到 Roofline 性能模型,看清发布会算力忽悠与 HBM 先进封装底座。
延伸问题与相关词条 (Related Entries & Graph)
第一性原理因果网络互联: