返回本相词条库 | 所属主线:EP03 GPU 为什么赢了?
Support on Ko-fi
PILLAR ENTRY 02 // 算力与芯片
标准 9 步本相词条
GPU 为什么适合 AI?什么是 Roofline 性能模型与内存墙
// 01 · 一句话结论 (One-line Verdict)
GPU 靠数千微小 ALU 并行吞吐赢得 AI;但在逐字生成(Decoding)阶段受 Roofline 内存墙死死卡死,90% 核心算力常年闲置。
真正决定大模型推理实时吐字速度的,从来不是发布会标称的虚高 TFLOPs,而是显存位宽与接口带宽(Bytes/s)。
02
为什么重要 (Why It Matters)
一张英伟达 H100 显卡售价高达 3.5 万美元,净利润率超过 75%——比爱马仕还暴利。这到底是黄仁勋的垄断收割,还是半导体物理的真实代价?
- 产业投资视角:为什么无数造芯初创公司号称“峰值浮点算力超越英伟达”,巨头依然连夜排队采购 H100/H200?因为缺少高带宽内存(HBM)与先进互联,算力空有其表。
- 架构师落地视角:真实部署大模型时,硬件算力利用率(MFU)经常低至 15%~20%,剩下 80% 的晶体管都在等待显存送数。Roofline 模型是唯一能量化诊断这一现象的工程利器。
03
底层机制 (Underlying Mechanism)
计算机芯片的晶体管预算是恒定的。CPU 与 GPU 在硅片面积分配上走向了两个截然不同的物理极端:
- CPU(顶尖大厨模式):将 80% 面积留给多级缓存(L1/L2/L3)与复杂的超标量分支预测器,擅长单线程串行计算,但矩阵并发能力极弱。
- GPU(万名切菜工模式):舍弃复杂分支预测与超大缓存,将硅片全数铺满数千甚至上万个紧凑的 ALU 计算核心,专为大规模张量点积而生。
图灵奖得主 David Patterson 提出的 Roofline 性能模型,将算力上限量化为算法的“算术强度(Arithmetic Intensity, $I$)”:
算术强度 I = 程序执行的总浮点运算量 (FLOPs) / 显存搬运的总字节数 (Bytes)
硬件物理平衡拐点 I* = 峰值算力 P_max / 显存带宽 BW
硬件物理平衡拐点 I* = 峰值算力 P_max / 显存带宽 BW
04
真正的物理约束 (Physical Constraints)
🚨 物理法则不可违背:性能由短板卡死
P = min( P_max, I × BW )
当算法强度 $I < I^*$ 时,芯片进入显存受限区(Memory-Bound),算力利用率由显存带宽死死卡住;当 $I > I^*$ 时,芯片才进入算力受限区(Compute-Bound)。
大模型推理的双重物理分裂:
- Prefill 阶段(提示词处理):一次性读入上下文,做大矩阵相乘(GEMM),$I$ 高达数百 FLOPs/Byte,轻松跑满 GPU 核心算力。
- Decoding 阶段(逐字生成):每输出一个单字,整个模型的全部权重(如 70B 模型约 140GB)必须从显存完整搬入核心一次,只和一个 Token 做向量乘法,$I \approx 1\sim 2\text{ FLOPs/Byte}$!
05
常见误区 (Common Myths & Fallacies)
✕ 常见误区
只要显卡峰值 TFLOPs 标得高,大模型跑起来就一定如飞。
✓ 物理真相
单用户生成时算术强度仅 1~2,H100 实际有 90% 以上计算单元在空转等显存供数,速度取决于显存带宽。
✕ 常见误区
消费级旗舰 RTX 4090 算力 330 TFLOPS,完全能平替专业级 AI 加速卡。
✓ 物理真相
4090 采用普通 PCB 与 384-bit 显存位宽(带宽 1.0 TB/s),而 H100 采用 HBM3 5120-bit 硅中介层(带宽 3.35 TB/s),高负载下带宽吞吐有 3.3 倍硬差距。
06
关键数字与证据 (Key Numbers & Evidence)
591
H100 SXM 理论平衡拐点 (FLOPs/Byte)
NVIDIA Whitepaper
3,350 GB/s
H100 HBM3 显存极限带宽 (5120-bit)
IEEE Micro 实测
1 ~ 2
大模型 Decoding 阶段真实算术强度
Roofline 模型推导
< 15%
未开启大 Batch 时核心算力利用率 (MFU)
Berkeley AI Research
07
对应长视频与 Shorts (Associated Media)
08
延伸问题与相关词条 (Related Entries & Graph)
通过第一性原理因果链,连结整张物理知识图谱:
09
原始资料与更新时间 (Primary Sources & Meta)
☕ 请主理人喝杯咖啡 · 支持纯净独立创作
「AI本相」坚持拒绝商业充值与公关软广,专注于第一性原理硬核拆解。如果您觉得本篇分析对您有所启发,欢迎支持我们保持客观独立的研究。