1 / 4概念
Amdahl, Little and Roofline
三个模型各自回答一个不能互换的问题:优化能换来多少加速,服务需要多少并发,程序受算力还是带宽限制。它们都是不等式而非承诺,输入端错一位,结论就会差一个数量级。读完能用它们先算上限,再决定是否值得动手。
1 概念
1.1 一句话定义
Amdahl 给出固定问题规模下的加速比上限,Little 给出稳态下并发数、吞吐与驻留时间的关系,roofline 给出给定算术强度下可达到的浮点性能上界。
1.2 它解决什么问题
- 先估上限再定方向:判断优化最多能拿多少,以及该买算力还是买带宽,避免把 5% 的串行段优化十遍。
- 定并发:用吞吐与延迟算出需要多少在途请求、线程、连接或队列槽位。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| IC、CPI 与时间分解 | Metrics and CPI |
| 基准测试、仿真与 PMU 测量 | Benchmarks, Simulation and PMU |
| 功耗、能耗与散热 | Power, Energy and Thermal |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| p | 可并行部分占原执行时间的比例 | 不是代码行数比例 |
| 加速比 S | 旧时间除以新时间 | 与效率 S / N 不同 |
| L | 稳态下的在途请求数 | 不是线程池上限 |
| 算术强度 I | 每字节内存流量对应的浮点运算数 | 不是缓存命中率 |
| ridge point | 峰值算力除以峰值带宽 | 小于它的负载带宽受限 |
2 机制
2.1 心智模型
三个不等式从三个方向夹住性能:Amdahl 从上方压住加速比,Little 从下方压住并发需求,roofline 从上方压住吞吐。 它们都不预测你一定能达到什么,只说明不可能超过什么。先用它们排除不可能,再花时间做测量。
2.2 机制拆解
- Amdahl 与 Gustafson:强扩展
S(N) = 1 / ((1 - p) + p / N),上限1 / (1 - p);弱扩展S(N) = (1 - p) + p × N,规模随核数增长。串行比例 5% 时,多少核都拿不到 20 倍。 - Little:
L = X × R,适用于稳态且请求守恒的系统;X = 2000请求每秒、R = 20ms 时需要 40 个在途请求。 - Roofline:
P = min(π, β × I),等价的时间下界为T ≥ max(FLOPs / π, Bytes / β),拐点为π / β;先用扩展曲线反解 p,再看剩余瓶颈是算力还是带宽。
2.3 完整枚举
| 模型 | 公式 | 回答的问题 | 输入 | 常见误用 |
|---|---|---|---|---|
| Amdahl | 1 / ((1 - p) + p / N) | 强扩展还能加多少核 | p、N | 假定 p 与 N 无关 |
| Little | L = X × R | 需要多少并发 | X、R | 用在非稳态或漏算重试 |
| Roofline | min(π, β × I) | 受算力还是带宽限制 | π、β、I | 用峰值带宽代替可持续带宽 |
2.4 关键数字与复杂度
| 量 | 值 | 说明 |
|---|---|---|
| Amdahl(p=0.95,N=64) | 15.4 倍 | 上限 20 倍,效率 24% |
| Gustafson(p=0.95,N=64) | 60.9 倍 | 问题规模同时放大 |
| Little(2000 请求每秒,20 ms) | 40 个在途 | 含排队时间 |
| CPU 拐点(3.7 TFLOP/s,300 GB/s) | 约 12 FLOP/字节 | 48 核 × 2.4 GHz × 32 |
| GPU 拐点(9.7 TFLOP/s,1.55 TB/s) | 约 6.3 FLOP/字节 | 单卡向量 FP64 与 HBM2e |
3 实践
3.1 最小示例
N, p = 64, 0.95
print(1 / ((1 - p) + p / N)) # Amdahl 15.4 倍
print(1 / (1 - p)) # 上限 20 倍
print(2000 * 0.020) # Little:40 个在途请求
print(min(3.7e12, 300e9 * 1.0) / 1e9) # roofline:算术强度 1 时 300 GFLOP/s
3.2 常用操作与参数
| 操作 | 命令或公式 | 说明 |
|---|---|---|
| 反解并行比例 | 用 1 核与 N 核时间代入 p = (1 / S - 1) / (1 / N - 1) | 从扩展曲线反推 |
| 测可持续带宽 | likwid-perfctr -g MEM_DP ./app | 不要用规格书峰值 |
3.3 标准流程
- 用同一负载在 1 到 N 核上各测一次时间,画出扩展曲线。
- 用曲线反解 p 并算 Amdahl 上限;接近上限时停止加核,同时统计每次迭代的浮点运算数与内存流量,算出算术强度 I。
- 用
π与β算拐点,判断负载落在带宽侧还是算力侧。 - 用 Little 检查并发配置是否与目标吞吐匹配,再决定扩容方向。
3.4 与相邻技术的组合
- CPI、基准与 PMU:Amdahl 的串行段常由停顿构成,用计数器找出它落在缓存、分支还是同步;roofline 的 π、β、I 必须来自实测,规格书数字只作上限参考。
3.5 选型维度
| 场景 | 首选模型 | 为什么 |
|---|---|---|
| 加核扩容 | Amdahl 加实测曲线 | 串行段决定收益何时归零 |
| 算子与加速器选型 | Roofline | 算术强度决定算力还是带宽值钱 |
3.6 决策规则
- 优化前宜先算 Amdahl 上限,上限低于目标时不应开工。
- 负载算术强度低于拐点时,应优先提升带宽利用率或减少数据搬运,而不是换更高算力的芯片。
3.7 替代方案对比
| 方法 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Amdahl 预测 | 早于实现即可估算 | p 随规模漂移 | 立项与容量规划 |
| Roofline | 指出瓶颈方向 | 忽略延迟与稀疏性 | 算子调优 |
3.8 何时不该用
- 不要在非稳态系统上用 Little,突发流量下在途数由排队过程决定;也不要把 Amdahl 用于弱扩展场景,问题规模变化时结论会相反。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 实测加速比超过 Amdahl 上限 | 缓存变大或问题变小,属于超线性 | 固定问题规模后重测 |
| 按 roofline 估算远高于实测 | 用了峰值带宽,或忽略同步与启动开销 | 用可持续带宽与实测 I |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 用峰值 FLOPS 做容量规划 | 高估吞吐 5 到 10 倍 | 用实测微基准的可持续值 |
| 把 Amdahl 上限当可达性能 | 低估串行与通信开销 | 用实测扩展曲线校准 |
4.3 可观测信号
扩展曲线的斜率与拐点、perf stat 的 IPC 与 LLC 缺失率、likwid-perfctr 的实测带宽、应用侧的队列深度与 P99 延迟、ncu 的 roofline 报告。信号之间应能互相印证,否则是输入假设有误。
4.4 安全 / 性能 / 一致性边界
- 模型给上界:三者都不含通信、同步与故障恢复开销,实测永远更慢,宜留 20% 以上余量。
- 输入决定结论:π、β、p、X、R 都必须来自同一机器与同一负载,混用不同来源的数字会让结论失效。