1 / 4概念
Benchmarks, Simulation and PMU
基准给出“相对快多少”,PMU 给出“时间花在哪”,仿真给出“换一种设计会怎样”。三者的证据强度依次下降,而使用成本依次上升。读完能为一句话的性能主张选对证据,并识别那些看似精确实则不可复现的数字。
1 概念
1.1 一句话定义
基准测试是用固定负载与统计口径把性能变成可比值的方法,仿真是用模型替代还不存在的硬件,PMU 是处理器内部记录事件计数的硬件单元。
1.2 它解决什么问题
- 可比较:SPEC 一类标准负载给出跨机器的比值,用几何平均合成单一分数,避免各说各话。
- 可归因:PMU 把周期归到缓存缺失、分支误预测与停顿,采样剖析再把它们映射到函数与代码行。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| IC、CPI 与时间分解 | Metrics and CPI |
| Amdahl、Little 与 roofline | Amdahl, Little and Roofline |
| 功耗、频率与降频测量 | Power, Energy and Thermal |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 微基准 | 只测一个维度的短小程序 | 不能代表整机行为 |
| 宏基准 | 接近真实应用的负载组合 | 结果依赖输入数据集 |
| 几何平均 | 比值相乘再开 n 次方 | 不能用于时间,时间用算术平均 |
| 多路复用 | 事件多于计数器时轮流计数并按时间片缩放 | 缩放带来 5–10% 误差 |
| 采样 skid | 中断到达时指令已越过的距离 | 热点归因因此偏移数十条指令 |
2 机制
2.1 心智模型
把三种证据想成三个可信度不同的证人:真实机器加真实负载最可信,真实机器加人造负载次之,模型最弱但能回答假设问题。 一个数字的专业程度不取决于小数位,而取决于测量环境是否被控制、统计口径是否被写清。
2.2 机制拆解
- 基准设计:选有代表性的负载,固定输入与编译选项,防止死代码消除与缓存预热带来的偏差,运行至少 5 次取中位数。
- 统计:比值用几何平均,速率用调和平均,时间用算术平均;报告离散度,变异系数超过 2% 说明环境未控住。
- PMU 与仿真:3 个固定计数器加 4–8 个通用计数器,事件多于计数器时多路复用并按启用时间缩放,误差约 5–10%;功能仿真只保证结果正确,时序仿真给出周期数,cycle 级每秒数十万到数百万条指令。
2.3 完整枚举
| 方法 | 是什么 | 输出 | 成本 | 典型误差 |
|---|---|---|---|---|
| 微基准 | 单个循环或单个指令序列 | 延迟、吞吐、带宽 | 低 | 与真实负载偏差大 |
| 标准基准 | SPEC CPU 2017 等负载集 | SPECratio | 中 | 输入敏感 |
| PMU 计数 | 片上事件计数器 | cycles、miss、stall | 低 | 多路复用缩放误差 |
| 周期级仿真 | 建模流水线与缓存 | 周期数与停顿分解 | 高 | 模型校准误差 |
2.4 关键数字与复杂度
| 量 | 值 | 说明 |
|---|---|---|
| 通用计数器 | 4–8 个 | 固定计数器另有 3 个 |
| 多路复用误差 | 5–10% | 事件数超出可用计数器 |
| 采样频率 | 99–997 Hz | 越高越接近真实,开销越大 |
3 实践
3.1 最小示例
sudo cpupower frequency-set -g performance && taskset -c 3 \
perf stat -r 5 -e cycles,instructions,cache-misses,branch-misses ./bench
perf record -F 997 -g -- ./bench && perf report --stdio --sort dso,symbol | head -20
python3 -c 'import math; r=[1.12,0.98,1.05]; print(math.exp(sum(map(math.log,r))/len(r)))'
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 重复测量 | perf stat -r 5 | 输出均值与标准差 |
| 采样剖析与查事件 | perf record -F 997 -g、perf list | 热点、调用栈与可用事件 |
3.3 标准流程
- 写清问题与口径:比什么、在什么输入下、允许多少噪声。
- 选负载并固定环境:编译器版本、频率策略、亲和性、NUMA 绑定。
- 重复运行并统计:中位数与离散度,剔除首轮预热。
- 用 PMU 与采样把差异归因到缓存、分支、停顿或 I/O;需要评估未实现的设计时,用仿真补充并标注模型假设。
3.4 与相邻技术的组合
- CPI 与停顿:计数器给出 cycles 与 instructions,采样把停顿落到代码行,两者互为验证。
- 功耗与频率:性能基准必须在同一功耗策略下比较,睿频与降频会改变结论。
3.5 选型维度
| 目的 | 首选方法 | 代价 |
|---|---|---|
| 横向比较两代机器 | 标准基准加几何平均 | 运行时间长,输入敏感 |
| 定位单点热点 | 采样 PMU | 只见已发生的路径 |
3.6 决策规则
- 任何基准结论都应写明负载、输入、编译器、频率策略与运行次数;缺一项则不可复现。
- 微基准只应用于比较同一维度,不应单独用于采购或验收决策。
3.7 替代方案对比
| 方法 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 标准基准 | 可跨机器比较 | 与自身业务仍有差距 | 选型与验收 |
| 生产 A/B | 最贴近真实 | 有业务风险 | 已上线系统调优 |
3.8 何时不该用
- 不要用标准基准的单一分数决定采购,分数不含你的访存模式与并发模型。
- 不要在虚拟化环境里直接比较 PMU 读数(vPMU 可能被复用或禁用),也不要把基准分数当作业务容量上限。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 同一负载两次结果相差大 | 频率变化、CPU 迁移或 NUMA 抖动 | 固定频率、绑核、绑 NUMA |
| 计数器之和大于 cycles | 多路复用缩放误差 | 减少事件数,分多次测量 |
| 热点落在无关函数 | 采样 skid 或内联 | 用 PEBS 或降低采样频率核对 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只跑一次就下结论 | 把方差当改进 | 多次运行取中位数 |
4.3 可观测信号
perf stat 的 IPC 与各类 miss、perf stat -r 的标准差、/proc/interrupts 的分布、turbostat 的频率与功耗、numastat 的远端比例、perf report 的热点占比。信号应先自洽,再用于归因。
4.4 安全 / 性能 / 一致性边界
- 观测有代价:采样与多路复用会扰动负载,PMU 还需要
perf_event_paranoid权限,共享环境里可能被禁用。 - 仿真不是硬件:模型必须校准,未建模的缓存、预取与时钟域会让结论偏向乐观或悲观。