1 / 4概念
Multilevel and Inclusion
单级缓存无法同时做到低延迟与大容量,所以 L1、L2、L3 串成层次。层与层之间还要回答一个集合问题:上级缓存里的块,是否必须同时存在于下级。这个约定决定有效容量、一致性检查的成本,以及一次淘汰会不会连带失效一整条链。
1 概念
1.1 一句话定义
多级缓存把 L1、L2、L3 串成层次,每级是上一级的后备。包含性规定:上级缓存持有的块,是否必须在下级缓存中也存在。
1.2 它解决什么问题
- 兼顾延迟与容量:L1 求快,L3 求大,中间层缓冲两者的差距。
- 一致性检查:包含体系中末级可以回答“我没有”,从而过滤探听。
- 容量核算:包含与互斥决定各级容量能否相加。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 相联度、组索引、行大小 | hw-cache-organization |
| 替换算法与写策略 | hw-replacement-write |
| 未命中分类与预取 | hw-misses-prefetch-blocking |
| 一致性协议的状态机与目录 | hw-cache-coherence |
| 页表与 TLB | hw-paging-page-tables、hw-tlb |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 包含 | 上级内容是下级内容的子集 | 不是“缓存包含数据” |
| 互斥 | 块只存在于一级 | 不是“排除共享” |
| NINE | 既不保证包含也不保证互斥 | 不是“无一致性” |
| 反向失效 | 下级淘汰时使上级副本失效 | 不是回写 |
| victim cache | 存放刚被淘汰块的小全相联缓冲 | 不是末级缓存 |
| 探听过滤 | 用末级回答块是否存在 | 不是目录 |
2 机制
2.1 心智模型
包含性是一条集合关系。 L1 ⊆ L2 ⊆ L3 是包含,L1 ∩ L2 = ∅ 是互斥,两者都不保证是 NINE。这条关系决定了谁能替谁回答“有没有这个块”。
2.2 机制拆解
- 包含:末级持有全部上级内容。好处是一致性只需查末级,坏处是同一块被存多次。
- 反向失效:末级淘汰一块时,必须让 L1 与 L2 中的副本失效,否则包含关系被破坏。
- 包含的容量税:共享末级被其他核占用时,反向失效会连带清掉私有 L2 的块,L2 的有效容量可能降到标称值的一半。
- 互斥:块只在一级,各级容量可以相加。未命中时要在级间搬运,淘汰时向下写入。
- NINE:不保证包含也不保证互斥,需要目录或探听过滤来跟踪副本位置。
- victim cache:一个小型全相联缓冲,存放刚被本级淘汰的块,命中时与主阵列交换,减少冲突未命中。
- 私有与共享:L1 与 L2 通常私有,L3 通常共享。共享层的争用会改变每个核看到的有效容量。
2.3 完整枚举
| 关系 | 集合性质 | 有效容量 | 一致性机制 | 主要代价 |
|---|---|---|---|---|
| 包含 | 上级是下级的子集 | 等于末级容量 | 末级过滤探听 | 反向失效、重复存储 |
| 互斥 | 块只在一级 | 各级之和 | 目录或转发 | 级间搬运、跟踪复杂 |
| NINE | 两者都不保证 | 介于两者之间 | 目录加过滤 | 实现复杂、验证难 |
| 伪互斥 | 尽量不重复 | 接近各级之和 | 目录 | 偶发重复 |
| victim cache | 末级之外的小缓冲 | 略高于主阵列 | 无需额外机制 | 面积与替换逻辑 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| L1 与 L2 容量 | 32–64 KB 与 512 KB–2 MB | 通常私有 |
| L3 容量 | 8–64 MB | 共享,按核数分摊 |
| 每核 L3 份额 | 2–4 MB | 核多时下降 |
| 包含的容量税 | 20%–40% | 共享争用下更高 |
| victim cache 项数 | 4–16 | 全相联、FIFO |
| 一致未命中代价 | 100–300 个周期 | 取决于转发路径 |
3 实践
3.1 最小示例
# 1) 看层级与共享关系:L1/L2 的 shared_cpu_list 是单核,L3 是多核。
for i in /sys/devices/system/cpu/cpu0/cache/index*; do
printf 'L%s %s %s shared=%s\n' \
"$(cat $i/level)" "$(cat $i/type)" "$(cat $i/size)" "$(cat $i/shared_cpu_list)"
done
# 2) 看跨核共享与失效:共享写越多,一致未命中越高。
perf stat -e LLC-loads,LLC-load-misses,LLC-stores ./app
perf c2c record ./app && perf c2c report
第一步确认哪些层是私有、哪些是共享。第二步把末级访问拆成命中、未命中与写,再按缓存行看跨核争用。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看层级 | lstopo --of console | 私有与共享的树状关系 |
| 看每级属性 | /sys/devices/system/cpu/cpu0/cache/index* | 级别、类型、大小、共享核 |
| 看末级访问 | perf stat -e LLC-loads,LLC-load-misses | 命中与未命中 |
| 看跨核争用 | perf c2c report | 同行共享、伪共享、失效 |
| 看拓扑缓存 | likwid-topology -c | 每核的缓存归属 |
3.3 标准流程
- 用
lstopo与/sys记录每级缓存的大小与共享核集合。 - 用
perf stat取末级命中与未命中,判断是否被共享争用拉低。 - 用
perf c2c看是否存在同一缓存行的跨核读写。 - 共享写多时先按行分离数据结构,再考虑绑核。
3.4 与相邻技术的组合
- 一致性:包含体系中末级可做探听过滤,互斥体系需要目录。
- 替换策略:包含关系改变了各级淘汰的传播路径。
- 虚拟化:vCPU 共享末级,邻居负载直接改变有效容量。
3.5 选型维度
| 场景 | 包含性 | 原因 |
|---|---|---|
| 核数少的通用处理器 | 包含或 NINE | 探听过滤简单 |
| 核数多的服务器 | NINE 加目录 | 避免反向失效风暴 |
| 小容量末级加私有 L2 | 互斥 | 容量可以相加 |
| 多租户云 | NINE 加配额 | 减少邻居干扰 |
3.6 决策规则
- 核数增加后一致性流量上升时,宜从包含转向 NINE 加目录。
- 私有层命中率无故下降时,应先怀疑反向失效。
- 共享写占主导时,宜按缓存行分离数据,而不是加容量。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 包含 | 探听过滤简单 | 反向失效、容量税 | 核数较少 |
| 互斥 | 容量可相加 | 级间搬运、跟踪复杂 | 私有层较大 |
| NINE | 折中、可扩展 | 验证复杂 | 多核服务器 |
| victim cache | 减少冲突未命中 | 面积与替换逻辑 | 小相联度缓存 |
3.8 何时不该用
- 单核或双核场景不必为包含性做复杂权衡。
- 共享写极少的只读负载不必为一致性做过早优化。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 私有 L2 命中率下降 | 反向失效清掉了块 | 减少共享占用或改 NINE |
| 多核扩展差 | 共享末级争用 | 绑核、按核分片 |
| 一致未命中偏高 | 伪共享或频繁共享写 | 按行填充、分离字段 |
| 虚拟机性能抖动 | 邻居占用共享末级 | 隔离、配额、专属宿主 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 把各级容量直接相加 | 高估有效容量 | 按包含关系折算 |
| 用共享末级做跨核队列 | 每次写都触发失效 | 按行分离、批量同步 |
| 只按核数扩容 | 一致性流量同步上升 | 改拓扑与目录 |
4.3 可观测信号
perf stat 的 LLC-loads、LLC-load-misses 与 LLC-stores;perf c2c 的跨核共享与失效计数;lstopo 的共享域;/sys 中每级的 shared_cpu_list;likwid-topology 的每核缓存归属;虚拟化平台的 %steal。
4.4 安全 / 性能 / 一致性边界
- 包含放大侧信道:包含体系下末级淘汰会连带失效私有层,跨核 Prime+Probe 的分辨率因此更高。
- 共享即泄漏:末级的争用与命中时间可被同机邻居观测。
- 可预测性:共享域的负载让最坏执行时间难以界定。