1 / 4概念
Cache Organization
缓存的全部结构可以压缩成一次地址比较。地址被切成 tag、index、offset 三段,offset 选块内字节,index 选组,tag 证明这一路是不是同一个块。相联度、行大小与索引方式的不同组合,决定了命中率、命中时间与硬件代价。
1 概念
1.1 一句话定义
缓存是按固定大小的块组织、用地址的 tag、index、offset 三段定位的小容量高速存储。相联度是每组允许存放的块数。
1.2 它解决什么问题
- 掩盖延迟:把 DRAM 的百纳秒延迟换成缓存的几纳秒。
- 利用空间局部性:按块搬运,让一次访问带来相邻字节。
- 平衡命中率与命中时间:容量与相联度提升命中率,却拖慢查找。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 替换算法、写回与直写 | hw-replacement-write |
| 未命中分类、预取、非阻塞 | hw-misses-prefetch-blocking |
| 多级之间的包含关系 | hw-multilevel-inclusion |
| 页表与 TLB 的翻译 | hw-paging-page-tables、hw-tlb |
| 存储单元与刷新 | hw-sram-dram |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 块与行 | 搬运单位与带 tag 的槽位 | 两者常混用 |
| 组 | 同一个 index 下的若干路 | 不是 bank |
| 相联度 | 每组的路数 | 不是总容量 |
| tag | 证明块身份的高位地址 | 不是页表项 |
| 冲突未命中 | 组内被其他块占满 | 不是容量不足 |
| 别名 | 两个虚拟地址映射同一物理页 | 不是冲突 |
2 机制
2.1 心智模型
缓存是地址位的一段切分。 offset 决定块内位置,index 决定去哪个组找,tag 决定这一路是不是要的块。组数乘以路数乘以行大小,就是缓存容量。
2.2 机制拆解
- 地址切分:
offset = log2(行大小),index = log2(组数),tag 是剩余高位。 - 直接映射:每组一路,一次比较即可判定。命中时间最短,但同一 index 的块互相踢出,冲突未命中高。
- 组相联:每组 N 路,N 个 tag 并行比较。命中时间只比直接映射多一个多路选择,冲突未命中明显下降。
- 全相联:只有一组,需要全并行比较,面积随项数增长,只用于 TLB 与 victim cache。
- 行大小:64 B 是主流,部分处理器用 128 B。行越大 tag 开销越小、预取越有效,但未命中代价与带宽浪费也越大。
- 索引翻译:物理索引最简单但必须先翻译。虚拟索引物理 tag 要求索引位不超过页内偏移,否则同一物理页的不同虚拟地址会落到不同组。
- 扇区缓存:一个 tag 覆盖多个扇区,只取需要的扇区,兼顾行大小与传输粒度。
2.3 完整枚举
| 组织方式 | 比较器数 | 冲突未命中 | 命中时间 | 硬件代价 | 典型用途 |
|---|---|---|---|---|---|
| 直接映射 | 1 | 高 | 最低 | 最低 | 小缓存、末级 |
| 2 路组相联 | 2 | 中 | 低 | 低 | 低功耗核 |
| 4 路组相联 | 4 | 低 | 中 | 中 | L1 数据缓存 |
| 8 路组相联 | 8 | 低 | 中 | 中 | L1、L2 |
| 16 路组相联 | 16 | 很低 | 较高 | 高 | L3 |
| 全相联 | 等于项数 | 无 | 高 | 很高 | TLB、victim cache |
| 扇区缓存 | 1 | 中 | 低 | 中 | 大行缓存 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| L1 容量与相联度 | 32–64 KB,4–8 路 | 兼顾命中时间与冲突 |
| L2 容量 | 512 KB–2 MB | 通常私有 |
| L3 容量 | 8–64 MB | 通常共享 |
| L1 命中时间 | 4–5 个周期 | 含地址翻译 |
| L2 与 L3 命中时间 | 12–20 与 30–60 个周期 | 随容量与片上网络上升 |
| 行大小 | 64 B | 部分处理器 128 B |
| 未命中代价 | 200–400 个周期 | 到 DRAM |
| tag 开销 | 约 5%–10% | 8 路 32 KB 时约 7% |
示例:32 KB、8 路、64 B 行、48 位物理地址,则组数为 64,offset 6 位、index 6 位、tag 36 位。同样的 32 KB 改成直接映射,组数变成 512,index 变成 9 位。
3 实践
3.1 最小示例
# 32 KB、8 路、64 B 行:算地址切分。
size, ways, line = 32 * 1024, 8, 64
sets = size // (ways * line) # 64 组
offset_bits = line.bit_length() - 1 # 6
index_bits = sets.bit_length() - 1 # 6
print(sets, offset_bits, index_bits, 48 - offset_bits - index_bits) # 64 6 6 36
# 同样的容量改成直接映射:组数 512,index 9 位,冲突未命中上升。
direct_sets = size // line
print(direct_sets, direct_sets.bit_length() - 1)
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看容量与相联度 | lscpu -C、getconf LEVEL1_DCACHE_SIZE | 各级大小、路数、行大小 |
| 看系统视图 | /sys/devices/system/cpu/cpu0/cache/index* | 级别、类型、共享核 |
| 看未命中 | perf stat -e L1-dcache-load-misses,LLC-load-misses | 分级未命中 |
| 逐访存归因 | perf mem record、perf mem report | 命中与未命中的指令 |
| 看跨核竞争 | perf c2c record、perf c2c report | 同行的跨核共享 |
3.3 标准流程
- 用
lscpu -C与lstopo记录各级容量、相联度、行大小与共享范围。 - 用
perf stat取分级未命中,判断问题在 L1、L2 还是末级。 - 用
perf mem定位到具体指令与数据结构。 - 检查结构的对齐与步长是否与行大小冲突,改一处后复测。
3.4 与相邻技术的组合
- 替换策略:组相联才需要选择淘汰哪一路。
- 写策略:写回与写分配都作用在行上。
- 一致性:行是失效与共享状态的操作粒度。
3.5 选型维度
| 场景 | 相联度 | 行大小 | 容量 |
|---|---|---|---|
| 通用 L1 | 8 路 | 64 B | 32–48 KB |
| 低功耗 L1 | 2–4 路 | 64 B | 16–32 KB |
| 服务器 L2 | 8–16 路 | 64 B | 1–2 MB |
| 共享 L3 | 16 路 | 64 B | 32–64 MB |
3.6 决策规则
- 冲突未命中占主导时,宜加相联度而不是加容量。
- 容量未命中占主导时,加容量才有用。
- 索引位超过页内偏移时,应处理别名或改回物理索引。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 直接映射 | 最快、最省 | 冲突未命中高 | 小缓存 |
| 组相联 | 折中最好 | 比较器与选择器 | 主流缓存 |
| 全相联 | 无冲突 | 面积与延迟高 | TLB、victim cache |
| 软件管理暂存 | 可预测 | 需手工搬运 | 加速器、DSP |
3.8 何时不该用
- 数据只访问一次时,任何缓存组织都没有收益。
- 硬实时路径上不要依赖缓存的平均命中率。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 未命中率远超预期 | 步长与组数同余造成冲突 | 改布局或加相联度 |
| 同一数据两处副本 | 虚拟索引导致别名 | 改物理索引或页着色 |
| 命中率随负载崩溃 | 工作集刚好超过容量 | 分块、压缩 |
| 结构体访问变慢 | 跨越行边界 | 按行对齐、重排字段 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只看容量不看相联度 | 冲突未命中被忽略 | 同时看路数与组数 |
| 数组取 2 的幂且步长同余 | 访问集中到少数组 | 加填充或改访问序 |
| 把共享缓存当私有 | 有效容量被高估 | 查 shared_cpu_list |
4.3 可观测信号
perf stat 的 L1-dcache-load-misses、L2 与 LLC 计数;perf mem report 的逐指令命中;perf c2c 的跨核共享与伪共享;lscpu -C 的相联度与行大小;/sys 中每级缓存的 shared_cpu_list。
4.4 安全 / 性能 / 一致性边界
- 侧信道:命中与未命中的时间差可被用来推断访问模式,Prime+Probe 依赖组索引。
- 共享即争用:末级缓存是共享资源,邻居的流式负载会降低有效容量。
- 一致性粒度:行是失效单位,伪共享会让两个核互相踢行。