1 / 4概念
Cache Coherence
缓存一致性保证同一地址的写最终对所有核可见,不会出现某个核长期读到旧值。它由协议而不是软件维护,决定多核共享数据的真实成本。读完应能区分一致性与一致性模型,并判断一次伪共享的代价落在哪一层。
1 概念
1.1 一句话定义
缓存一致性是对同一地址维持“单一写者、多读者”不变式的协议,让所有核对同一个地址看到同一份值的先后一致。
1.2 它解决什么问题
- 单一写者:任一时刻一行最多被一个核以可写状态持有,写不必每次都回到内存。
- 共享副本:多核读同一行时各自持有副本,省下重复的远端访问。
- 写传播:写发生后其他副本被失效或更新,读者不会拿到陈旧值。
- 为顺序讨论提供前提:没有单地址一致,多地址的可见顺序无从谈起。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 多地址的可见顺序与栅栏 | hw-memory-consistency |
| 原子指令与同步原语 | hw-atomics-synchronization |
| 缓存组织与多级包含关系 | hw-multilevel-inclusion |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 一致性与一致性模型 | 前者管单地址,后者管多地址顺序 | 不是同一件事 |
| 失效协议与更新协议 | 写时作废副本,或把新值推给副本 | 失效更常用 |
| 伪共享 | 不同变量落在同一行 | 不是数据竞争 |
| 目录 | 记录哪些核持有某行的结构 | 不是页表 |
| 独占态 | 可写且无需再问其他核的状态 | 不等于“私有数据” |
2 机制
2.1 心智模型
把一致性想成缓存行的所有权协议:写之前先拿到独占权,拿到时其他副本全部作废。 代价不在数据搬运,而在所有权来回迁移时每一方都要等待。
2.2 机制拆解
- 监听式:每个核把请求广播到互连,所有缓存监听并响应;核少时简单,核多时广播成为瓶颈。
- 目录式:每行在归属节点有一份目录项记录持有者,请求只发给相关核,可扩展到大量节点。
- 状态机:MESI 的四种状态覆盖独占可写、独占干净、共享干净与无效,MOESI 增加“拥有但脏且共享”。
- 写策略:写失效让其他副本作废;写更新把新值推给共享者,适合读多写少的长行。
- 包含关系:末级缓存包含上层时,逐出末级即可反向失效;非包含设计需要单独的探听过滤器。
2.3 完整枚举
| 协议 | 状态数 | 写策略 | 特点 |
|---|---|---|---|
| MSI | 3 | 失效 | 最简,写前必取独占 |
| MESI | 4 | 失效 | 干净独占可静默升级 |
| MOESI | 5 | 失效 | 脏数据可直接共享,省一次写回 |
| 目录 | 随实现 | 失效或更新 | 靠目录记录持有者,可扩展 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 缓存行 | 64 字节 | 一致性的最小粒度 |
| 状态迁移延迟 | 几十到上百周期 | 取决于互连与是否跨节点 |
| 远端读命中 | 约 100–200 ns | 跨 socket 转发 |
| 目录开销 | 每行数十位 | 位向量随核数线性增长 |
| 监听适用规模 | 十几到几十核 | 再大需要目录或过滤器 |
3 实践
3.1 最小示例
/* 两个计数器落在同一缓存行会互相失效;补齐到 64 字节即可分开。 */
struct shared { _Atomic long a, b; }; /* 一行装下两个热变量 */
struct padded { _Atomic long a; char pad[56]; }; /* 8 + 56,每实例独占一行 */
两个线程分别写 a 与 b 时,shared 让同一行在核间来回迁移,padded 各写各的行。计数总量相同,扩展性差别全部来自一致性流量。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看伪共享 | perf c2c record 与 perf c2c report | HITM 高的行就是争用行 |
| 看缓存缺失 | perf stat -e cache-misses,LLC-load-misses | 区分本地与末级缺失 |
| 看远端流量 | numastat | 跨节点访问比例 |
3.3 标准流程
- 先确认多核写的是不同变量还是同一变量,只有前者可能是伪共享。
- 用
perf c2c找出 HITM 比例高的缓存行与对应代码位置。 - 按 64 字节对齐拆分热变量,或改成每核本地副本再汇总。
- 复测扩展性曲线,确认瓶颈已从一致性流量转移到别处。
3.4 与相邻技术的组合
- 一致性模型:一致性只保证同一行最终一致,多行之间的顺序由模型与栅栏决定。
- NUMA:跨节点共享行要经互连,代价比同节点高一个量级。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 规模 | 单芯片、多 socket | 监听、目录与过滤器的取舍 |
| 末级包含关系 | 包含、非包含 | 探听方式与反向失效成本 |
| 共享模式 | 只读共享、写共享 | 失效协议是否够用 |
3.6 决策规则
- 核数增长后应先确认是否已从监听切到目录,否则扩展性会先于带宽见顶。
- 写频繁的共享计数宜分片,把同一行的写分散到不同行。
- 只读共享的热数据宜复制到各核本地,避免远端转发成为瓶颈。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 监听加 MESI | 实现简单、延迟低 | 广播受限 | 小规模多核 |
| 目录协议 | 可扩展到大量节点 | 目录存储与间接跳转 | 服务器、多 socket |
| 消息传递 | 无共享、易推理 | 需显式收发 | 集群 |
| 软件管理共享 | 控制精细 | 易错、性能差 | 特殊加速器 |
3.8 何时不该用
- 单核或完全不共享数据的进程不必考虑一致性协议。
- 纯消息传递的系统没有共享缓存,讨论一致性没有意义。
- 只读数据集不必为一致性分片,各留副本即可。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 多核吞吐随核数下降 | 伪共享 | 按行填充或分片 |
| 长时间停顿 | 缓存行在核间反复迁移 | 改访问顺序、批量处理 |
| 扩展性突然见顶 | 监听带宽饱和 | 换目录或加过滤器 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 用填充解决所有竞争 | 只缓解伪共享,真共享仍慢 | 先分清是否同一变量 |
| 把多个热锁放在同一行 | 锁之间互相失效 | 每个锁独占一行 |
| 依赖一致性做同步 | 只保证单行一致,不保证顺序 | 用原子操作与栅栏 |
4.3 可观测信号
perf c2c 的 HITM 与远端命中;perf stat 的 cache-misses 与 LLC-load-misses;numastat 的本地与远端比例;lstopo 显示的共享层级;扩展性曲线上吞吐随核数变化的拐点。
4.4 安全 / 性能 / 一致性边界
- 安全:共享缓存是侧信道的载体,Prime+Probe 一类攻击依赖末级缓存被多个安全域共享。
- 性能:一致性流量随写共享增长,扩展性上限由互连带宽与目录结构决定。
- 一致性:一致性不等于顺序,单个地址一致不代表多个地址按程序顺序可见。