1 / 4概念
Atomics and Synchronization
原子指令把读改写变成不可分割的一步,同步原语在此之上组织等待与唤醒。硬件提供的不只是指令,还有缓存行所有权、监视器与等待指令,它们共同决定高争用下的表现。读完应能判断一次锁竞争的成本来自原子操作、缓存行迁移还是调度。
1 概念
1.1 一句话定义
原子操作是不可分割的读改写;同步是在原子性之上用顺序约束与等待机制组织多个执行流的协议。
1.2 它解决什么问题
- 互斥:临界区一次只允许一个执行流进入,读改写不会被别的写插入。
- 无锁推进:CAS 循环与 LL/SC 保证至少一个线程能前进,不必整段阻塞。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 原子指令的 ISA 形态与栅栏 | hw-atomics-fences |
| 多地址可见顺序与模型 | hw-memory-consistency |
| futex 的内核实现细节 | os-processes-and-threads |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| RMW | 读改写,一步完成 | 不是读后写两条指令 |
| CAS | 相等才替换,失败返回旧值 | 不是锁 |
| LL/SC | 链接加载与条件存储配对 | 条件存储可能失败 |
| 监视器 | 记录被监视地址的硬件状态 | 不是调试器 |
| 护送 | 锁在核间传递造成排队 | 不是死锁 |
2 机制
2.1 心智模型
把原子操作想成先取得缓存行的独占权,再在本地完成读改写。 无争用时它只是一次缓存命中;有争用时所有核排在同一行上,吞吐由行的迁移速度决定。
2.2 机制拆解
- 缓存行锁定:核先取得 M 态,期间不响应其他核对同一行的探听,完成后按协议传播新值。
- 总线锁:仅当访问跨缓存行或不可缓存时退化为锁总线,内核会对跨行原子告警或终止。
- LL/SC:监视器记录被加载的地址,任何对该行的写都让后续条件存储失败,循环重试。
- 等待指令:
MONITOR/MWAIT与WFE/SEV让自旋的核在值变化或超时前休眠,降低空转。 - 操作系统等待:futex 在无争用时只做一次用户态 CAS,有争用时才进内核排队与唤醒。
2.3 完整枚举
| 原语 | 语义 | 实现要点 | 典型用途 |
|---|---|---|---|
| 测试并设置 | 写 1 并返回旧值 | 一次 RMW | 简单自旋锁 |
| CAS | 相等才替换 | 失败返回旧值 | 无锁栈与队列 |
| 取加 | 加并返回旧值 | 一次 RMW | 计数器、票据锁 |
| LL/SC | 条件存储,失败重试 | 监视器可能被清 | RISC 平台的无锁结构 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 无争用 RMW | 20–40 周期 | 行已在独占态 |
| 高争用 RMW | 数百至数千周期 | 行在核间反复迁移 |
| futex 慢路径 | 1–2 µs | 需要进内核排队 |
| 跨行原子 | 退化锁总线 | 内核可告警或直接终止 |
3 实践
3.1 最小示例
/* 分片计数:每核独占一行,读时求和,避免所有核抢同一行。 */
struct shard { _Atomic long v; char pad[56]; }; /* 8 + 56 = 64 字节 */
static struct shard shards[64];
void bump(int cpu) { atomic_fetch_add_explicit(&shards[cpu].v, 1, memory_order_relaxed); }
long total(void) { long s = 0; for (int i = 0; i < 64; i++)
s += atomic_load_explicit(&shards[i].v, memory_order_relaxed); return s; }
单行计数在 64 核上会把所有 RMW 排到同一行;分片后每个核只写自己的行。总量读取不是原子快照,但对统计用途足够。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看争用行 | perf c2c report | HITM 高的行就是争用点 |
| 看锁等待 | perf lock record 与 perf lock report | 争用次数与等待时间 |
| 看 futex 比例 | strace -c -e futex ./app | 慢路径占多少 |
3.3 标准流程
- 先测扩展性曲线,判断是否在原子或锁上被串行化。
- 用
perf c2c与perf lock定位争用的行与锁。 - 能分片就分片,能本地化就本地化,最后才考虑换锁算法。
- 临界区短且争用高时换队列锁或 futex 阻塞,长临界区直接阻塞。
3.4 与相邻技术的组合
- 缓存一致性:原子操作的成本几乎全部是一致性流量,行越集中越慢。
- NUMA:跨节点争用同一行要过互连,分片应按节点而不是按线程。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 争用程度 | 无争用、低争用、高争用 | 自旋、阻塞或分片 |
| 临界区长度 | 几条指令、含系统调用 | 自旋是否有意义 |
| 公平性 | 允许插队、需要 FIFO | 票据锁与队列锁 |
3.6 决策规则
- 临界区只有几条指令且争用低时,自旋比阻塞快。
- 争用高时宜用队列锁或 futex,把同一行的写分散到私有节点。
- 计数类共享宜分片或按核本地累加,读侧再汇总。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 互斥锁 | 语义直观 | 争用时有调度开销 | 长临界区 |
| 自旋锁 | 无调度、延迟低 | 空转耗 CPU | 极短临界区 |
| 队列锁 | 各自旋本地节点 | 实现复杂 | 高争用短临界区 |
| 分片计数 | 无争用 | 读取非精确快照 | 统计与限流 |
3.8 何时不该用
- 单线程或线程间无共享数据时不需要原子操作。
- 长临界区不应自旋,等待会白白占住整个时间片。
- 中断上下文不能用会阻塞的锁,应改为关中断加自旋。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 多核吞吐不升反降 | 伪共享、同一行争用 | 按行填充、分片 |
| 偶尔卡顿数百微秒 | 护送,锁在核间排队 | 队列锁、缩小临界区 |
| 内核日志报跨行原子 | 原子访问未对齐 | 对齐到自然边界 |
| 高优先级线程被拖住 | 优先级反转 | 优先级继承锁 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
全程 seq_cst 的 CAS 循环 | 白付栅栏代价 | 用 relaxed 加必要屏障 |
| 一把全局锁保护所有计数 | 单行串行化 | 分片或按核累加 |
| 在自旋锁里做系统调用 | 持锁时间不可控 | 缩短临界区或改阻塞锁 |
4.3 可观测信号
perf c2c 的 HITM 与行地址;perf lock 的争用次数与等待时间;perf stat 的周期与指令比值;strace -c 的 futex 调用次数;dmesg 的跨行原子告警;扩展性曲线上吞吐随核数的拐点。
4.4 安全 / 性能 / 一致性边界
- 安全:原子操作只保证不可分割,不阻止推测执行造成的侧信道,也不保护数据本身。
- 性能:成本随争用非线性上升,分片与本地化比换锁算法更根本。
- 一致性:原子性只覆盖单个操作,多操作的组合仍需锁或事务。