1 / 4概念
Multicore Organization
多核不是把几个核并排放好。共享 LLC、环或网格互连、每片 LLC 的归属代理与内存控制器位置,共同决定跨核延迟与带宽。读完后你能从 lscpu 与 lstopo 读出拓扑,并判断一次扩展失败来自共享资源还是来自协议。
1 概念
1.1 一句话定义
多核组织指一个 socket 内多个物理核如何共享缓存、互连、内存控制器与 I/O,以及多个 socket 如何连成一个缓存一致的系统。它决定每个核能拿到多少 LLC 份额、多快的内存与多大的跨核带宽。
1.2 它解决什么问题
- 频率停滞:单核频率受功耗墙限制,靠核数换吞吐是 2005 年后的主路径。
- 共享降本:共享 LLC 与内存控制器减少片外访存,也减少重复取数与一致性流量。
- 延迟分层:私有 L2、同片 LLC、跨片、跨 socket 逐级变贵,拓扑决定每一级的代价。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| SMT 线程上下文与发射槽共享 | SMT |
| 一致性协议状态机与目录 | Cache Coherence |
| 缓存替换、写策略与包含性 | Cache Organization |
| 核间同步与内存序 | Memory Consistency、Atomics and Synchronization |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| socket | 一个物理处理器封装 | 不等于一个 NUMA 节点 |
| LLC slice | 按地址哈希划分的末级缓存分片 | 逻辑统一,物理分片 |
| 归属代理 | 每片负责监听、目录与内存排序的单元 | Intel 称 CHA |
| ring 与 mesh | 片上互连拓扑 | 与片外网络无关 |
| NUMA node | 本地内存与核的集合 | 单 socket 也可多节点 |
2 机制
2.1 心智模型
把一个 socket 想成小区:核是住户,LLC 切片是分区的快递柜,环或网格是小区道路,内存控制器是物流站。 地址哈希决定包裹进哪个柜,跨区取件就要多绕几跳。住户再多,道路与物流站的容量不变。
2.2 机制拆解
- LLC 分片:地址按哈希映射到固定切片,每片有独立的 tag 与数据阵列,因此 LLC 物理分片、逻辑统一。
- 归属代理:每片带一个 home agent,负责该地址的监听过滤、目录更新与内存请求排序,命中本地片最快。
- 片上互连:环是双向环,每跳一个站;网格按 XY 路由;规模小时也可用交叉开关。
- 内存与 I/O:每 socket 若干内存通道按地址交织,PCIe 根复合体与 IOMMU 也在 socket 内。
- 多 socket:UPI 或 Infinity Fabric 连接 socket,远程访问经归属代理,形成 NUMA。
2.3 完整枚举
| 资源 | 私有或共享 | 典型粒度 | 影响 |
|---|---|---|---|
| L1I 与 L1D | 私有 | 32–64 KB | 命中延迟最低 |
| L2 | 私有 | 0.5–2 MB | 工作集超限即落到 LLC |
| LLC | 分片共享 | 每核 2–4 MB | 容量与带宽被全部核分摊 |
| TLB 与分支预测器 | 私有 | 每核独立 | 大页与预测历史不跨核 |
| 内存控制器 | 每 socket 共享 | 4–12 通道 | 通道数决定峰值带宽 |
| 环或网格 | 共享 | 每站或多跳 | 跨片延迟随跳数上升 |
| I/O 复合体 | 每 socket 共享 | 若干 PCIe 根端口 | DMA 与核争内存带宽 |
| 中断控制器 | local APIC 私有,IOAPIC 共享 | 每逻辑 CPU 与每 socket | 中断亲和性影响延迟 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 核数与 LLC | 4–128 核,8–512 MB LLC | 服务器代际差异大 |
| L3 命中延迟 | 约 40–50 周期 | 跨片再增加若干跳 |
| 本地 DRAM 延迟 | 80–120 ns | 与频率和通道相关 |
| 远程 socket 延迟 | 130–200 ns | 经 UPI 或 Infinity Fabric |
3 实践
3.1 最小示例
lscpu -e=CPU,CORE,SOCKET,NODE,MAXMHZ
lstopo-no-graphics --of console
numactl --hardware
cat /sys/devices/system/cpu/cpu0/cache/index3/shared_cpu_list
for t in 1 2 4 8; do OMP_NUM_THREADS=$t OMP_PROC_BIND=close ./app; done
shared_cpu_list 给出共享同一 LLC 域的逻辑 CPU。先看单线程吞吐,再按 2 的幂加线程;扩展效率低于 70% 时先怀疑共享 LLC 容量、内存带宽或锁竞争,而不是核数不够。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看核与 socket 映射 | lscpu -e | CPU、CORE、SOCKET、NODE |
| 看拓扑树 | lstopo-no-graphics --of console | 缓存与设备的层级 |
| 看 NUMA 与内存 | numactl --hardware | 节点、内存、距离 |
| 看 LLC 共享范围 | cat /sys/devices/system/cpu/cpu0/cache/index3/shared_cpu_list | 同域逻辑 CPU |
| 绑核与绑内存 | taskset -c、numactl --cpunodebind | 避免跨节点 |
3.3 标准流程
- 读拓扑:socket、物理核、LLC 域与 NUMA 节点。
- 固定绑定与频率策略,建立单核基线并记录实际频率。
- 按 2 的幂增加线程,同时观察 LLC miss、内存带宽与远程访问比例。
- 区分瓶颈是 LLC 容量、内存带宽、互连还是锁,再调整分片与绑定并复测。
3.4 与相邻技术的组合
与 SMT、NUMA 与分块组合:先占满物理核再启用兄弟线程;线程与内存同节点分配;分块尺寸按每核 LLC 份额估算;网卡与目标内存同 socket,避免 DMA 跨片。
3.5 选型维度
| 负载 | 拓扑取向 | 关键指标 |
|---|---|---|
| Web 与 API | 多核加大 LLC | p99、核数、上下文切换 |
| 内存数据库 | 大 LLC 加本地 NUMA | 远程访问比例、命中率 |
| HPC | 全核加高带宽 | 扩展效率、每核带宽 |
| 虚拟化 | 核数与 LLC 分片 | 隔离与噪声 |
3.6 决策规则
- 线程数不超过物理核时,应优先独占核,而不是开 SMT。
- 扩展效率低于 70% 时,先查共享 LLC 与内存带宽,再查锁。
- 跨 socket 扩展前,宜先把工作集压进单 socket 的 LLC。
- 延迟敏感线程应绑定到同一 LLC 域,并尽量不跨节点迁移。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 单核高频 | 单线程强、结构简单 | 受功耗墙限制 | 延迟敏感 |
| 多核单 socket | 共享 LLC、延迟低 | 扩展受 LLC 与带宽限制 | 通用服务器 |
| 多 socket | 规模与内存大 | NUMA 远程访问 | 大内存负载 |
3.8 何时不该用
- 单线程受限时,加核不会提高该线程的速度。
- 锁竞争严重时,加核可能降低总吞吐。
- 强隔离要求下,共享 LLC 与环互连本身就是风险面。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 扩展效率随核数下降 | LLC 争用或带宽饱和 | 分块、减少共享写 |
| 偶发慢请求 | 跨 NUMA 访问 | 绑核与绑内存 |
| 伪共享 | 同一缓存行被多核写 | 填充、对齐、分片 |
| 中断集中在一个核 | IRQ 亲和性未设置 | irqbalance、RPS |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 用逻辑 CPU 数当核数 | 容量与绑核都算错 | 按 CORE 列计 |
| 不绑核就测扩展 | 迁移掩盖瓶颈 | 固定亲和性 |
4.3 可观测信号
lscpu -e 的 CORE 与 NODE 列;lstopo 的缓存层级;numactl --hardware 的节点距离;perf stat 的 LLC-loads 与 LLC-load-misses;perf c2c 的 HITM;numastat 的本地与远程比例;turbostat 的每核频率。先确认拓扑,再解释曲线。
4.4 安全 / 性能 / 一致性边界
- 性能:共享 LLC 与内存带宽决定扩展上限,核数只是上限之下的一部分。
- 一致性:协议保证正确性,组织只改变代价;跨片与跨 socket 的一致流量更贵。
- 安全:共享 LLC 是 Prime+Probe 一类侧信道的载体,分片不等于隔离。