1 / 4概念
NUMA
NUMA 把内存控制器分到各节点,核访问本地内存快、访问远端内存慢。拓扑不是配置细节,而是决定延迟与带宽上限的硬约束。读完应能读懂距离矩阵,并把进程与内存一起绑到同一节点,而不是只绑 CPU。
1 概念
1.1 一句话定义
NUMA 是一种多节点内存架构:每个节点有本地内存与一组核,跨节点访问要经过互连,延迟与带宽都不对等。
1.2 它解决什么问题
- 扩展带宽:每个节点自带内存控制器,总带宽随节点数增长。
- 就近访问:核优先用本地内存,避免所有核挤在同一条总线上。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 地址交织与带宽计算 | hw-interleaving-bandwidth |
| 多核组织与末级缓存分片 | hw-multicore-organization |
| 页迁移与回收策略 | os-memory-management |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 节点 | 一组核加本地内存 | 不是 socket 的同义词 |
| 距离矩阵 | 节点间相对延迟,本地记为 10 | 不是物理距离 |
| first-touch | 首次触碰的核决定页落在哪个节点 | 不是首次分配 |
| 交错 | 页按节点轮转分配 | 不是绑定 |
| 自动平衡 | 内核迁移任务与页 | 不是手动绑核 |
2 机制
2.1 心智模型
把机器想成几个自带内存的岛,岛内访问便宜,跨岛要过桥。 性能问题于是变成“数据在哪个岛、线程在哪个岛”,而不是笼统的“内存够不够”。
2.2 机制拆解
- 拓扑描述:固件用 SRAT 描述节点归属,用 SLIT 给出距离矩阵,OS 据此建立节点与分配优先级。
- 分配策略:匿名页默认按 first-touch 落在触碰核的节点,也可显式绑定、优先或交错。
- 迁移:自动平衡周期扫描,把任务与页迁到更近的节点,迁移要复制页并失效 TLB。
- 互连:跨节点访问经 UPI 或 Infinity Fabric,带宽与延迟都由链路决定。
- 子节点划分:固件可把一个 socket 拆成多个 NUMA 节点,让末级缓存分片也获得就近性。
2.3 完整枚举
| 策略 | 行为 | 适用 |
|---|---|---|
| first-touch | 页落在首次访问的节点 | 默认,线程与数据同生命周期 |
| bind | 只从指定节点分配 | 强隔离、性能可预测 |
| preferred | 优先指定节点,满了才溢出 | 主副本加溢出余量 |
| interleave | 按节点轮转 | 带宽优先、无热点 |
| 自动平衡 | 内核迁移任务与页 | 负载漂移、手工调优成本高 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 本地内存延迟 | 80–100 ns | 节点内控制器直连 |
| 远端内存延迟 | 130–190 ns | 经互连转发,约 1.5–2 倍 |
| 距离取值 | 10、12、21、32 等 | 本地恒为 10 |
| 页迁移 | 每 4 KiB 数微秒 | 含复制与 TLB 失效 |
3 实践
3.1 最小示例
# 先看拓扑与距离,再把进程和内存一起绑到同一节点。
numactl --hardware
lstopo --of console | sed -n '1,20p'
numactl --cpunodebind=1 --membind=1 ./app
numastat -p $(pgrep -n app)
--hardware 给出节点、内存与距离;--cpunodebind 与 --membind 必须同时给,只绑 CPU 会让内存继续落在默认节点。numastat 的 numa_miss 高说明内存在远端。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看拓扑与距离 | numactl --hardware | 节点、内存与距离矩阵 |
| 看进程分布 | numastat -p <pid> | 命中、缺失与远端页数 |
| 看映射策略 | cat /proc/<pid>/numa_maps | 每个区间的策略与页分布 |
| 绑核与绑内存 | numactl --cpunodebind --membind | 两者要一起用 |
| 看中断归属 | cat /proc/interrupts | 网卡中断是否落在本地节点 |
3.3 标准流程
- 用
numactl --hardware与lstopo确认节点数与距离。 - 在目标节点上创建线程并首次触碰数据,让分配自然就近。
- 需要确定性时改用
--cpunodebind加--membind显式绑定。 - 用
numastat的numa_miss与远端比例验证,而不是只看吞吐。
3.4 与相邻技术的组合
- 缓存一致性:跨节点共享行要过互连,HITM 的代价比同节点高一个量级。
- 中断与 I/O:网卡中断与 DMA 落在哪个节点,决定收包路径的局部性。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 分配策略 | first-touch、bind、interleave | 延迟确定性与带宽 |
| 自动平衡 | 开、关 | 适应性与迁移抖动 |
| 页大小 | 4 KiB、2 MiB | 迁移成本与 TLB 覆盖 |
3.6 决策规则
- 延迟敏感且线程固定时宜显式绑定节点,并同时绑内存。
- 带宽优先、访问无热点时可用交错,用延迟换总带宽。
- 容器只暴露一个节点的 CPU 时,应同时限制内存节点,否则全部远端。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| UMA | 延迟一致、编程简单 | 带宽与容量有上限 | 单节点机器 |
| NUMA 加绑定 | 延迟低且可预测 | 需人工调优 | 数据库、HPC |
| 交错分配 | 带宽高、无热点 | 平均延迟上升 | 流式、带宽密集负载 |
| 消息传递集群 | 扩展性最好 | 需重构程序 | 大规模并行 |
3.8 何时不该用
- 单节点机器没有远端访问,绑核只影响调度不影响局部性。
- 工作集远小于单节点内存且顺序访问时,first-touch 已足够,不必手工绑定。
- 容器环境未暴露拓扑时强行绑节点,会与编排系统的调度冲突。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 延迟比预期高一倍 | 内存在远端节点 | 绑内存或改分配顺序 |
| 扩展性差、带宽上不去 | 所有线程抢同一节点 | 按节点分片 |
| 偶发长尾 | 自动平衡迁移抖动 | 关闭平衡或固定绑核 |
| 容器内性能异常 | cpuset 只给了一个节点 | 同步限制内存节点 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
只用 taskset 不绑内存 | 内存仍在默认节点 | 用 numactl 同时绑 |
| 在初始化线程上分配全部内存 | 所有页落在节点 0 | 各节点自行首次触碰 |
| 对延迟敏感负载用交错 | 平均延迟上升 | 绑定或分片 |
4.3 可观测信号
numastat 的 numa_hit、numa_miss 与 numa_foreign;/proc/<pid>/numa_maps 的每节点页数;perf c2c 的远端命中;lstopo 的层级;/proc/interrupts 的中断归属;/proc/vmstat 的 numa_pte_updates 与 numa_pages_migrated。
4.4 安全 / 性能 / 一致性边界
- 安全:跨节点共享内存会拉长侧信道的观测窗口,机密 VM 的节点归属也可能泄露负载信息。
- 性能:距离是硬约束,软件只能选择数据放在哪,不能改变跨节点代价。
- 一致性:跨节点一致性由目录保证,代价体现在延迟而不是正确性;跨 VM 共享内存不在保证范围内。