1 / 4概念
Interleaving and Bandwidth
单通道带宽永远追不上核数,所以地址必须被摊到多个通道、多个 bank 上并行搬运。交织策略决定顺序访问能否打满通道,也决定随机访问能否命中行缓冲。带宽不是标称值,而是交织、并发与效率三者相乘的结果。
1 概念
1.1 一句话定义
交织是把物理地址按固定粒度轮流映射到不同通道、bank、rank 的策略。它把一条连续地址流切成若干条并行子流,让多个存储单元同时工作。
1.2 它解决什么问题
- 单通道带宽不足:一个通道的引脚与频率有上限,只能靠并行。
- 顺序访问的吞吐:流式负载要求连续地址均匀落到所有通道。
- 行缓冲命中:同一 bank 的连续访问才能复用已激活的行。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| DRAM 时序、刷新、行缓冲电路 | hw-sram-dram |
| DDR 与 HBM 的接口和代际 | hw-ddr-hbm-persistent |
| 缓存组织与替换 | hw-cache-organization |
| NUMA 的调度策略 | hw-numa |
| 网络层的流量分担 | Network |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 通道 | 一组独立的数据与命令引脚 | 不是整条 DIMM |
| bank | 可独立激活的存储子阵列 | 不是 rank |
| rank | 共享同一组片选信号的颗粒集合 | 不是通道 |
| 交织粒度 | 连续地址切换到下一通道的间隔 | 不是缓存行 |
| 行缓冲命中 | 访问命中已激活的行 | 不是缓存命中 |
| 有效带宽 | 实测可持续带宽 | 不是理论峰值 |
2 机制
2.1 心智模型
交织把一条连续地址流切成若干条并行的小流,每条流走自己的通道和 bank。 粒度太细,行缓冲被频繁打断;粒度太粗,流量挤在少数通道上。带宽上限由通道数决定,实际值由效率决定。
2.2 机制拆解
- 通道交织:连续地址按 256 B 到 4 KB 的粒度轮流落到各通道。粒度小于一条缓存行会让每次访问都跨通道。
- bank 交织:每个 bank 有 1–2 KB 的行缓冲,同一 bank 的连续访问才能命中已激活的行。
- rank 交织:rank 切换有读写到读写的转向惩罚,
tWTR与tRTW都是纳秒级。 - 地址哈希:用高位与低位异或生成通道号,避免步长为 2 的幂时所有访问落到同一通道。
- 带宽公式:
BW = 通道数 × 单通道峰值 × 效率,效率通常 70%–90%。 - 并发需求:由 Little 定律,跑满 460 GB/s 与 90 ns 延迟需要约 41 KB 在途数据,约 650 条 64 B 缓存行。
- 效率损耗:刷新占用 3%–5%,命令与转向开销约 10%,ECC 在部分平台再占一成。
2.3 完整枚举
| 交织维度 | 典型粒度 | 目标 | 失效模式 |
|---|---|---|---|
| 通道 | 256 B–4 KB | 打满所有通道 | 粒度过大造成单通道热点 |
| bank | 1–2 KB(行大小) | 行缓冲命中 | 步长等于行大小时互相踢行 |
| bank group | 与 bank 同量级 | 组间并行 | 组内连续访问受 tCCD_L 限制 |
| rank | 4–8 KB | rank 间并行 | 频繁切换付出转向惩罚 |
| NUMA 节点 | 页 | 就近访问 | 远程带宽与延迟都更差 |
| 缓存行 | 64 B | 传输单位对齐 | 部分写导致读改写 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| DDR5-4800 单通道 | 38.4 GB/s | 32 位乘 4800 MT/s |
| 12 通道理论峰值 | 约 460 GB/s | 单路 4800 MT/s |
| 实测效率 | 70%–90% | 受刷新、命令、访问模式影响 |
| 单流带宽 | 约 0.7 GB/s | 64 B 除以 90 ns |
| 跑满峰值的并发行数 | 500–700 条 | 按 Little 定律估算 |
| 远程访问延迟 | 本地 1.3–2 倍 | 取决于互连拓扑 |
| 行缓冲命中率 | 顺序 80% 以上 | 随机访问接近 0 |
3 实践
3.1 最小示例
# 1) 看通道与 NUMA 拓扑,确认内存插在哪些节点上。
lstopo --of console | head -30
numactl --hardware
# 2) 单线程与多线程带宽对比:差距说明通道并行是否被用上。
mbw -n 5 256
OMP_NUM_THREADS=8 ./stream
# 3) 固定 CPU 与内存到同一节点,排除远程访问的干扰。
numactl --cpunodebind=0 --membind=0 ./stream
单线程跑不满多通道是正常现象,因为一个核的并发请求数有限。多线程仍达不到峰值,才说明交织或插法有问题。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看拓扑 | lstopo --of console | 通道、节点与设备的层级 |
| 测带宽 | mbw、STREAM | 拷贝与三元组带宽 |
| 看通道计数 | pcm-memory | 每通道读写与利用率 |
| 看 uncore | perf stat -e uncore_imc/data_reads/ | 内存控制器计数 |
| 看插法 | dmidecode -t memory | 槽位、rank、速率 |
3.3 标准流程
- 按通道数乘单通道峰值,算出理论峰值。
- 单线程测一次,得到单流的并发能力。
- 多线程测一次,用实测除以峰值得到效率。
- 低于 70% 时查插法、降频、交织粒度与哈希,再看 NUMA 命中比例。
3.4 与相邻技术的组合
- HBM:多栈并行让单封装带宽进入 TB/s 级。
- NUMA:节点内交织与节点间互连共同决定带宽。
- 一致性:跨核共享让同一行在多处复制,占用额外带宽。
3.5 选型维度
| 负载 | 交织策略 | 原因 |
|---|---|---|
| 顺序流式 | 细粒度通道交织 | 让所有通道同时工作 |
| 随机小访问 | bank 并行加哈希 | 减少 bank 冲突与热点 |
| 单线程计算 | 依赖预取与 MLP | 一个核的并发有限 |
| 多租户共享 | 节点隔离与带宽配额 | 防止邻居打满通道 |
3.6 决策规则
- 顺序访问为主时,宜用细粒度通道交织。
- 单线程带宽上不去时,应先加 MLP,而不是加通道。
- 多线程带宽上不去时,先查插法与 NUMA,而不是换内存。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 细粒度交织 | 顺序带宽高 | 行缓冲命中下降 | 流式计算 |
| 粗粒度交织 | 行缓冲好 | 通道热点风险 | 局部性强的负载 |
| 哈希交织 | 抗步长冲突 | 映射不直观、难调 | 通用服务器 |
| 内存镜像 | 高可靠 | 容量减半 | 关键业务 |
3.8 何时不该用
- 单个线程的流式拷贝不要期望打满多通道。
- 实时系统不要依赖交织带来的平均带宽,延迟抖动仍存在。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 带宽只有峰值一半 | 内存只插了一半通道 | 按通道对称插满 |
| 特定步长性能骤降 | 步长等于行大小或 2 的幂 | 改数据布局或依赖哈希 |
| 多线程扩展差 | 远程访问或链路争用 | 绑定节点,减少共享 |
| 单线程带宽很低 | 并发请求太少 | 加预取、提高 MLP |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只加内存条不看通道 | 容量涨、带宽不涨 | 对称插满通道 |
| 用理论峰值做容量规划 | 实测只有七成 | 按效率折算 |
| 让所有线程读同一块 | 通道与缓存都成热点 | 分片与复制 |
4.3 可观测信号
pcm-memory 的每通道利用率;perf stat 的 uncore 内存控制器计数;mbw 与 STREAM 的单线程与多线程带宽;numastat 的本地与远程比例;lstopo 的通道与节点拓扑;dmidecode 的当前速率与 rank。
4.4 安全 / 性能 / 一致性边界
- 带宽是共享资源:同一节点上的所有核与设备争用同一组通道。
- 加密消耗带宽:内存加密与完整性校验会降低有效带宽并增加延迟。
- 地址映射不透明:哈希函数由固件决定,软件无法完全控制落点。