1 / 4概念
DDR, HBM and Persistent Memory
DRAM 单元本身变化很慢,接口与封装却一直在变。DDR 把通道做宽、把 bank 做多,HBM 把接口做到 1024 位并把走线缩到毫米级,持久内存则在 DRAM 与 SSD 之间插入一层可按字节寻址的介质。读完能按带宽、容量、延迟与持久性四个维度给内存选型。
1 概念
1.1 一句话定义
DDR 是双倍数据率同步 DRAM 的接口标准,每个时钟的两个沿各传一次数据。HBM 是用硅中介层与 TSV 把多层 DRAM 堆到 1024 位宽总线的封装技术。持久内存是掉电保持、可按缓存行访问、挂在内存总线上的介质。
1.2 它解决什么问题
- 带宽不足:核数增长快于单通道带宽,需要更多通道、更宽接口或更高频率。
- 容量与成本:单条 DIMM 的容量受 rank 与颗粒密度限制,需要堆叠与扩展。
- 持久化缺口:DRAM 约 100 ns,SSD 约 100 µs,中间缺了三个数量级。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 位单元结构、刷新与保持时间 | hw-sram-dram |
| 通道与 bank 的地址映射、带宽模型 | hw-interleaving-bandwidth |
| 缓存组织与一致性 | hw-cache-organization |
| PCIe 链路、CXL 协议栈 | I/O 章节 |
| PHY 电气、训练算法、信号完整性 | Electrical Engineering |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| bank group | 一组可独立访问的 bank | 不是 rank |
| burst length | 一次列选通连续传输的拍数 | 不是位宽 |
| subchannel | DDR5 的独立 32 位通道 | 不是整条 DIMM |
| on-die ECC | 颗粒内部的纠错 | 不替代系统 ECC |
| App Direct | 持久内存的字节寻址模式 | 不是 Memory Mode |
| ADR | 异步 DRAM 刷新,掉电保护域 | 不是刷新周期 |
2 机制
2.1 心智模型
DDR 是把接口做宽、频率做高、bank 做多;HBM 是把接口做到 1024 位、把走线缩到毫米;持久内存是用延迟换容量与持久性。 三条路线都在回答同一个问题:怎样在可接受的引脚数与功耗下,把更多比特更快地送到核旁边。
2.2 机制拆解
- 双沿采样与预取:DDR 在时钟上下沿各传一次数据,内部按 8n 或 16n 预取,把窄核心频率变成宽接口带宽。
- burst 与缓存行:DDR4 是 64 位乘 8 拍,一次 64 B,正好一条缓存行。DDR5 是 32 位乘 16 拍,每个子通道一次 64 B。
- bank group:DDR4 有 4 组共 16 bank,DDR5 有 8 组共 32 bank。组内切换有
tCCD_L,组间可用tCCD_S,组多则连续访问重叠更好。 - DDR5 新增件:颗粒内 on-die ECC 只保护存储阵列,模组上的 PMIC 把 12 V 降到 1.1 V,主板供电因此简化。
- HBM 堆叠:8 到 12 层 DRAM 用 TSV 垂直互连,每层有独立通道,整个堆栈对外是 1024 位。伪通道再把 128 位拆成两个 64 位。
- 持久内存:3D XPoint 交叉阵列按 256 B 访问,写入需要控制器做磨损均衡。ADR 保证掉电时把在途写刷入介质,软件仍需
clwb加sfence定序。 - CXL 内存:把 DRAM 挂在 PCIe 链路上做容量扩展,延迟高于本地内存,带宽受链路宽度限制。
2.3 完整枚举
| 技术 | 接口位宽 | 速率 | 单链路带宽 | 单条或单栈容量 | 典型延迟 |
|---|---|---|---|---|---|
| DDR4-3200 | 64 位 | 3200 MT/s | 25.6 GB/s | 128 GB | 约 80 ns |
| DDR5-4800 | 2 × 32 位 | 4800 MT/s | 38.4 GB/s | 256 GB | 约 85 ns |
| HBM3 | 1024 位 | 6.4 Gb/s | 约 819 GB/s | 24–36 GB | 约 100 ns |
| HBM3E | 1024 位 | 9.6 Gb/s | 约 1.2 TB/s | 36 GB | 约 100 ns |
| Optane 200 | 64 位 | 2666 MT/s | 约 7 GB/s | 512 GB | 约 350 ns |
| CXL.mem | PCIe 5.0 x16 | 64 GT/s | 约 64 GB/s | 1 TB 级 | 约 200 ns |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 单通道带宽 | 25.6–51.2 GB/s | DDR4-3200 到 DDR5-6400 |
| 峰值带宽 | 约 460 GB/s | 12 通道 DDR5-4800 |
| HBM 单栈带宽 | 0.4–1.2 TB/s | 随代际提升 |
| DRAM 延迟 | 80–120 ns | 约 200–400 个周期 |
| 持久内存读延迟 | 约 350 ns | 约为 DRAM 的 3–4 倍 |
| 持久内存访问粒度 | 256 B | 小于此粒度有读改写 |
| CXL 附加延迟 | 约 70–150 ns | 叠加在本地内存之上 |
3 实践
3.1 最小示例
# DDR:看代际、速率、通道与模组位置。
sudo dmidecode -t memory | grep -E 'Locator|Type:|Speed|Size|Rank'
# 持久内存:先看模式,再看命名空间;模式错了,数据就是易失的。
sudo ipmctl show -dimm
sudo ndctl list -Ni
# HBM:CPU 侧不可见,只能从加速器查询容量与带宽。
nvidia-smi -q -d MEMORY | head -20
dmidecode 给出“装了什么”,ipmctl 给出“配置成什么模式”,nvidia-smi 给出“加速器看到多少显存”。三者都不等于实测带宽。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看内存条 | dmidecode -t memory | 代际、速率、rank、槽位 |
| 看通道与 NUMA | numactl --hardware | 每节点内存与通道 |
| 看持久内存 | ipmctl show -dimm、ipmctl show -sensor | 模式、健康、温度 |
| 看命名空间 | ndctl list -Ni | 区域、命名空间、健康 |
| 看错误 | edac-util、ras-mc-ctl | 可纠正与不可纠正计数 |
3.3 标准流程
- 用
dmidecode确认代际、速率与每通道插法。 - 用
lscpu与numactl --hardware确认通道数与 NUMA 划分。 - 用单线程与多线程 STREAM 各测一次,差距说明通道并行是否用上。
- 实测低于峰值 20% 以上时,查降频、训练失败、ECC 与插法。
3.4 与相邻技术的组合
- 交织:多通道带宽只有在地址均匀分布时才能兑现。
- 缓存:更大的 LLC 能容忍更高的内存延迟。
- 虚拟化:vNVDIMM 把持久内存映射进虚拟机,需要对齐与模式支持。
3.5 选型维度
| 需求 | 首选 | 备选 | 关键指标 |
|---|---|---|---|
| 通用服务器内存 | DDR5-4800 RDIMM | DDR4-3200 | 容量、每 GB 成本 |
| 高带宽计算 | HBM3E | 多通道 DDR5 | TB/s 与 pJ/bit |
| 低延迟数据库 | 本地 DRAM | 持久内存 App Direct | 读延迟与带宽 |
| 弹性扩容量 | CXL.mem | 换大容量 DIMM | 附加延迟 |
3.6 决策规则
- 带宽不足先加通道,再考虑换 HBM。
- 容量不足先看单条密度与 3DS,再看 CXL 扩展。
- 需要掉电保持且写频繁时,宜用 App Direct 而不是 Memory Mode。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| DDR5 | 生态成熟、容量弹性 | 通道有限、功耗高 | 通用服务器 |
| HBM | 带宽密度极高 | 封装成本、容量受限 | 加速器、GPU |
| 持久内存 | 掉电保持、字节寻址 | 延迟高、已停产 | 内存数据库、日志 |
| CXL 内存 | 容量池化、可共享 | 附加延迟、链路带宽 | 弹性扩容 |
3.8 何时不该用
- 不要把 Memory Mode 用作持久化方案:掉电后介质内容不是应用数据。
- 不要在频繁随机小写上依赖持久内存的寿命模型。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 速率掉到最低档 | 混插不同速率或 rank | 统一型号,重插 |
| 开机训练失败 | 信号完整性或固件 | 降速、换槽、升级 BIOS |
| 持久内存数据丢失 | 模式误配为 Memory Mode | 改 App Direct 并重建命名空间 |
| CXL 内存延迟超预算 | 链路跳数或争用 | 就近放置、减少共享 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只看 MT/s 不看通道 | 带宽估算翻倍乐观 | 按通道数乘单通道带宽 |
| 混插不同容量与 rank | 降频、时序退化 | 同型号同批次 |
| 把 on-die ECC 当系统 ECC | 总线错误仍会静默 | 开启系统 ECC |
4.3 可观测信号
dmidecode 的配置速率与当前速率;decode-dimms 的 SPD 与温度;edac-util 的可纠正计数;ipmctl show -sensor 的持久内存健康与剩余寿命;ndctl list 的命名空间状态;perf stat 的 uncore 内存控制器计数。
4.4 安全 / 性能 / 一致性边界
- 持久性顺序:持久内存上的写必须
clwb后sfence,否则掉电后顺序不成立。 - 加密开销:TME 与 SME 对内存加密会占用带宽并增加少量延迟。
- 封装良率:HBM 的堆叠与中介层让单点故障影响整包,容量不可现场扩容。