1 / 4概念
Fault Models, ECC and Redundancy
硬件会坏,但坏法不同:位翻转可以纠正,整片 DRAM 失效需要符号级保护,逻辑错误只能靠冗余或重算。故障模型把物理缺陷抽象成可检测、可计数的错误,ECC 与冗余再决定这些错误是否变成用户可见的失效。读完能选对保护级别,并读懂 edac-util 与 MCE 日志。
1 概念
1.1 一句话定义
故障模型把物理缺陷抽象为故障、错误与失效三级因果链,ECC 用冗余校验位检测并纠正错误,冗余用额外副本、表决或备件把失效挡在系统之外。
1.2 它解决什么问题
- 防静默损坏:内存位翻转不一定报错,ECC 把它变成可纠正或至少可检测的事件。
- 量化可用性:用 FIT、MTBF 与 MTTR 把“几个 9”变成可验收的年停机时间。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 功耗、温度与降频 | Power, Energy and Thermal |
| 硬件安全、侧信道与 TEE | Hardware Security |
| RAID 与存储层冗余 | RAID |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| fault | 物理缺陷或异常条件 | 不等于已发生的错误 |
| error | 因故障而偏离正确值的数据或状态 | 不等于用户可见的失效 |
| failure | 系统不再提供规定服务 | 是错误传播的结果 |
| SECDED | 纠一位、检两位的编码 | 检测能力不等于纠正能力 |
| chipkill | 符号级纠错,可容忍整颗 DRAM 失效 | 不是整机冗余 |
| scrubbing | 定期读回并回写,清理累积错误 | 不是备份 |
2 机制
2.1 心智模型
把可靠性想成一条漏斗:物理故障先变成数据错误,错误若未被拦住才变成失效。 ECC 在漏斗第一层加冗余位,冗余在第二层加副本或备件,可用性则由坏得多快与修得多快共同决定。
2.2 机制拆解
- 三级因果与类型:fault 是缺陷,error 是错误值,failure 是服务中断;transient 由辐射与噪声引起、重写即恢复,intermittent 处于时序边缘,permanent 来自工艺缺陷与电迁移。
- 编码距离:纠 t 位并检 e 位要求
d ≥ t + e + 1,只纠错时d ≥ 2t + 1;SECDED 的d = 4,纠 1 检 2,(72, 64)用 7 位汉明码加 1 位整体校验。 - chipkill:以符号为单位纠错,一颗 DRAM 出一个符号,整颗失效仍可恢复;需要 x4 器件与控制器支持。
- scrubbing:patrol scrub 在 24 小时内扫完所有内存,防止多位错误累积成不可纠;DRAM 刷新间隔 64 ms,高温时减半。
2.3 完整枚举
| 机制 | 保护对象 | 能力 | 开销 | 典型用法 |
|---|---|---|---|---|
| 奇偶校验 | 字节或字 | 检 1 位,不能纠 | 每 8 位加 1 位 | 链路与缓存标签 |
| SECDED | 64 位数据 | 纠 1 检 2 | 12.5%,(72, 64) | 服务器内存、缓存 |
| chipkill | 整颗 DRAM | 单器件失效仍可纠 | 需要 x4 与控制器支持 | 高可用服务器 |
| TMR 与 lockstep | 逻辑或整核 | 表决或比对,掩蔽单点 | 2 到 3 倍面积与功耗 | 航天、车规、金融 |
2.4 关键数字与复杂度
| 量 | 值 | 说明 |
|---|---|---|
| 1 FIT | 每 10^9 器件小时 1 次失效 | 失效率的标准单位 |
| 4 个 9 的停机 | 每年 52.6 分钟 | 1 − 0.9999 |
| 5 个 9 的停机 | 每年 5.26 分钟 | 1 − 0.99999 |
3 实践
3.1 最小示例
sudo edac-util -v # 每个内存控制器的 CE 与 UE 计数
sudo mcelog --client # 最近的机器检查异常
python3 -c 'k=64; r=7; print(2**r >= k+r+1, r+1)' # True 8:7 位汉明加 1 位整体校验
python3 -c 'm,t=100000,4; a=m/(m+t); print(round(a,5), round((1-a)*365*24*60,1))' # 0.99996 21.0
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看 CE 与 UE、机器检查 | edac-util -v、mcelog --client | 按 DIMM 计数并区分可纠正与不可纠正 |
| 看 RAS 汇总与 ECC 支持 | rasdaemon、dmidecode -t memory | 长期采集与是否启用纠错 |
3.3 标准流程
- 记录基线的 CE 与 UE 计数,确认 ECC 已在 BIOS 中启用。
- 观察 CE 增长率,若集中在一根 DIMM 或一个 bank,优先更换。
- 出现 UE 时先隔离页面并保留日志,再判断是单点还是批次问题。
- 用 patrol scrub 与定期巡检清理累积错误,再把
A = MTBF / (MTBF + MTTR)与实测故障率代入核对 SLA。
3.4 与相邻技术的组合
- 功耗、温度与虚拟化:高温加速电迁移与漏电并缩短刷新间隔,散热是可靠性的前置条件;vMCE 与页面离线策略决定错误能否被隔离在一台虚拟机内。
3.5 选型维度
| 场景 | 保护级别 | 代价 |
|---|---|---|
| 通用服务器内存 | SECDED | 12.5% 位开销与带宽 |
| 高可用数据库 | SECDED 加 chipkill 与热备 | 器件与控制器成本 |
3.6 决策规则
- 内存 ECC 应当是默认项,只有在成本极端敏感且可重算的场景才宜关闭。
- 出现 UE 后应先隔离与取证,再重启,否则现场信息会丢失。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 奇偶校验 | 开销最小 | 只能检测,不能纠正 | 链路、缓存 |
| SECDED | 纠单比特,成本可控 | 无法应对整颗失效 | 服务器内存 |
3.8 何时不该用
- 不要用 ECC 替代备份:它能纠正位错误,不能恢复被删除或写坏的数据;也不要在未确认 BIOS 启用时假设内存受保护,很多机器默认关闭 ECC。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| UE 计数突增 | 单颗 DRAM 或链路持续错误 | 隔离页面,更换 DIMM |
| CE 集中在一根 DIMM | 该器件老化或接触不良 | 记录并计划更换 |
| 数据静默错误 | 逻辑或链路无保护 | 加端到端校验与重算 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 忽略缓慢增长的 CE | 累积成不可纠的多位错误 | 监控趋势,按阈值更换 |
4.3 可观测信号
edac-util 的 CE 与 UE、mcelog 与 rasdaemon 的事件、IPMI SEL 的硬件告警、dmesg 的 edac 与 mce 行、PCIe AER 的链路错误计数、DIMM 温度与刷新错误计数。趋势比单点更重要。
4.4 安全 / 性能 / 一致性边界
- 覆盖有限:ECC 只保护存储阵列,保护不了逻辑、地址译码与软件;检测概率也不是 100%。
- 对抗性故障:故障注入与 Rowhammer 可以绕过 ECC,可靠性机制不等于安全机制。