1 / 4概念
Hardware
硬件决定了所有软件的性能上限。不懂缓存行、NUMA 和 NVMe 队列,就会把“加机器”当成唯一优化;读完能判断一次延迟来自 CPU、缓存、内存、存储还是网络,并能读懂 lscpu、lstopo、perf 的输出。
1 概念
1.1 一句话定义
硬件是 CPU(指令集、流水线、缓存)、内存(DRAM、NUMA)、存储(HDD、SSD、NVMe)与网络(NIC、PCIe、DMA)组成的层次结构;每一层的延迟和带宽相差一个数量级。
1.2 它解决什么问题
- 性能上限:算法复杂度之外,缓存未命中、内存带宽和 I/O 队列决定真实吞吐。
- 容量规划:CPU 核数、内存通道、IOPS、网卡带宽必须匹配,否则最慢的一层拖住全部。
- 延迟预算:端到端延迟是各层延迟之和;不测量就无法判断该优化哪一层。
- 成本与能耗:同样的预算,选更多核、更多内存还是更快存储,取决于瓶颈。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 进程、线程、调度 | Processes & Threads |
| 虚拟内存、TLB、页表 | Memory Management |
| 文件系统、page cache | File Systems |
| 网络协议与拥塞控制 | Transport & Network Layer |
| 阻塞/非阻塞、io_uring | I/O Models |
| 虚拟化与容器隔离 | Containers & Cloud Native |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| ISA | 指令集架构,如 x86-64、ARM64 | 不是微架构 |
| 流水线 | 把指令拆成多级并行执行 | 不是多核 |
| 超标量 | 一个周期发射多条指令 | 不是乱序执行 |
| 乱序执行 | 按依赖而非程序顺序执行 | 不是多线程 |
| SMT | 一个物理核暴露多个逻辑核 | 共享执行单元与缓存 |
| 缓存行 | 缓存与内存之间传输的最小单位 | 通常 64 B,不是 4 KiB |
| MESI | 缓存一致性协议 | 不是内存模型 |
| TLB | 地址翻译缓存 | 不是数据缓存 |
| NUMA | 非统一内存访问,节点本地/远程 | 不是“内存更大” |
| PCIe | 连接 CPU 与外设的总线 | 不是网络协议 |
| NVMe | 面向 SSD 的协议与接口 | 不是 NAND 本身 |
| RSS | 网卡多队列分发 | 不是内存 RSS |
2 机制
2.1 心智模型
一次内存访问先查 L1、L2、L3,再查 TLB,最后才到 DRAM;一次网络包从 NIC 经 DMA 写入内存,再经 PCIe 到 CPU;每往下一层,延迟大约差一个数量级。 性能优化不是“让 CPU 更快”,而是让热数据留在更近的层、让并行度匹配最慢的层。
2.2 机制拆解
- CPU 流水线:取指 → 译码 → 执行 → 访存 → 写回;深度流水提高频率,但分支/依赖会带来停顿。超标量每周期发射多条;乱序执行用重排序缓冲隐藏延迟;分支预测失败要清空流水线。ISA 决定指令编码与生态(x86-64/ARM64/RISC-V),微架构决定同一 ISA 的实际性能。
- SMT:一个物理核维护两套寄存器上下文,共享执行单元、L1/L2 缓存;吞吐可能提升,但单线程延迟会受邻居影响。
- 缓存层次:L1 通常 32–64 KiB、L2 256–1024 KiB、L3 共享 8–64 MiB;缓存行 64 B,组相联 8–16 路;MESI 维护多核一致性;写回缓存,伪共享会让缓存行在两核间来回失效。
- 内存:DRAM 按 bank/row/column 组织,行缓冲命中快;DDR4/DDR5 多通道提升带宽;ECC 发现并纠正单比特错误;HBM 用堆叠提升带宽。
- 存储:HDD 受寻道与旋转限制;SATA SSD 受 AHCI 队列限制;NVMe 走 PCIe,支持深队列与多队列;NAND 需要 FTL 做磨损均衡与垃圾回收,写放大会放大延迟。
- 网络:NIC 通过 DMA 收发包,RSS 把流分发到多队列,checksum/TSO/GSO offload 减少 CPU 开销;SR-IOV 与 RDMA 绕过部分内核路径。
- NUMA:每个 socket 有本地内存;首次触碰决定页落在哪个节点,远程访问延迟更高、带宽更低;
numactl可绑定或交错。
2.3 完整枚举
内存层次:
| 层级 | 典型容量 | 延迟量级 | 带宽量级 | 说明 |
|---|---|---|---|---|
| 寄存器 | 数百字节 | < 1 ns | 极高 | 编译器分配 |
| L1 缓存 | 32–64 KiB | 约 1 ns | 极高 | 每核私有 |
| L2 缓存 | 256–1024 KiB | 约 4 ns | 高 | 每核私有 |
| L3 缓存 | 8–64 MiB | 约 15 ns | 高 | 多核共享 |
| DRAM | GB–TB | 约 80–120 ns | 20–100 GB/s | NUMA 远程更高 |
| NVMe SSD | GB–TB | 约 10–100 µs | 3–7 GB/s | 队列深度决定 IOPS |
| SATA SSD | GB–TB | 约 100 µs | 约 500 MB/s | AHCI 队列较浅 |
| HDD | TB | 约 5–10 ms | 100–200 MB/s | 寻道 + 旋转 |
| 网络(同机房) | — | 约 0.1–0.5 ms | 10–100 Gb/s | 受协议栈影响 |
| 磁带/对象存储 | — | ms–s | 低 | 归档 |
存储介质:
| 介质 | 随机读 | 顺序读 | 写放大 | 适用 |
|---|---|---|---|---|
| HDD | 低(IOPS 百级) | 中 | 无 | 大容量顺序、备份 |
| SATA SSD | 中(万级 IOPS) | 高 | 中 | 通用服务器 |
| NVMe SSD | 高(十万–百万 IOPS) | 很高 | 中–高 | 数据库、低延迟 |
| 持久内存 | 中 | 高 | 低 | 内存级持久化 |
| 磁带 | 极低 | 中 | 无 | 归档、冷备 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 缓存行 | 64 B | 伪共享的单位 |
| 页大小 | 4 KiB | 大页 2 MiB / 1 GiB |
| L1/L2/L3 延迟 | 1 / 4 / 15 ns | 约 3 倍一级 |
| DRAM 延迟 | 80–120 ns | 约 200–300 个周期 |
| NVMe 随机读 | 10–100 µs | 比 DRAM 慢 100–1000 倍 |
| HDD 寻道 | 5–10 ms | 比 NVMe 慢 100 倍以上 |
| 同机房 RTT | 0.1–0.5 ms | 受协议栈与拥塞影响 |
| 跨地域 RTT | 30–100 ms | 受光速与路由影响 |
| PCIe 3/4/5 x16 | 约 16/32/64 GB/s | 双向理论值 |
| 内存带宽 | 20–100 GB/s | 多通道决定 |
3 实践
3.1 最小示例
# 先看拓扑,再测瓶颈;不要在没有基线时调参数。
lscpu
lscpu -e
lstopo --of console
numactl --hardware
# 统计 IPC、缓存与分支:低 IPC 通常意味着停顿,而不是“CPU 不够快”。
perf stat -e cycles,instructions,cache-misses,branch-misses,LLC-load-misses ./app
# 伪共享:记录缓存行竞争,再报告
perf c2c record ./app && perf c2c report
# NVMe 深队列随机读;没有队列深度,IOPS 上不去
fio --name=randread --ioengine=io_uring --rw=randread --bs=4k \
--iodepth=64 --size=1G --filename=/tmp/fio.bin
# 网卡丢包、队列与 offload
ethtool -S eth0 | head -30
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 看 CPU | lscpu、lscpu -e | 核、线程、缓存、NUMA |
| 看拓扑 | lstopo --of console | 缓存与设备层级 |
| 看 NUMA | numactl --hardware | 节点、内存、距离 |
| 看 IPC | perf stat -e cycles,instructions | 每周期指令数 |
| 看缓存 | perf stat -e cache-misses,LLC-load-misses | 定位工作集 |
| 看伪共享 | perf c2c | 缓存行竞争 |
| 看 CPU 频率 | cpupower frequency-info | 降频/调频 |
| 看磁盘 | iostat -x、nvme smart-log | 队列、延迟、寿命 |
| 看网卡 | ethtool -S、sar -n DEV | 丢包、队列、带宽 |
3.3 标准流程
- 先建立基线:延迟、吞吐、CPU/内存/IO/网络利用率。
- 判断瓶颈层:CPU 看 IPC 与停顿,内存看带宽与 NUMA,存储看队列与 IOPS,网络看丢包与 RTT。
- 只优化瓶颈层:工作集放近缓存、提高队列深度、绑核/绑 NUMA、换介质。
- 用同一负载复测,确认瓶颈是否转移。
- 把硬件相关的结论写成容量模型,而不是一次性调参。
3.4 与相邻技术的组合
- OS 调度:CPU 亲和性、NUMA 绑定与 SMT 共同决定线程放在哪。
- 内存管理:大页减少 TLB miss,NUMA 首次触碰决定页位置。
- 文件系统:块大小、对齐与设备队列深度影响 I/O 效率。
- 网络协议:RSS、offload 与协议栈共同决定吞吐和延迟。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 负载类型 | CPU / 内存 / IO / 网络 | 决定优先升级哪一层 |
| 延迟目标 | 低 / 一般 | 低延迟看缓存与队列 |
| 吞吐目标 | 高 / 一般 | 吞吐看核数、带宽、队列 |
| 成本 | 敏感 / 不敏感 | 云上按性价比选型 |
| 能效 | 敏感 / 不敏感 | ARM 通常更优 |
3.6 决策规则
- CPU 密集型:先看 IPC 与频率,再看核数;低 IPC 先优化数据布局/分支。
- 内存密集型:加通道与带宽,优化 NUMA 本地性,评估大页。
- IOPS 密集型:NVMe + 深队列 + io_uring;不要用 HDD 跑随机。
- 网络密集型:看网卡带宽、RSS 队列、offload;必要时 RDMA。
- 成本敏感:ARM/Graviton 或 Spot;先确认软件兼容。
- 延迟敏感:避免 SMT 争用,绑核绑 NUMA,隔离中断。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| x86-64 | 生态、单核性能 | 功耗、价格 | 通用 |
| ARM64 | 能效、核数、云成本 | 兼容性、单核 | 云原生、边缘 |
| HDD | 容量/成本 | 随机 IOPS 低 | 顺序、备份 |
| SATA SSD | 性价比 | 队列浅 | 通用 |
| NVMe SSD | 低延迟、高 IOPS | 价格、散热 | 数据库、缓存 |
| 本地盘 | 低延迟 | 可靠性/迁移 | 临时、缓存 |
| 网络存储 | 共享、弹性 | 延迟、带宽 | 持久数据 |
3.8 何时不该用
- 不要为内存密集型负载加 CPU:瓶颈在带宽/NUMA,不在算力。
- 不要用 NVMe 却不加队列深度:单队列随机读浪费设备能力。
- 不要在大规格 VM 里忽略 NUMA:跨节点访问会吃掉收益。
- 不要在没有基线时做微优化:先测量,再决定。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| CPU 100% 但 IPC 很低 | 缓存/分支/依赖停顿 | perf stat 看 stall,优化数据布局 |
| 缓存命中率骤降 | 工作集超过 LLC | 分块、压缩、减少随机访问 |
| 多核扩展性差 | 伪共享/锁竞争 | 缓存行填充、perf c2c、分片 |
| NUMA 远程访问高 | 首次触碰/调度错位 | numactl 绑定,绑核 |
| 机器随机重启/报错 | ECC/内存故障 | mcelog/dmesg,换 DIMM |
| SSD 延迟升高、寿命下降 | 写放大、GC、磨损 | 降写、留 OP、换企业盘 |
| 网络吞吐低于链路 | 丢包/队列/offload | ethtool -S、tc、调 RSS |
| GPU/NVMe 带宽不足 | PCIe lanes/代际 | lspci -vv,换插槽/平台 |
| CPU 频率被限制 | 功耗/温度/电源策略 | cpupower、sensors、BIOS |
| RAID 重建慢/风险高 | 大盘、RAID5 | 评估 RAID10/副本 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 不 profiling 就加机器 | 成本上升、瓶颈不变 | 先测 IPC/队列/带宽 |
| HDD 上跑 4 KiB 随机 | IOPS 极低 | NVMe/SSD |
| 单队列访问 NVMe | 浪费并发 | 多队列/深队列 |
4.3 可观测信号
perf stat 的 IPC、cache-miss、branch-miss;perf c2c 的缓存行竞争;mpstat 的 %usr/%sys/%steal;iostat -x 的 await/aqu-sz;sar -n DEV 的带宽/丢包;ethtool -S 的队列丢弃;nvme smart-log 的磨损与温度;numastat 的本地/远程;cpupower frequency-info 的降频。
4.4 安全 / 性能 / 一致性边界
- 延迟数字是数量级:不同代际、频率、虚拟化会改变结果,不要当 SLA。
- 带宽与延迟:Little 定律
并发 = 吞吐 × 延迟;加队列能提吞吐,但会增加排队延迟。 - NUMA 正确性:跨节点访问不是错误,但会把性能优势吃掉;绑定前先确认拓扑。
- 虚拟化:
%steal表示宿主机抢占;容器/VM 的“核数”不等于独占。 - 安全:侧信道缓解(KPTI 等)有性能成本;DMA/IOMMU 与固件更新是硬件攻击面。