1 / 4概念
Architecture Layers and History
计算机体系结构不是一张芯片图,而是一组从上到下的契约。每一层只暴露下一层需要的接口,性能由最慢的一环决定。读完能把一次性能问题定位到工艺、逻辑、微架构、ISA 或系统层,而不是笼统地说“硬件不行”。
1 概念
1.1 一句话定义
体系结构是 ISA、微架构、实现和系统四件事的合称。ISA 是软件看到的契约,微架构是实现该契约的组织,实现是晶体管与物理,系统是多个芯片、存储与网络的组合。
1.2 它解决什么问题
- 可移植性:同一份 ISA 程序可以在不同微架构上运行,编译器不必为每颗芯片重写。
- 性能上限:算法复杂度之外,指令数、CPI、频率、缓存与内存带宽共同决定真实时间。
- 成本与功耗:同样的预算,选更大核、更多缓存还是更快存储,取决于瓶颈层。
- 验证与演进:分层让每层可独立验证,也让局部替换不破坏全局契约。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 器件物理、工艺节点、模拟电路 | Electrical Engineering |
| 进程、线程、调度、虚拟内存策略 | Systems → Operating Systems |
| 编译器内部优化、语言语义 | Languages & Frameworks |
| TCP/IP、路由、拥塞控制 | Network |
| 具体缓存组织、流水线实现 | 本域 Memory Hierarchy、Microarchitecture |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| ISA | 指令集架构,软件与硬件的契约 | 不是微架构,不是实现 |
| 微架构 | 流水线、缓存、乱序、多核等组织 | 同一 ISA 可有多种微架构 |
| 实现 | 晶体管、互连、封装、工艺 | 不是逻辑设计 |
| 系统 | 芯片、内存、I/O、网络、机架的合体 | 不是单颗 CPU |
| von Neumann | 指令与数据共享存储 | 不是“单核” |
| Harvard | 指令与数据分开存储 | 现代 CPU 常是混合式 |
| Moore 定律 | 单位面积晶体管数约每两年翻倍 | 不是性能翻倍 |
| Dennard 缩放 | 尺寸缩小同时电压下降,功耗密度近似不变 | 2005 年后失效 |
| Power wall | 频率提升受功耗与散热限制 | 不是“制程停摆” |
| Memory wall | 内存延迟下降远慢于 CPU | 不是带宽不足 |
| ILP wall | 指令级并行收益递减 | 不是“多核无用” |
| Dark silicon | 芯片面积无法全速同时点亮 | 不是“晶体管变少” |
| CPI | 每条指令平均周期数 | 不是主频 |
| IPC | 每周期指令数,CPI 的倒数 | 受程序与微架构共同影响 |
2 机制
2.1 心智模型
把计算机想成五层过滤器:工艺决定器件,器件决定门,门决定微架构,微架构实现 ISA,ISA 支撑系统。 优化只在瓶颈层生效。跨层优化常来自把某一层的约束上移或下移,例如用更宽的 SIMD 把并行压进一条指令,或用缓存把内存延迟藏起来。
2.2 机制拆解
- 工艺层:晶体管阈值、互连电阻电容、封装与供电。它决定门延迟、漏电和可达频率。
- 逻辑层:布尔门、时序单元、有限状态机、数据通路。它把代数变成有延迟的电路。
- 微架构层:流水线、乱序、分支预测、缓存、多核、SMT。它决定同一 ISA 的实际速度。
- ISA 层:指令、寄存器、寻址、异常、特权、内存模型。它决定软件能假设什么。
- 系统层:存储层次、I/O、互连、机架、仓库级计算机。它决定端到端延迟与吞吐。
- 三道墙:功耗墙让频率停在数 GHz;内存墙让缓存成为性能核心;ILP 墙让单核变宽收益递减,转向 DLP 与 TLP。暗硅进一步要求专用加速器。
2.3 完整枚举
| 层 | 关心 | 典型产物 | 主要指标 | 典型问题 |
|---|---|---|---|---|
| 工艺 | 器件与互连 | 标准单元库、SRAM 位单元、封装 | 门延迟、漏电、良率 | 频率还能不能升 |
| 逻辑 | 0/1 函数与状态 | 门级网表、FSM、ALU | 面积、延迟、功耗 | 这条路径最长是多少 |
| 微架构 | 指令如何并行 | 流水线、ROB、缓存、NoC | IPC、命中率、频率 | 停顿来自哪里 |
| ISA | 软件契约 | 指令编码、寄存器、异常 | 代码大小、兼容性 | 程序能假设什么 |
| 系统 | 多芯片与存储 | 内存控制器、PCIe、机架 | 延迟、带宽、可用性 | 端到端瓶颈在哪 |
| 软件 | 指令选择与调度 | 编译器、OS、运行时 | 指令数、系统调用 | 谁把硬件用满 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 门延迟 | 约 10–50 ps | 先进节点,随扇出与连线上升 |
| 时钟频率 | 3–5 GHz | 桌面与服务器常见上限 |
| CPI | 1–4 | 取决于程序与微架构 |
| L1 命中 | 约 1 ns | 约 3–5 个周期 |
| DRAM 延迟 | 80–120 ns | 约 200–300 个周期 |
| NVMe 随机读 | 10–100 µs | 比 DRAM 慢 100–1000 倍 |
| 同机房 RTT | 0.1–0.5 ms | 受协议栈与拥塞影响 |
| 跨地域 RTT | 30–100 ms | 受光速与路由影响 |
这些数字只表示数量级。不同代际、频率、虚拟化和负载会改变结果,不应直接当作 SLA。
3 实践
3.1 最小示例
# 先确认 ISA,再看微架构,最后看程序把哪一层用满。
uname -m
lscpu | sed -n '1,20p'
# cycles 与 instructions 的比值给出 IPC;cache/branch miss 指向停顿来源。
perf stat -e cycles,instructions,cache-misses,branch-misses ./app
uname -m 回答“这是什么 ISA”。lscpu 回答“这颗芯片的核、缓存、NUMA 和频率”。perf stat 回答“程序实际把时间花在哪一层”。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 看 ISA | uname -m | x86_64、aarch64、riscv64 |
| 看拓扑 | lscpu、lscpu -e | 核、线程、缓存、NUMA |
| 看设备树 | lstopo --of console | 缓存与设备层级 |
| 看 NUMA | numactl --hardware | 节点、内存、距离 |
| 看频率 | cpupower frequency-info | 当前与可用频率 |
| 看停顿 | perf stat | cycles、instructions、miss |
| 看硬件 | dmidecode | 内存、主板、固件 |
3.3 标准流程
- 固定负载与输入,建立延迟与吞吐基线。
- 计算 CPI 与 IPC,判断是“指令多”还是“每指令慢”。
- 看 cache miss、branch miss、TLB miss、NUMA 远程比例。
- 只改瓶颈层,一次只改一个变量。
- 用同一负载复测,确认瓶颈是否转移。
3.4 与相邻技术的组合
- OS:调度、亲和性、NUMA 绑定决定线程落在哪颗核。
- 编译器:
-O2、向量化、内联改变指令数与访存模式。 - 网络:协议栈、RSS、offload 决定端到端延迟。
- 存储:队列深度与介质决定 IOPS 与尾延迟。
3.5 选型维度
| 负载 | 首选 | 备选 | 关键指标 |
|---|---|---|---|
| 通用服务 | x86-64 | ARM64 | 单核性能、生态 |
| 云原生 | ARM64 | x86-64 | 能效、核数、成本 |
| 嵌入式 | ARM64、RISC-V | x86 | 功耗、实时性、工具链 |
| 向量/矩阵 | GPU | SIMD CPU、NPU | 带宽、算力、显存 |
| 固定算法 | ASIC | FPGA | 量产成本、灵活性 |
| 小批量专用 | FPGA | GPU | 上市时间、功耗 |
3.6 决策规则
- 先问“瓶颈在第几层”,再问“换哪一层最便宜”。
- 单线程延迟敏感:看频率、缓存、分支预测,不只看核数。
- 吞吐敏感:看核数、内存带宽、I/O 队列。
- 能效敏感:看每瓦性能,ARM 与加速器通常更优。
- 生态敏感:x86 的兼容性仍是默认选项。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 通用 CPU | 生态、灵活性 | 能效、峰值算力 | 大多数服务 |
| GPU | 高带宽、大规模并行 | 编程模型、数据搬运 | 训练、图形、向量 |
| FPGA | 可重构、低延迟 | 开发成本、频率低 | 网络、原型、小批量 |
| ASIC | 最优能效与成本 | NRE 高、周期长 | 量产、固定算法 |
| SoC | 集成、低功耗 | 外设固定 | 移动、嵌入式 |
3.8 何时不该用
- 不要在没有基线时换硬件:先测量,再决定。
- 不要用主频比较不同微架构:IPC 与缓存同样重要。
- 不要为内存密集型负载加 CPU:瓶颈在带宽或 NUMA。
- 不要用 GPU 处理小数据:搬运与启动开销会吃掉收益。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| CPU 100% 但 IPC 低 | 缓存、分支或依赖停顿 | perf stat 看 stall,优化数据布局 |
| 频率上不去 | 功耗、温度或电源策略 | cpupower、sensors、BIOS |
| 多核扩展差 | 一致性、伪共享、锁竞争 | perf c2c、分片、绑核 |
| 内存延迟主导 | 工作集超过 LLC | 分块、压缩、减少随机访问 |
| 加速器利用率低 | 数据搬运或同步开销 | 批处理、流水线、减少 PCIe 往返 |
| 虚拟机性能抖动 | %steal、超卖 | 绑核、隔离、换规格 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 不 profiling 就加机器 | 成本上升,瓶颈不变 | 先测 CPI 与 miss |
| 把 ISA 当微架构 | 误判性能差异 | 同 ISA 比较微架构 |
| 只看主频 | 忽略 IPC 与缓存 | CPU time = IC × CPI × T |
| 忽略内存墙 | 算力被访存拖住 | 提升算术强度、分块 |
4.3 可观测信号
perf stat 的 IPC、cache-miss、branch-miss;perf c2c 的缓存行竞争;mpstat 的 %usr/%sys/%steal;iostat -x 的 await/aqu-sz;numastat 的本地/远程;cpupower frequency-info 的降频;turbostat 的频率与功耗。
4.4 安全 / 性能 / 一致性边界
- 数量级不是 SLA:延迟数字随代际、频率、虚拟化变化。
- 抽象会漏:Spectre 与 Meltdown 证明微架构状态可以被软件观测。
- 虚拟化:容器与 VM 的“核数”不等于独占,
%steal会污染基准。 - 基准代表:微基准只测一个维度,不能替代真实负载。