1 / 4概念
Memory Management
虚拟内存把每个进程看到的地址与物理内存解耦。没有它,隔离、按需加载、共享库和 overcommit 都不成立;读完能判断一次缺页是 minor 还是 major、内存上涨是泄漏还是 page cache、OOM 该看 RSS 还是 cgroup。
1 概念
1.1 一句话定义
虚拟内存是内核为每个进程维护的独立地址空间,由 MMU 通过页表把虚拟页映射到物理页框;物理内存由内核分配、回收、换出,并按需把页装入。
1.2 它解决什么问题
- 隔离:进程不能直接读写另一个进程的物理内存,越界触发缺页或保护错误。
- 按需加载:只把真正访问的页装入内存,程序启动不必等整个二进制读完。
- 共享与写时复制:共享库、
fork后的父子进程共享物理页,写入时才复制。 - 内存超额分配:进程可以保留比物理内存更大的地址空间,由内核在访问时兜底。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 进程/线程与调度 | Processes & Threads |
| 文件、page cache、fsync | File Systems |
| 阻塞/非阻塞、io_uring | I/O Models |
| CPU 缓存、TLB 硬件、NUMA 拓扑 | Hardware |
| JVM 堆与 GC | JVM Runtime |
| 容器内存限制与 OOM | Containers & Cloud Native |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| VA / PA | 虚拟地址 / 物理地址 | VA 不是指针的值本身 |
| PTE | 页表项,含物理页号与权限位 | 不是页目录项 |
| TLB | 地址翻译缓存 | 不是数据缓存 |
| VSS | 虚拟地址空间大小 | 不代表实际占用 |
| 缺页(page fault) | 访问的页不在内存或权限不符 | 不一定是错误 |
| RSS | 常驻物理内存(共享页重复计) | 不是独占内存 |
| PSS | 共享页按共享者数量分摊 | 更适合容器核算 |
| USS | 进程独占的物理内存 | 不含共享页 |
| Overcommit | 允许保留超过物理内存的地址空间 | 不是保证一定分配成功 |
| OOM killer | 内存耗尽时选择牺牲进程 | 不是唯一的内存回收手段 |
| THP | 透明大页,通常是 2 MiB | 不是显式 hugetlbfs |
2 机制
2.1 心智模型
地址翻译是一条缓存链:CPU 先查 TLB;命中就直接得到物理地址;未命中则走多级页表(每次可能再查缓存);页表项标记“不在内存”或权限不符时触发缺页,由内核决定补页、换入、复制还是报错。TLB 是页表的缓存,页表是虚拟内存的索引。
2.2 机制拆解
- 分页:把地址空间切成固定大小的页(通常 4 KiB),物理内存切成同样大小的页框;页表把虚拟页号映射到页框号,页内偏移不变。
- 多级页表:x86-64 常见 4 级(PGD/PUD/PMD/PTE;5 级时多一层 P4D),48 位虚拟地址;按需分配中间层,避免为整个地址空间维护一张大表。5 级页表把虚拟地址扩到 57 位。
- TLB:L1 通常 64–128 项,L2 上千项;上下文切换、
munmap、权限变更可能触发 TLB 失效,跨 CPU 还要发送 IPI 做 shootdown。 - 缺页处理:CPU 陷入内核 → 内核查 VMA 与页表 → 若是匿名页则分配零页或从 swap 读入;若是文件页则从 page cache 或磁盘读入;若是 COW 则复制;权限不符或地址非法则发信号。
- 分配器:内核用 buddy 分配器管理页框,用 slab/slub 管理小对象;用户态
malloc小块走brk/arena/tcache,大块走mmap;jemalloc/tcmalloc/mimalloc 用线程缓存和 size class 降低竞争。 - 回收:page cache 可回收,匿名页需 swap;
kswapd在低水位回收,直接回收会阻塞分配;cgroup v2 用memory.high节流、memory.max触发 OOM。 - 大页与 NUMA:THP 把连续 2 MiB 合并以减少 TLB 项;NUMA 下首次触碰决定页落在哪个节点,远程访问延迟更高。
2.3 完整枚举
缺页类型:
| 类型 | 触发条件 | 内核动作 | 典型信号 |
|---|---|---|---|
| Minor | 页已在内存/页缓存,但未建立当前进程映射 | 建立 PTE | 无 |
| Major | 页不在内存,需要读磁盘或 swap | 发起 I/O,睡眠等待 | 无(延迟高) |
| Copy-on-write | 写一个共享的只读页 | 复制新页,改 PTE 为可写 | 无 |
| Protection | 权限位不允许(写只读、用户访问内核页) | 拒绝访问 | SIGSEGV |
| Invalid | 地址不在任何 VMA 内 | 拒绝访问 | SIGSEGV |
分配接口:
| 接口 | 粒度 | 生命周期 | 适用 |
|---|---|---|---|
brk / sbrk | 字节,堆顶 | 进程内 | 小块、连续增长(malloc 内部) |
mmap 匿名 | 页 | 显式 munmap | 大块、独立映射 |
mmap 文件 | 页 | 显式 munmap | 文件随机读写、共享 |
shm_open + mmap | 页 | 显式 | 多进程共享内存 |
malloc / calloc / realloc | 字节 | free | 通用堆分配 |
alloca | 字节 | 函数返回 | 小临时缓冲,慎用 |
mmap + MAP_HUGETLB | 2 MiB / 1 GiB | 显式 | 大页、低 TLB miss |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 页大小 | 4 KiB | 大页 2 MiB / 1 GiB |
| x86-64 虚拟地址 | 48 位(4 级)/ 57 位(5 级) | 用户空间通常 128 TiB |
| TLB 命中 | 1–2 周期 | L1 TLB |
| TLB miss | 约 10–100 ns | 取决于页表是否在缓存 |
| DRAM 延迟 | 约 80–120 ns | NUMA 远程更高 |
| Minor fault | 约 1–3 µs | 建立映射、零页 |
| Major fault(SSD) | 约 100 µs 起 | 受 I/O 与调度影响 |
| Major fault(HDD) | 约 5–10 ms | 寻道 + 旋转 |
| 脏页回写阈值 | 10% / 20% | dirty_background_ratio / dirty_ratio |
| 脏页过期 | 30 s | dirty_expire_centisecs |
3 实践
3.1 最小示例
// 映射 1 GiB 匿名内存,逐页触碰;用 /usr/bin/time -v 看缺页。
#include <sys/mman.h>
#include <stdio.h>
int main(void) {
size_t len = 1UL << 30;
char *p = mmap(NULL, len, PROT_READ | PROT_WRITE,
MAP_PRIVATE | MAP_ANONYMOUS, -1, 0);
if (p == MAP_FAILED) { perror("mmap"); return 1; }
for (size_t i = 0; i < len; i += 4096) p[i] = 1;
printf("first byte = %d\n", p[0]);
munmap(p, len);
return 0;
}
cc -O2 touch.c -o touch
/usr/bin/time -v ./touch 2>&1 | grep -E 'Maximum resident|minor|major'
pmap -x $$ | tail -3
grep -E 'MemTotal|MemAvailable|Dirty|Writeback' /proc/meminfo
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 看进程映射 | pmap -x <pid> | 每段 RSS、脏页、swap |
| 看汇总 | cat /proc/<pid>/smaps_rollup | PSS、Shared、Private |
| 看系统内存 | vmstat -s、free -m | 区分 cache 与 available |
| 统计缺页 | perf stat -e page-faults ./app | 区分 minor/major 需更细事件 |
| 看 NUMA | numastat -p <pid> | 本地/远程页分布 |
| 看内核缓存 | slabtop -o | slab 增长 |
| 预取热路径 | madvise(MADV_WILLNEED) | 提前触发 I/O |
| 锁定内存 | mlock / mlockall | 受 RLIMIT_MEMLOCK 限制 |
| NUMA 绑定 | numactl --membind=0 | 本地优先或强制节点 |
3.3 标准流程
- 量工作集:RSS/PSS、缺页率、swap、page cache,先分清“泄漏”和“缓存”。
- 选分配策略:小块用 arena/tcache,大块或长期映射用
mmap,热路径预分配。 - 设上限:容器用
memory.max,服务用memory.high节流,避免直接 OOM。 - 对延迟敏感路径预触页(
MAP_POPULATE/madvise),减少运行期 major fault。 - 在压测中观察 OOM、THP、NUMA 远程比例和 TLB shootdown,再调参数。
3.4 与相邻技术的组合
- 进程/线程:线程栈、TLS 与共享地址空间决定切换成本;
fork依赖 COW。 - 文件系统:
mmap文件共享 page cache;fsync与回写决定持久化。 - I/O 模型:缺页会阻塞;异步 I/O 与预取可以减少等待。
- 硬件:TLB、cache line、NUMA 决定页大小与放置策略。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 分配大小 | 小 / 大 | 小块 malloc,大块 mmap |
| 生命周期 | 短 / 长 | 长期映射考虑大页与预分配 |
| 访问模式 | 顺序 / 随机 | 顺序用预取,随机用 page cache |
| 共享需求 | 单进程 / 多进程 | 共享用 shm + 同步 |
| 延迟敏感 | 是 / 否 | 预触页、mlock、避免 major fault |
3.6 决策规则
- 小块、短生命周期:
malloc/arena/tcache;不要每请求mmap。 - 大块、长期、对齐:
mmap匿名页;需要低 TLB miss 时评估大页。 - 文件随机读:
mmap或 page cache;流式读用read+ 预读。 - 多进程共享:
shm_open+mmap,配 futex/信号量。 - 延迟敏感:启动时预分配、预触页,必要时
mlock。 - 容器:
memory.max是硬上限,memory.high是节流线;两者都要监控。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
malloc(glibc) | 通用、生态成熟 | 多线程竞争、碎片 | 一般应用 |
| jemalloc / tcmalloc / mimalloc | 低竞争、低碎片 | 额外依赖、调参 | 高并发服务 |
mmap 匿名 | 独立、可按页释放 | 系统调用、页表开销 | 大块、长期 |
| 大页(THP/显式) | TLB 覆盖大、缺页少 | 内存浪费、延迟抖动 | 数据库、JVM、DPDK |
| 内存池 / slab | 分配可预测 | 需预估对象大小 | 高频小对象 |
mlock | 避免换出/缺页 | 受锁定量限制 | 实时、加密密钥 |
3.8 何时不该用
- 不要
mmap一个会被截断的文件:访问超出 EOF 的页会触发 SIGBUS。 - 不要无脑
mlock全部内存:会撞RLIMIT_MEMLOCK,也挤占系统缓存。 - 不要为了“省内存”关闭 overcommit:可能让
fork/大块分配直接失败。 - 不要只看 RSS 判定泄漏:共享页和 page cache 会误导;用 PSS/USS。
- 不要在延迟敏感服务里默认开 THP:合并与回收会带来抖动,先压测。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 进程被 OOM killer 杀死 | cgroup 上限或泄漏 | 查 memory.events,设 memory.high,修泄漏 |
| RSS 持续上涨但无泄漏 | page cache / slab 增长 | smaps_rollup、slabtop,区分可回收 |
| 系统卡顿、swap 频繁 | 工作集超过物理内存 | 降并发/加内存,评估 zswap |
| minor fault 很高 | 页表/TLB churn、频繁 mmap | 复用缓冲、大页、预触页 |
| 访问映射文件收到 SIGBUS | 文件被截断或磁盘满 | 不要 mmap 可变文件;处理信号 |
| 崩溃在 free/析构 | double free / use-after-free | ASan、valgrind、加固分配器 |
| 长期运行后分配变慢 | 碎片、arena 膨胀 | jemalloc、池化、限制 size class |
| NUMA 远程访问高 | 首次触碰在错误节点 | numactl、绑核、交错分配 |
| cgroup OOM 但宿主机空闲 | 容器内存上限 | 查 memory.current/max,调限额 |
| unmap 时延迟尖刺 | TLB shootdown | 批量释放、大页、减少跨核共享 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
每请求 malloc/mmap | 分配器竞争、页表抖动 | 池化、复用缓冲 |
mmap + MADV_DONTNEED 循环 | 反复缺页、I/O 放大 | 复用映射,按需回收 |
忽略 MAP_FAILED | 空指针写入崩溃 | 每次检查返回值 |
| 把 RSS 当独占内存 | 误判泄漏、超额分配 | 用 PSS/USS |
4.3 可观测信号
/proc/meminfo 的 MemAvailable、Dirty、Writeback;smaps_rollup 的 Rss/Pss/Private;vmstat 的 si/so;perf stat -e page-faults;numastat 的本地/远程比例;cgroup 的 memory.current、memory.events、memory.stat;dmesg 的 OOM 记录。
4.4 安全 / 性能 / 一致性边界
- 原子上下文:缺页可能睡眠,中断/自旋锁内不能触发;需预触页或使用
GFP_ATOMIC。 - 用户指针:内核必须用
copy_from_user/copy_to_user并校验长度,不能直接解引用。 - 策略不是保证:overcommit 成功不代表物理内存一定可得;OOM 是最后手段。
- 安全:ASLR、NX、guard page、W^X 与内存清零共同构成边界;不要把密钥留在可换出页。