1 / 4概念
Runtime: Memory Layout and Allocation
同一台机器上,一个 C 进程看到的是被内核与加载器摆好的地址空间:代码、只读数据、已初始化数据、零初始化数据、堆、共享库、栈和每线程的 TLS 各占一段。C 只规定四种存储期,不规定这些段怎么排;分配器在段之上再切一层,malloc 的契约只有一条,返回适合任何类型的对齐,其余全是实现细节。读懂这一层,才能解释为什么空闲内存涨、为什么 free 之后 RSS 不降、为什么多线程分配会卡在锁上。
1 概念
1.1 一句话定义
内存布局是进程地址空间里各段的划分与生长方向;分配是在这些段上按请求切出对象、并在释放后把空间还给分配器或内核的过程。C 规定存储期与对象生命周期,操作系统与 libc 规定段和分配器。
1.2 它解决什么问题
- 生命周期:自动、静态、线程、动态四种存储期对应四种释放责任。
- 空间复用:堆让对象的大小与数量在运行期决定,而不是编译期固定。
- 隔离:栈与 TLS 按线程划分,避免共享与同步。
- 大块映射:
mmap绕过堆,直接向内核要页,适合一次性大缓冲。
代价是没有 GC,泄漏、碎片、越界都靠工具与纪律发现;分配器为了速度会保留空闲内存,RSS 因此不等于活跃数据。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 类型对齐、填充、位域布局 | c-types-and-memory |
| 符号、ELF 段与装载 | c-linking-and-loading |
| 栈帧与 ABI 寄存器 | c-object-model-and-abi |
| 线程创建、同步与原子 | c-threads-and-atomics |
C++ 的 new、RAII 与分配器 | cpp-memory-allocation |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 段 | ELF 中按权限合并的连续映射 | 不是节 |
| 存储期 | 对象存活的时间段 | 不是作用域 |
| 栈帧 | 一次函数调用在栈上的区域 | 不是栈的全部 |
| 堆 | 分配器管理的区域 | 不一定是连续的一段 |
| arena | 分配器为线程划分的堆 | 不是内核概念 |
| chunk | glibc 的管理单位,含头部 | 不是用户块 |
| 内部碎片 | 分配块大于请求的部分 | 不是未分配的空洞 |
| 外部碎片 | 空闲块太小无法满足请求 | 不是泄漏 |
| TLS | 每线程一份的静态存储 | 不是 pthread_key_t |
2 机制
2.1 心智模型
C 只承诺生命周期,不承诺位置。 变量在栈上还是寄存器里、堆从 brk 还是 mmap 来,都是实现选择。能依赖的只有四条:自动对象在块结束时失效,静态对象活到进程结束,线程对象每线程一份,动态对象的寿命由 free 决定。分配器的目标不是省内存,而是在多数负载下把分配与释放做成近似常数时间。
2.2 机制拆解
- 地址空间与权限:x86-64 Linux 上,非 PIE 可执行文件从
0x400000开始,PIE 与共享库随机映射;brk堆在数据段之后向上长,mmap区在栈下方往下长,栈从高地址向下长;.text只读可执行,.rodata只读,.data占文件空间,.bss不占文件空间并在装载时清零;/proc/self/maps是唯一权威视图。 - 栈:每次调用压入返回地址与保存的寄存器,再为局部变量留空间;SysV 有 128 字节红区;
ulimit -s默认 8 MiB;栈边界有 guard page,溢出即 SIGSEGV;VLA 与alloca在运行期移动栈指针。 - 静态与线程存储:静态对象在装载时分配,
const且值已知的进.rodata;_Thread_local每线程一份,静态 TLS 在创建线程时按块分配,动态 TLS 通过__tls_get_addr访问。 malloc契约:返回对齐到max_align_t的块;free(NULL)无操作;calloc清零并检查总大小的乘法溢出;realloc可能搬移也可能原地扩展;free之后的指针立即失效,值不会自动清零。- glibc 分配器:每个块前面有 8 字节大小字段,低 3 位是标志;最小块 32 字节、可用 24 字节;小块走 tcache 与 fastbins,中等块走 smallbins 与 largebins,大块走 unsorted,超大块直接
mmap。 - 阈值与调参:默认
mmap阈值是 128 KiB,free后超过M_TRIM_THRESHOLD才可能归还;mallopt(M_MMAP_THRESHOLD, n)与MALLOC_*环境变量可改;malloc_trim(0)主动归还 top 之上的页。 - 多线程:主线程用主 arena,其它线程按需创建 arena,上限默认是 8 乘核数,每个 arena 有自己的锁;争用高时分配变慢,线程缓存分配器把锁拆得更细。
- 对齐分配:
aligned_alloc要求大小是对齐的整数倍,posix_memalign要求对齐是 2 的幂且不小于sizeof(void *),malloc只保证max_align_t。 mmap:按页映射,普通页 4 KiB;MAP_PRIVATE | MAP_ANONYMOUS得到零页;madvise(MADV_DONTNEED)归还物理页但保留虚拟地址;munmap同时归还两者。- 碎片:内部碎片来自取整到 size class 与最小块,外部碎片来自释放顺序把大块切成不能再合并的小块;长期存活的小对象与短命大对象混在一个 arena 会同时放大两类碎片。
- 泄漏分类:valgrind 把泄漏分成 definitely、indirectly、possibly lost 与 still reachable;只有前两类一定是缺陷,后两类要按设计判断。
2.3 完整枚举
Linux x86-64 进程的地址空间由十一类区域组成:
| 区域 | 内容 | 权限 | 生命周期 |
|---|---|---|---|
| text | 机器码、PLT、.init/.fini | r-x | 进程全程 |
| rodata | 字符串字面量、const 表、展开信息 | r-- | 进程全程 |
| data | 已初始化的全局与静态变量 | rw- | 进程全程 |
| bss | 零初始化的全局与静态变量 | rw- | 进程全程 |
| tdata | TLS 的初始化模板 | rw- | 每线程一份 |
| tbss | TLS 的零初始化模板 | rw- | 每线程一份 |
| heap | malloc 的小块与主 arena | rw- | 由 free 决定 |
| mmap 匿名区 | 大块分配、线程栈、共享内存 | rw- | 由 munmap 或 free 决定 |
| 共享库映射 | 各 DSO 的 text、rodata、data | r-x/r--/rw- | 从装载到卸载 |
| stack | 主线程栈与各线程栈 | rw- | 线程全程 |
| vdso 与 vvar | 内核提供的快速系统调用与数据 | r-x/r-- | 进程全程 |
3 实践
3.1 最小示例与追踪
示例同时展示最小块、碎片、malloc_trim 与 mmap 阈值:
#define _GNU_SOURCE
#include <malloc.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
int main(void)
{
enum { N = 1000, SZ = 1024 };
static void *v[N];
for (int i = 0; i < N; i++)
v[i] = malloc(SZ);
for (int i = 0; i < N; i += 2)
free(v[i]); /* 留下 500 个 1 KiB 空洞 */
void *mid = malloc(64 * 1024); /* 空洞装不下,扩展 top */
memset(mid, 1, 64 * 1024);
printf("fordblks %zu -> ", mallinfo2().fordblks);
malloc_trim(0);
printf("%zu\n", mallinfo2().fordblks);
free(mid);
void *big = malloc(300 * 1024); /* 超过阈值,走 mmap */
free(big);
return 0;
}
cc -std=c17 -g -O0 alloc.c -o alloc
strace -e trace=brk,mmap,munmap ./alloc 2>&1 | tail -4
/usr/bin/time -v ./alloc 2>&1 | grep 'Maximum resident'
$ strace -e trace=brk,mmap,munmap ./alloc
brk(0x55b6c1e4b000) = 0x55b6c1e4b000
mmap(NULL, 311296, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f3a2c000000
munmap(0x7f3a2c000000, 311296) = 0
追踪:用 malloc_usable_size 查一个 1 字节请求会得到 24 字节,因为 glibc 的最小 chunk 是 32 字节,头部占 8 字节,差额就是内部碎片。500 个 1 KiB 空洞彼此被占用的块隔开,拼不出 64 KiB 连续空间,分配器只能扩展 top,于是 RSS 上涨而 fordblks 不降。malloc_trim(0) 只归还 top 之上的页,搬不动中间的空洞,所以 fordblks 只下降被裁掉的那一段。300 KiB 请求超过默认 mmap 阈值,glibc 直接映射一段匿名内存,free 时立刻 munmap,strace 里成对出现;这段内存从不进入 arena,也就不会变成碎片。
3.2 选型矩阵
| 场景 | 选择 | 理由 | 代价 |
|---|---|---|---|
| 命令行小工具、启动即退出 | 系统 malloc | 零依赖,生命周期短 | 不针对高并发优化 |
| 多线程服务、尾延迟敏感 | jemalloc、tcmalloc 或 mimalloc | 线程缓存减少锁争用 | 额外内存与调试复杂度 |
| 固定大小对象、高频创建 | 对象池或 slab | 常数时间,无碎片 | 生命周期要自己管 |
| 一次性大缓冲 | mmap | 立即归还,不污染堆 | 页粒度浪费 |
| 无 MMU 的嵌入式 | 静态池或 TLSF | 可预测,无系统调用 | 容量固定 |
| 实时路径 | 启动时预分配 | 无锁、无缺页 | 内存上限固定 |
| 只读常量表 | 静态 const 数组 | 进 .rodata,可共享 | 长度编译期固定 |
3.3 决策规则
- 每次
malloc都检查 NULL,错误路径统一goto cleanup,不要在失败分支里继续分配。 - 分配与释放放在同一层,接口用 create/destroy 配对,谁分配谁释放写进注释。
- 热路径上先算好大小、批量分配;不要在循环里反复
realloc。 - 需要超过
max_align_t的对齐时用aligned_alloc或posix_memalign,不要手工把指针向上取整。 - 大块、一次性用
mmap;小块、频繁用堆;固定大小用池。 - 泄漏门禁放进 CI:只在测试构建开启 ASan/LSan 或 valgrind,发布构建不开。
4 边界
4.1 典型故障
| 症状 | 根因 | 诊断 | 修复 |
|---|---|---|---|
| RSS 持续上涨但 valgrind 没有 definitely lost | 碎片或 arena 缓存未归还 | malloc_info、mallinfo2 看 fordblks | 分池、malloc_trim,或换分配器 |
free(): invalid pointer | 释放非 malloc 指针、重复释放,或越界写坏头部 | MALLOC_CHECK_=3、ASan | 所有权唯一,边界检查 |
malloc 返回 NULL 后被解引用 | 未检查 OOM,或 calloc 总大小溢出 | 检查返回值与参数乘积 | 统一失败路径,改用 calloc |
栈溢出 SIGSEGV 且 bt 很长 | 递归过深或大 VLA | ulimit -s、bt、-fstack-usage | 改堆分配或改迭代 |
多线程下分配变慢,perf 显示锁热点 | arena 争用 | perf record -g、malloc_stats | 线程缓存分配器或每线程池 |
dlopen 后访问 TLS 崩溃 | 静态 TLS 块耗尽,回退到动态模型 | LD_DEBUG=all、看 errno | 减少 _Thread_local,或改用 pthread_key |
大块 free 后内存不降 | 块来自 arena,或 mmap 阈值被调高 | strace 看 munmap、/proc/self/smaps | 调 M_MMAP_THRESHOLD,或 malloc_trim |
| 释放后仍能读到旧值 | free 不清零,块被复用 | ASan 的 use-after-free 报告 | 释放后置空,敏感数据先清零 |
4.2 可观测信号
映射看 /proc/self/maps 与 pmap -x,页级占用看 /proc/self/smaps 的 RSS 与 PSS,堆内部看 malloc_info、malloc_stats 与 mallinfo2,分配峰值看 valgrind 的 massif 或 heaptrack,系统调用看 strace -e brk,mmap,munmap。判断泄漏先分类再看增长曲线,判断碎片先比较 fordblks 与实际存活量。
4.3 安全 / 性能 / 一致性边界
- 安全:
free后使用、双重释放、越界写是三大堆漏洞;分配器的元数据就在用户块旁边,一次越界足以改写下一个块的头部。 - 性能:分配次数比总字节数更影响延迟;跨线程释放、缺页、
calloc清零都是实打实的成本。 - 一致性:
malloc(0)可返回 NULL 或唯一指针,realloc(p, 0)是实现定义,malloc_usable_size是扩展,跨平台代码不能依赖这些细节。