1 / 4概念
Bits, Bytes and Layout
内存是字节数组,地址是下标。一个多字节对象如何摆进这个数组,由字节序、对齐与填充三条规则共同决定。读完能读懂十六进制转储,也能判断一段二进制格式为什么在另一台机器上解析错位。
1 概念
1.1 一句话定义
位是最小单位,字节是 8 位可寻址单元,字是 ISA 的自然宽度;布局规定多字节对象如何映射到地址与对齐边界。
1.2 它解决什么问题
- 数据交换:二进制协议与文件格式必须规定字节序与字段宽度,否则两端解析不一致。
- 对象布局:结构体的成员顺序、对齐与 padding 决定大小,也决定能否直接按字节读写。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 整数编码、溢出与定点 | Integer and Fixed-Point |
| 浮点格式与舍入 | Floating-Point |
| 虚拟内存、页表与地址空间 | ISA Address Space and Memory Model |
| 缓存行、一致性与伪共享 | Memory Hierarchy |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 字节序 | 多字节对象的字节排列顺序 | 不是位序 |
| 对齐 | 对象地址必须是其对齐值的倍数 | 不是“对齐到缓存行” |
| padding | 为满足对齐插入的空字节 | 不是有效数据 |
| 位域 | 用位宽声明成员的语法 | 布局由实现定义 |
| 未对齐访问 | 地址不满足类型对齐要求 | 不是“慢一点而已” |
2 机制
2.1 心智模型
把内存想成一个巨大的字节数组,每个字节有地址。一个 uint32_t 是连续 4 个字节,字节顺序由 endianness 决定,起始地址由对齐决定。字节内的位序与字节间的字节序是两个独立约定,不能混为一谈。
2.2 机制拆解
- 位与字节:8 bit 为 1 byte,一个十六进制位对应 4 bit;
0x1234占 2 字节,写作12 34。 - 字节序:小端把最低有效字节放在最低地址(x86、ARM 默认),大端相反(网络序、部分 PowerPC)。
- 位序:寄存器内通常把 LSB 编号为 0;协议文档常从 MSB 编号,引用前必须确认。
- 对齐与 padding:成员按自身对齐放置,编译器插入空字节,结构体大小是最大对齐的整数倍。
- 位域与序列化:位域布局由实现定义,不可跨编译器;协议字段应改用移位与掩码显式编码。
2.3 完整枚举
| 类型 | LP64 | ILP32 | LLP64 | 对齐 |
|---|---|---|---|---|
char | 1 | 1 | 1 | 1 |
short | 2 | 2 | 2 | 2 |
int | 4 | 4 | 4 | 4 |
long | 8 | 4 | 4 | 8 或 4 |
| 指针 | 8 | 4 | 8 | 8 或 4 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 页 | 4 KiB | 虚拟内存映射单位 |
| cache line | 64 B | 未对齐访问可能跨两行 |
| 以太网 MTU | 1500 B | 链路层载荷上限 |
3 实践
3.1 最小示例
#include <stdio.h>
#include <stdint.h>
#include <stddef.h>
struct s { char c; uint32_t v; uint16_t w; };
int main(void) {
uint32_t x = 0x01020304u;
unsigned char *p = (unsigned char *)&x;
for (size_t i = 0; i < sizeof x; i++) printf("%02x ", p[i]);
printf("\nsizeof=%zu offsetof(v)=%zu\n", sizeof(struct s), offsetof(struct s, v));
return 0;
}
在 x86-64 上输出 04 03 02 01、sizeof=12、offsetof(v)=4:字节序是小端,char 之后插入了 3 字节 padding。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 编译运行 | cc -std=c11 -g -Wall -o layout layout.c && ./layout | -g 供 pahole 读 DWARF |
| 看字节 | xxd -g1 file.bin | 每行 16 字节,带偏移 |
| 看十进制字节 | od -An -tx1 -v file.bin | 脚本里更好解析 |
| 看结构体布局 | pahole -C s ./layout | 显示 padding 与偏移 |
| 字节序转换 | htons、htonl、ntohs | 主机序与网络序互转 |
3.3 标准流程
- 在协议或文件格式里显式规定字节序、字段宽度与对齐。
- 代码用
stdint.h的固定宽度类型,不用int表达线上格式。 - 逐字段序列化,或对结构体加
_Static_assert(sizeof(struct s) == 12, ...)。
3.4 与相邻技术的组合
- 网络协议:IP 与 TCP 头一律大端,应用协议若自定二进制格式应显式声明字节序。
- 驱动与 MMIO:寄存器读写用固定宽度类型,
readl/writel已处理端序,不能直接解引用结构体。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 交换格式 | 文本 / 二进制 / IDL | 可读性与解析成本 |
| 字节序策略 | 固定小端 / 固定大端 / 带标记 | 跨平台一致性 |
| 对齐策略 | 自然对齐 / packed | 空间与访问速度 |
3.6 决策规则
- 线上格式与文件格式:字节序固定,不要跟随主机。
- 进程内结构体:自然对齐,不要用
#pragma pack图省事。 - 需要位级字段:用移位与掩码,不用位域。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 直接读写结构体 | 代码最短 | 布局依赖编译器与端序 | 单机临时文件 |
| 逐字段序列化 | 可移植、可校验 | 代码多 | 协议与持久化 |
| IDL 生成 | 跨语言、可演进 | 引入工具链 | 大型系统 |
3.8 何时不该用
- 不要把
#pragma pack(1)结构体当协议格式:未对齐访问在部分架构上会陷入异常。 - 不要用位域解析外部输入:位序与分配方向由实现定义。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 数值大小端颠倒 | 发送与接收的字节序不一致 | 协议固定网络序,收发都转换 |
| 结构体长度不符 | padding 或成员顺序变化 | 逐字段序列化并断言长度 |
| 未对齐访问崩溃 | ARM 严格对齐配置或 packed 结构体 | 用 memcpy 搬运到对齐变量 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
用 char 缓冲直接 memcpy 到结构体 | 对齐与端序都错 | 逐字段解析 |
把 int 当固定 32 位 | LP64 与 ILP32 不一致 | 用 int32_t |
| 依赖默认 padding | 布局随编译器变化 | _Static_assert 锁定 |
4.3 可观测信号
xxd 与 od 的字节转储;pahole 的偏移与空洞;_Static_assert 的编译期失败;ASan 与 UBSan 的未对齐与越界报告;不同架构上的同一份测试向量输出。
4.4 安全 / 性能 / 一致性边界
- 安全:字节序与长度字段是解析漏洞的高发点,字段必须做范围校验,不能信任报文声明的长度。
- 性能:未对齐访问可能跨 cache line,导致两次内存访问;packed 结构体在高频路径上尤其贵。
- 一致性:协议、文件格式与 ABI 各自固定字节序与对齐,跨层转换应由序列化层集中处理。