1 / 4概念
Encapsulation and MTU
这一页算清一条链路上“头占了多少、数据能有多大”。读完能由物理 MTU 推出内层 MTU 与 MSS,能判断大包失败是分片、黑洞还是隧道开销,也能在没有 ICMP 的网络里给出兜底配置。
1 概念
1.1 一句话定义
封装是把上层数据加上本层的头尾再交给下层;MTU 是链路层一次能承载的最大载荷,以太网通常 1500 字节;MSS 是 TCP 在给定 MTU 下能携带的最大应用数据量。
1.2 它解决什么问题
- 适配链路:不同链路能承载的帧大小不同,封装让大消息能走小链路。
- 提前切分:发送端按 MSS 分段,比让路由器分片更便宜、更可控。
- 发现路径上限:PMTUD 用探测找出端到端真正能过的尺寸。
- 隧道预算:每层封装都要占字节,预算表让内层 MTU 可计算而不是靠猜。
- 排障定位:“小包通、大包不通”是一个独立的故障类别,有固定证据链。
不处理这件事的代价是偶发失败:握手成功、上传卡死、SSH 登录后没有输出,而日志里没有任何错误。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 路由表、最长前缀与 BGP | Routing and BGP |
| TCP 重传、窗口与状态机 | TCP |
| IP 地址结构、CIDR 与子网 | IP Addressing and Subnets |
| GRE/IPsec/WireGuard 的协议细节 | Tunnels and VPN |
| VLAN 标签与二层转发 | ARP and VLAN |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| MTU | 链路层载荷上限,以太网 1500 | 不是帧总长,不含帧头与 FCS |
| MSS | TCP 载荷上限,IPv4 以太网常见 1460 | 不是路径 MTU,只是本端协商值 |
| PMTU | 端到端路径上最小的 MTU | 不是接口 MTU |
| PMTUD | 用 DF 包探测路径 MTU 的机制 | 不是分片,它避免分片 |
| 分片(fragmentation) | 把 IP 包拆成多个 IP 包 | 不是 TCP 分段,重组只在目的端 |
| 分段(segmentation) | 发送端按 MSS 切 TCP 数据 | 不产生多个 IP 包 |
| DF | IPv4 头里的“禁止分片”标志 | 不是 IPv6 的等价字段(IPv6 无此位) |
| 开销(overhead) | 每层头尾占用的字节 | 不只是带宽,还影响包转发率 |
| 黑洞 | 大包被静默丢弃且无 ICMP 反馈 | 不是链路断开 |
| GSO/GRO | 网卡的发送/接收分段卸载 | 抓包看到的包大小可能与线上不同 |
2 机制
2.1 心智模型
把链路想成一节车厢:MTU 是车门宽度。IP 包是货物,超过门宽只有两条路——拆开分几趟(分片),或者发货前就按门宽切好(分段)。端到端能过的最大尺寸由路径上最窄的那扇门决定,不是入口这扇。
隧道相当于把整节车厢再装进一个更大的箱子:箱子本身有壁厚,内层能用的空间因此变小。隧道叠得越多,壁越厚。
2.2 机制拆解
- 封装:应用消息按 MSS 切段,加 TCP 头成段,加 IP 头成包,加链路头尾成帧。
- IPv4 分片:路由器在必要时可分片,每片带同一标识、不同偏移;重组只在目的端,丢一片就要重传整个数据报。
- DF 位:置位后路由器不得分片,超 MTU 时回 ICMP type 3 code 4,并给出下一跳 MTU。
- IPv6 分片:中间路由器不分片,只有源端可分片;路径发现依赖 ICMPv6 Packet Too Big。
- PMTUD:发送端发 DF=1 的满长包,收到 PTB 就把 PMTU 下调并重试,直到不再收到。
- 黑洞:ICMP 被防火墙过滤时,探测没有回音,大包静默消失,表现为“能连但卡住”。
- MSS 协商:只在 SYN 里交换,值 = 出口 MTU − IP 头 − TCP 头,不随后续路径变化而更新。
- MSS clamping:隧道入口把通过的 SYN 的 MSS 改成内层 MTU − 40,让对端提前分段。
- 卸载:GSO/TSO 让内核生成超大“包”交给网卡切分,抓包看到 64 KB 的帧不代表线上真有。
2.3 完整枚举
| 封装 | 头部字节 | 尾部字节 | 备注 |
|---|---|---|---|
| 以太网 II | 14 | 4(FCS) | 另有 8 字节前导码与 12 字节帧间隙,不计入 MTU |
| 802.1Q VLAN | 4 | 0 | 插在源 MAC 之后,可叠加 |
| QinQ(802.1ad) | 8 | 0 | 两层标签,运营商常用 |
| IPv4 | 20 | 0 | 带选项最多 60 |
| IPv6 | 40 | 0 | 扩展头另计 |
| TCP | 20 | 0 | 带选项最多 60 |
| UDP | 8 | 0 | 固定 |
| ICMPv4 echo | 8 | 0 | ping 的载荷另算 |
| GRE | 4 | 0 | 带 key 或序号时为 8,外层 IP 另计 |
| VXLAN | 8 | 0 | 外层 UDP 8 + 外层 IP 20 + 内层以太网 14 |
| IPsec ESP(隧道模式) | 8 + IV | 填充 0–3 + 认证 12–16 | IV 与 ICV 长度由算法决定 |
| WireGuard | 16 | 16 | 4 字节类型 + 4 字节接收索引 + 8 字节计数器,尾部为认证标签 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 以太网 MTU | 1500 字节 | 公网与云上默认值 |
| IPv4 TCP MSS | 1460 字节 | 1500 − 20 − 20 |
| IPv6 TCP MSS | 1440 字节 | 1500 − 40 − 20 |
| IPv6 最小 MTU | 1280 字节 | 路径必须支持,低于此值不允许 |
| 巨型帧 | 9000 字节左右 | 需全路径一致,不能跨公网 |
| VXLAN 开销 | 50 字节 | 内层 MTU 1450,MSS 1410 |
| IPsec ESP 开销 | 50–80 字节 | 取决于算法与模式 |
| MSS clamp 常用值 | 1360–1400 | 隧道场景的保守起点 |
3 实践
3.1 最小示例
# 1. DF=1 探测路径 MTU:size + 8 ICMP + 20 IP 应等于目标 MTU
ping -M do -s 1472 -c 2 203.0.113.7 # 1500,公网常见值
ping -M do -s 1372 -c 2 203.0.113.7 # 1400,隧道内层起点
# 2. 看接口 MTU 与内核记住的路径 MTU
ip link show dev en0 | grep -o 'mtu [0-9]*'
ip route show cache 203.0.113.7
# 3. 隧道入口收紧 MSS,随 PMTU 自动计算
iptables -t mangle -A FORWARD -o vxlan0 -p tcp --tcp-flags SYN,RST SYN \
-j TCPMSS --clamp-mss-to-pmtu
VXLAN 下的 MTU 预算(物理链路 MTU 1500)
外层 IPv4 20 + 外层 UDP 8 + VXLAN 8 + 内层以太网 14 = 开销 50
内层 IP MTU = 1500 − 50 = 1450
内层 TCP MSS = 1450 − 20 − 20 = 1410
未收紧时对端仍按 1460 发:内层 IP 包 1500,外层 IP 包 1550 > 1500,
中间设备静默丢弃,表现是握手成功但大包不动。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 探测路径 MTU | ping -M do -s <size> <host> | size = 目标 MTU − 28(IPv4) |
| 看接口 MTU | ip link show | ip link set dev <if> mtu 1400 可临时改 |
| 抓 ICMP 不可达 | tcpdump 'icmp[icmptype] == 3' | 关注 code 4,即需要分片 |
| 看协商 MSS | ss -tin | 输出里的 mss: 字段 |
| 收紧 MSS | iptables … TCPMSS --clamp-mss-to-pmtu | 隧道与 NAT 网关常用 |
3.3 标准流程
- 列出路径上的每一段链路,记录 MTU,再按封装表累加开销算出内层 MTU,取最小值。
- 由内层 MTU 减 40 得到 TCP MSS,IPv6 同样减 40。
- 用 DF=1 的 ping 或
tracepath验证实际可过的尺寸。 - 在隧道入口与 NAT 网关配置 MSS clamp 作为兜底。
- 抓包确认没有分片、没有持续的 ICMP 需要分片。
- 把预算表写进网络文档,纳入变更评审。
3.4 与相邻技术的组合
- 隧道与 VPN:每一层封装都吃预算,叠加隧道要重新计算 MSS。
- QUIC:QUIC 自己按 1200 字节保守探测,避免依赖 IP 分片。
- TCP:MSS 只在握手时协商,路径中途变化不会被自动感知。
- 抓包:被丢的大包不会出现在抓包里,只能看到 ICMP 或 TCP 重传。
- 负载均衡:IPIP、DSR 等模式同样改变 MTU,需要一并核算。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 链路 MTU | 1500 / 9000 / 隧道内层 | 决定 MSS 与是否分片 |
| 分片策略 | 允许分片 / 一律 DF | DF 能暴露黑洞,但依赖 ICMP |
| 封装层数 | 0 / 1 / 2+ | 每层吃 8–60 字节 |
| ICMP 可见性 | 放行 / 过滤 | 过滤后 PMTUD 失效,必须 clamp |
| MSS 处理 | 端到端协商 / 入口 clamp | clamp 简单,但可能偏保守 |
3.6 决策规则
- 同一广播域内没有特殊需求:MTU 一律 1500,不要单独调大某一台。
- 路径上有任何隧道:入口做 MSS clamp,内层 MTU 按开销表算。
- 网络过滤 ICMP:必须 clamp,不能只依赖 PMTUD。
- IPv6 环境:放行 ICMPv6 type 2,否则大包必然黑洞。
- 抓包看到分片:先查 DF 与 MTU;隧道套隧道时每加一层重新算预算。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 端到端 PMTUD | 精确,不需要中间配置 | 依赖 ICMP 可达 | 可控网络、云上默认 |
| 入口 MSS clamp | 对 ICMP 黑洞免疫 | 隐藏真实 MTU,可能偏小 | 隧道、NAT 网关 |
| 固定保守 MSS | 几乎不会失败 | 吞吐略降,头部占比升高 | 移动网络、跨国链路 |
| IP 分片 | 不改端点 | 重组开销,丢一片全重传 | 遗留 UDP,应尽量避免 |
| 巨型帧 | 头部占比低,吞吐高 | 全路径必须一致 | 存储网络、同机房 |
3.8 何时不该用
- 不要依赖 IP 分片承载 TCP:MSS 协商已解决,分片只会放大丢包代价。
- 不要把巨型帧用到公网:任何一跳不支持就退回分片或直接丢包。
- 不要在加密隧道里只调外层 MTU 而不 clamp:内层仍按旧 MSS 发包。
- 不要用 ping 通就认定 MTU 正常:小包能过不代表大包能过。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 小包通、大包卡住 | PMTUD 黑洞,ICMP 被过滤 | 入口 clamp MSS,放行 ICMP type 3 code 4 |
| SSH 登录成功但无输出 | 大包被丢,交互小包正常 | 同上,先临时降 MTU 验证 |
| TLS 握手成功但上传失败 | 握手包小、数据包大 | 查 PMTU 与 clamp 配置 |
| 分片率高、重传多 | 各段 MTU 不一致 | 统一 MTU,按预算表重算 |
| 隧道内 ping 大包失败 | 封装开销未计入 | 按开销表降低内层 MTU |
| IPv6 大包全丢 | 无 ICMPv6 PTB 反馈 | 放行 ICMPv6 type 2 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只改一半设备的 MTU | 部分路径分片或丢包 | 一次改完一个广播域 |
| 关闭 PMTUD 图省事 | 大包黑洞难以定位 | 保留 DF,用 clamp 兜底 |
| 防火墙全禁 ICMP | PMTUD 与 traceroute 全失效 | 放行必要类型,限速而非全禁 |
| 用应用层分块弥补 MTU | 掩盖问题,效率更低 | 在网络层修正 MTU |
4.3 可观测信号
ip -s link 的 rx/tx errors 与 drops;nstat 的分片与重组计数;ss -tin 的 mss 与 retrans;抓包里的 frag 标志与 ICMP type 3 code 4;应用侧大请求失败率与小请求成功率的对比。最有说服力的信号是“同一接口大包全失败、小包全成功”。
4.4 安全 / 性能 / 一致性边界
- 安全:分片可被用于绕过检测,部分防火墙直接丢弃非首片;ICMP 不能全禁,但应限速。
- 性能:MSS 越小,头部占比越高;1500 MTU 下 TCP 有效载荷约占线上字节的 96%,隧道会再降几个点。
- 一致性:路径 MTU 随路由变化,缓存会过期,两端看到的 MTU 可能不同。
- 变更:MTU 是全局参数,改动应走变更流程并全路径验证,避免只改一端。