1 / 4概念
Packet Capture
读懂本页后,你能为一次故障选对抓包点、写出足以复现问题的过滤器、把文件控制在可保留的规模,并从握手与 RST 里读出方向与责任方。抓包不是“先抓了再想”,而是用最小代价验证一个已经写下来的假设。
1 概念
1.1 一句话定义
抓包是在某个观测点上把经过的帧连同时间戳复制下来,再用离线工具按协议字段过滤、重组与比对,从而回答“包有没有到、以什么顺序到、被谁终结”。
1.2 它解决什么问题
- 偶发问题无法复现:先挂上带轮转的抓包,等故障自己出现。
- 需要证明包到底到没到:只有抓包能给出方向性证据。
- 时序问题:重传、乱序、窗口变化与 RST 的先后顺序,指标看不出来。
- 责任划分:两端同时抓包,才能说明丢在哪一段。
- 对外举证:云厂商、运营商与设备厂商通常只认 pcap。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 先定性再取证的排障流程 | Troubleshooting Method |
| 逐跳延迟与路径 MTU | Path and Latency |
| 指标、SLO 与告警设计 | Network Metrics |
| TLS 协议与密钥体系 | TLS |
| 应用日志与分布式追踪 | Network Metrics |
| 内核旁路与高性能采集 | 本库暂不覆盖 |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| capture point | 抓包所在的物理或逻辑位置 | 不是抓包命令本身 |
| snaplen | 每个包最多保存的字节数 | 不是 MTU,不影响过滤判断 |
| promiscuous | 接收非本机 MAC 的帧 | 交换机端口仍只给本端口流量 |
| BPF filter | 内核里生效的抓包过滤器 | 不是显示过滤器,后者在用户态 |
| ring buffer | 内核与用户态之间的环形缓冲 | 不是磁盘上的轮转文件 |
| offload | 网卡聚合与分段,抓到的包形态失真 | 不是丢包 |
| drop counter | 内核因缓冲不足丢弃的包数 | 不是链路丢包 |
2 机制
2.1 心智模型
抓包结果 = 观测点能看到的流量 ∩ 过滤器留下的流量 ∩ 缓冲装得下的流量。三个条件任一失效,得到的文件都会骗人。
2.2 机制拆解
- 观测位置:驱动收包后、协议栈处理前是最常见的抓包点;它看到的是“到达网卡”的样子,不代表应用已经读到。
- 过滤时机:BPF 程序挂在套接字上,在拷贝到用户态之前丢弃不匹配的包,因此过滤器越严,开销越小。
- 截断:snaplen 只影响保存长度。截断后无法重组 payload,但足够看标志位、选项与握手。
- 缓冲与写盘:内核缓冲不足或用户态写盘慢时,内核直接丢包,计数出现在结束时打印的
dropped by kernel。 - 轮转:按大小或时间切文件并限制份数,让抓包可以长时间挂在生产上而不撑满磁盘。
- offload 失真:TSO/GRO/LRO 会让抓到的“包”大于 MTU、校验和错误,而这些包并未真的以该形态上线。
- 时间戳来源:默认取自系统时钟;跨机比对前应确认 NTP/PTP 状态,否则差值里混着时钟偏差。
- 解密:TLS 1.3 可用客户端
SSLKEYLOGFILE或服务端密钥材料还原明文;没有密钥时只能看握手与记录层长度。
2.3 完整枚举
抓包点决定了证据的边界,下列位置覆盖了常见环境里的全部选择。
| 抓包点 | 能看到 | 看不到 | 手段 |
|---|---|---|---|
| 主机物理网卡 | 本机进出流量 | 其他主机、交换机内部 | tcpdump -i eth0 |
| 回环接口 | 本机进程间流量 | 任何出网流量 | tcpdump -i lo |
| 容器 netns | 容器内看到的流量 | 宿主机 NAT 之后的样子 | nsenter -n tcpdump |
| 宿主机 veth | 容器与外部之间的转发 | 容器内环回 | tcpdump -i vethXXXX |
| any 伪接口 | 所有已绑定接口的并集 | 统一的链路层头语义 | tcpdump -i any |
| 交换机 SPAN | 指定端口或 VLAN 的镜像 | 被硬件丢弃的包 | 镜像口加抓包主机 |
| 网络 TAP | 链路上的全部帧 | 交换机内部转发 | 光或电 TAP |
| 云流量镜像 | 指定网卡的流量 | 未被镜像规则命中的路径 | 云厂商镜像会话 |
| eBPF 采集 | 内核事件与套接字层数据 | 线缆上的原始帧 | bpftrace、pwru |
| 应用侧代理 | 解析后的请求与响应 | 重传与握手细节 | Envoy、NGINX 日志 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 握手所需 snaplen | 96–128 字节 | 只看头部时足够 |
| 保存 payload 的 snaplen | 0(不限) | 体积由过滤器与流量决定 |
| 内核缓冲 | 默认 2 MiB,可调大 | 高包速率下必须加 |
| 轮转文件 | 100 MB × 10 份 | 约 1 GB,适合短期挂载 |
| 单文件可分析规模 | 数百 MB | 再大应先用过滤器裁剪 |
| 时间戳精度 | 微秒,可切纳秒 | 跨机比对看时钟源 |
| 可接受的丢包计数 | 0 | 非零即证据不完整 |
3 实践
3.1 最小示例
# 1) 建一个只允许属主读写的目录
sudo install -d -m 700 /var/tmp/cap
# 2) 长时间挂载:截断 256 字节、8 MiB 缓冲、100 MB x 10 份轮转
sudo tcpdump -i eth0 -n -s 256 -B 8192 -C 100 -W 10 \
-w /var/tmp/cap/443.pcap \
'tcp port 443 and (tcp[tcpflags] & (tcp-syn|tcp-fin|tcp-rst) != 0)'
# 3) 复现之后用显示过滤器读 RST,不必重抓
tshark -r /var/tmp/cap/443.pcap -Y 'tcp.flags.reset == 1' \
-T fields -e frame.time_relative -e ip.src -e tcp.srcport -e tcp.dstport -e tcp.seq
# 同一个文件里的握手与 RST
0.000000 10.0.0.5:51234 > 10.0.0.9:443 Flags [S] seq 1001
0.031204 10.0.0.9:443 > 10.0.0.5:51234 Flags [S.] seq 7001 ack 1002
0.031411 10.0.0.5:51234 > 10.0.0.9:443 Flags [.] ack 7002
0.412900 10.0.0.9:443 > 10.0.0.5:51234 Flags [R.] seq 7002
# 握手 31 ms 完成,412 ms 后由服务端方向发出 RST -> 查服务端与中间盒的空闲超时
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 选接口 | tcpdump -D | 列出接口与编号 |
| 限定主机端口 | host 10.0.0.9 and port 443 | 先窄后宽 |
| 只抓 SYN | tcp[tcpflags] & tcp-syn != 0 | 配合小 snaplen |
| 只抓 RST | tcp[tcpflags] & tcp-rst != 0 | 定位主动终结方 |
| 限制长度 | -s 128 | 省内存与磁盘 |
| 调大缓冲 | -B 16384 | 单位为 KiB |
| 按大小轮转 | -C 100 -W 10 | 100 MB 一份,共 10 份 |
| 读文件再过滤 | tcpdump -r f.pcap 'port 443' | 不重复抓 |
| 显示过滤 | tshark -Y 'tcp.analysis.retransmission' | 语法与 BPF 不同 |
| 文件信息 | capinfos f.pcap | 包数、时长、文件大小 |
3.3 标准流程
- 先写下要证伪的假设:是没到、被拒,还是到了但慢。
- 选观测点:优先两端同抓,至少一端加中间设备计数。
- 估算体积:峰值带宽 × 时长 ÷ 平均包长,算出缓冲与轮转份数。
- 写最小过滤器:主机、端口与必要标志位,不轻易放 payload。
- 设 snaplen 与权限:只读目录、属主 700、必要时降权运行。
- 抓包期间同步记录应用时间线与请求 ID。
- 收工先看
capinfos与丢包计数,再分析;按保留策略脱敏与删除。
3.4 与相邻技术的组合
- Troubleshooting Method:抓包属于验证阶段,不是第一步,需先有假设。
- Path and Latency:先测逐跳,再把抓包点放在可疑一跳的两侧。
- Network Metrics:指标给出异常时段,抓包给出机制。
- TLS:需要解密时,keylog 与密钥管理属于安全边界。
- Kubernetes:容器抓包要进对应 netns,或在宿主机 veth 抓转发。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 观测点 | 主机 / 容器 / 交换机 / 云端镜像 | 决定证据范围与盲区 |
| 目的 | 连通性 / 时序 / payload / 解密 | 决定 snaplen 与过滤器 |
| 时长 | 分钟 / 天 | 决定轮转与磁盘预算 |
| 流量规模 | 低包速率 / 高包速率 | 决定缓冲与是否采样 |
| 权限 | root / 受限容器 / 无权限 | 决定可用工具 |
3.6 决策规则
- 只判断连接是否建立 → 只抓标志位,snaplen 96。
- 需要看协议内容 → snaplen 0,同时加主机与端口过滤。
- 问题数小时才出现一次 → 环形轮转加触发式停止,不要盯终端。
- 容器环境 → 进 netns 抓,或在宿主机 veth 抓转发。
- 加密流量 → 先确认能否取得密钥,再决定是否值得抓。
- 高包速率生产链路 → 用镜像加采样,禁止全量写盘。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| tcpdump | 到处都有、开销可控 | 分析靠手工 | 服务器现场 |
| tshark | 解析深、显示过滤强 | 更吃内存 | 离线分析 |
| 交换机 SPAN | 不影响主机 | 需要网络设备权限 | 设备侧问题 |
| 云流量镜像 | 无需登录实例 | 费用与配置成本 | 云上偶发 |
| eBPF 采集 | 低开销、可关联进程 | 只看到套接字层 | 定位到进程 |
3.8 何时不该用
- 没有具体假设就全量抓包,产出的文件通常没人读。
- 链路上有凭据或个人数据,且没有脱敏与保留方案时。
- 只想知道整体是否变慢,指标更便宜。
- 故障在应用逻辑内,抓包只能证明包到了。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 结束时报告 dropped by kernel | 缓冲不足或写盘太慢 | 调大 -B、缩小 snaplen、加严过滤器 |
| 抓到的包大于 MTU、校验和错误 | TSO/GRO 等 offload 生效 | 在 ingress 抓或临时关 offload |
| 容器内抓不到任何包 | 抓在了宿主机默认 netns | 进容器 netns 或改抓 veth |
| 只看到一个方向 | 镜像单向、路由不对称 | 换抓包点或两端同抓 |
| pcap 结尾损坏 | 进程被杀或磁盘写满 | 预留空间、坚持轮转 |
| 与对端时间戳差几百毫秒 | 两台机器时钟未同步 | 核对 NTP/PTP 后重算 |
| 解密失败 | 缺会话密钥或抓包不含完整握手 | 从握手开始抓并配 keylog |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 无过滤器全量抓 | 磁盘与内存被打满 | 先限定主机与端口 |
| 明文 pcap 长期留在生产机 | 凭据与个人数据泄露 | 加密存储、限期删除 |
| 用 root 把文件写到 /tmp | 权限过宽、谁都能读 | 700 目录并降权 |
| 只看抓包不看应用时间线 | 无法判断责任方 | 两端证据加请求 ID |
4.3 可观测信号
先读 capinfos 的包数、时长与文件大小,再读 tcpdump 结束行里的 captured、received by filter、dropped by kernel 三个数。分析时看握手时延、重传比例、RST 比例与零窗口出现次数。抓包自身的健康度也要看:丢包计数非零时,任何“没看到”都不能作为结论。
4.4 安全 / 性能 / 一致性边界
- 安全:pcap 可能含 Cookie、Authorization、明文口令与个人数据;keylog 等价于解密能力,应按最高等级保护。
- 性能:抓包消耗 CPU、内存与磁盘 IO;snaplen 与过滤器是最有效的两个旋钮。
- 一致性:单个抓包点是抽样,offload 与时钟偏差会让它偏离线缆上的真实流量;跨端比对才能确定方向。
- 合规:留存期限、访问审计与脱敏流程应在抓包之前确定,而不是事后补。