1 / 4概念
Troubleshooting Method
读懂本页后,你会把“打不开、很慢、偶发失败”这三种模糊描述收敛成一条可证伪的假设链。每一步只做一个能改变结论的实验,并在修复后用同一路径复测,而不是以“重启后恢复”收尾。
1 概念
1.1 一句话定义
排障方法是把一次失败的请求拆成“在哪一跳、哪一层、哪个方向、以什么形态失败”的有序问题链,并用成本最低的证据逐条排除假设。
1.2 它解决什么问题
- 症状混叠:用户说“服务挂了”,可能是 DNS 返回错误、端口未监听、中间盒丢包,也可能是后端慢。
- 证据昂贵:生产环境抓包要权限、要窗口,还要承担泄露凭据的风险。
- 层间甩锅:应用、负载均衡、网络、DNS 各自看到“我这边正常”,缺一条共享时间线。
- 修复不可验证:改完没复测,故障换个形态再回来。
没有统一方法,排障就退化为按经验猜,结论随人而变。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 抓包过滤器语法与抓包点选择 | Packet Capture |
| 逐跳 RTT、路径 MTU 与逐跳丢包 | Path and Latency |
| 指标口径、SLO 与告警阈值 | Network Metrics |
| 症状到根因的固定对照表 | Failure Signatures |
| TCP 状态机、重传与窗口 | TCP |
| 私网地址转换与连接跟踪 | ICMP and NAT |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| refused | 目标主机用 RST 明确拒绝连接 | 不是超时,包已经到达 |
| timeout | 探测或请求在预算内无任何回应 | 不等于包没到,可能回程被丢 |
| reset | 连接建立后收到 RST | 不等于服务端拒绝,可能中间盒代答 |
| blackhole | 某类包被静默丢弃且不回 ICMP | 不产生错误,只产生超时 |
| 观测点 | 抓包或计数所在的物理/逻辑位置 | 决定证据的方向性 |
| 对照组 | 与故障路径只差一个变量的第二条路径 | 不是重试同一个请求 |
| 失败形态 | refused / timeout / reset / slow 四类 | 是现象分类,不是根因 |
2 机制
2.1 心智模型
把一次请求想成一条串联链路,每一跳对包只做三件事:转发、改写、丢弃。排障就是二分:先用一个实验切掉“不可能的一半”,再在剩下的那一半里继续切。
2.2 机制拆解
- 形态定性:refused 说明包到达了某台主机并被主动拒绝;timeout 说明没有回应;reset 说明有设备主动终结;slow 说明链路可用,但某段时间预算被消耗。
- 包的旅程:DNS 解析 → 路由选出口 → 建连(SYN、SYN-ACK、ACK)→ TLS 握手 → 首字节 → 数据传输 → 关闭。时间预算按段分配,才能判断慢在哪一段。
- 方向性:去程与回程可能走不同路径、过不同策略。只在客户端抓包,无法区分“请求没出去”与“回应没回来”。
- 层间责任:L2/L3 看可达性,L4 看端口与连接状态,L5–L7 看协议语义与应用耗时。层选错,工具再对也白做。
- 证据强度:汇总指标最便宜但最粗,日志次之,内核计数器更细,抓包最贵也最直接。宜先用便宜证据排除大范围。
- 中间盒的存在:NAT、防火墙、负载均衡、代理都会改写或终结连接,它们制造的失败形态与主机故障高度相似。
- 可证伪:每个假设都应写成“若成立则应看到 X;若看到 Y 则假设不成立”。这条规则能挡住大部分自证。
2.3 完整枚举
四类失败形态覆盖了“请求没成功”的全部可观测表现,下表的细分是它们的组合形态。
| 形态 | 客户端现象 | 常见位置 | 决定性证据 | 首个实验 |
|---|---|---|---|---|
| refused(SYN 后 RST) | 立即失败,毫秒级 | 端口未监听、防火墙 REJECT | SYN 之后紧跟 RST/ACK | nc -vz 与 ss -lnt |
| connect timeout | 等到超时 | 静默丢弃、路由黑洞、安全组未放行 | 重发 SYN 无任何回应 | mtr 加抓 SYN |
| 建立后 RST | 请求中途断开 | 中间盒空闲超时、后端崩溃、keepalive 不匹配 | RST 的 TTL 与序号 | 两端同时抓包 |
| TLS 握手失败 | 建连成功但协议报错 | 证书链、SNI、协议版本、套件 | ClientHello 之后有 Alert | openssl s_client -brief |
| 首字节超时 | 连接空闲至读超时 | 后端慢、代理缓冲、请求未转发 | 服务端有无对应请求日志 | curl -w time_starttransfer |
| 传输慢 | 吞吐低于预期 | 丢包、窗口小、拥塞、串行化 | 重传率与 cwnd | ss -ti |
| 大包失败 | 小请求正常,大响应卡住 | MTU 黑洞、MSS 过大 | 带 DF 的包被丢弃 | ping -M do -s 1472 |
| 间歇失败 | 低频、随机 | ECMP 哈希不均、单实例故障、端口耗尽 | 失败与源端口或实例相关 | 按五元组分组统计 |
| UDP 无响应 | 请求发出无回包 | UDP 被策略阻断、NAT 映射过期 | 只有去程包 | 两端抓包比对 |
| DNS 失败 | 名字解析不出地址 | 递归超时、SERVFAIL、NXDOMAIN | dig 的 status 与 authority | dig +tries=1 +time=2 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 应用 connect 超时 | 2–5 秒 | 应小于上游总超时,逐层递减 |
| SYN 重试(Linux 默认) | 6 次,约 127 秒 | tcp_syn_retries,通常远大于业务超时 |
| 初始 RTO | 1 秒,下限 200 毫秒 | 指数退避 |
| DNS 单次查询超时 | 2–5 秒 | resolv.conf 的 timeout 与 attempts |
| TLS 1.3 握手 | 1 RTT | 1.2 需 2 RTT |
| TIME_WAIT | 约 60 秒 | 主动关闭方持有 |
| 同城 RTT | 1–3 毫秒 | 跨城 5–30 毫秒,跨洋 150–250 毫秒 |
3 实践
3.1 最小示例
一段按层取证的脚本:每步只回答一个问题,失败即停,把输出贴进工单。
#!/usr/bin/env bash
# 用法: ./trace.sh api.example.com 443
set -u
host=${1:?host}; port=${2:-443}
dig +tries=1 +time=2 "$host" A | grep -E 'status|ANSWER SECTION' -A1
ip route get "$(dig +short "$host" A | head -n1)"
timeout 3 nc -vz "$host" "$port"
curl -sS -o /dev/null -w 'dns=%{time_namelookup} conn=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer}\n' "https://$host/"
ss -s | sed -n '1,3p'
读数按段进行:time_namelookup 大说明解析慢;time_connect 大说明建连慢;time_appconnect 与 time_connect 之差是 TLS 握手;ttfb 与 time_appconnect 之差是服务端处理。
# 一次“慢”的分段读数(单位:秒)
dns=0.004 conn=0.031 tls=0.098 ttfb=0.412
# 解析与建连正常,握手 0.067,服务端首字节 0.314 -> 先查后端,不查网络
3.2 常用操作与参数
| 操作 | 命令 | 判读 |
|---|---|---|
| 解析 | dig +tries=1 +time=2 <name> | 看 status、ANSWER 段与 SERVER |
| 端口 | nc -vz -w3 <host> <port> | refused 与 timeout 含义不同 |
| 出口 | ip route get <ip> | 确认是否被策略路由改道 |
| 逐跳 | mtr -rwzc 20 <host> | 看丢包从哪一跳开始并延续 |
| 状态 | ss -tan state established | 看队列与连接数 |
| 重传 | ss -ti | retrans、cwnd、rtt 三列 |
| 握手 | openssl s_client -connect <h>:443 -servername <h> -brief | 协议、套件、证书链 |
| 计时 | curl -w '%{time_*}' | 分段耗时,替代“感觉慢” |
3.3 标准流程
- 把问题写成一句话:谁、从哪、到哪、做什么、什么时间窗、看到什么错误。
- 分层取证:名字、地址、端口、TLS、首字节,每层只做一个实验,失败即停。
- 定性失败形态,对应到 2.3 的一行,写下“应看到什么证据”。
- 选观测点:客户端、服务端、中间设备,至少两端同时取证以确定方向。
- 形成一个根因假设,并写出推翻它的观测结果,再决定是否需要抓包。
- 用最小变更修复,保留变更前后的同一组证据。
- 用同一路径加一条对照组复测,把结论与证据写进 runbook。
3.4 与相邻技术的组合
- Packet Capture:定性之后再用抓包证实,避免无假设的全量抓取。
- Path and Latency:timeout 类问题先用逐跳测量缩小到段,再决定在哪抓。
- Network Metrics:先看聚合指标是否普遍恶化,区分单请求与全局故障。
- Failure Signatures:症状熟悉时直接匹配签名,跳过重复取证。
- ICMP and NAT:涉及 PMTU 与连接跟踪时,需同时看 ICMP 与 conntrack 状态。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 失败形态 | refused / timeout / reset / slow | 决定第一个实验 |
| 观测点 | 客户端 / 服务端 / 中间盒 | 决定证据方向与可信度 |
| 环境 | 物理机 / 容器 / 托管云 | 决定可用工具与权限 |
| 时间预算 | 分钟级 / 小时级 | 决定先止损还是先定位 |
| 可复现性 | 必现 / 间歇 | 决定采样窗口与触发条件 |
| 权限 | 只读 / 可抓包 / 可变更 | 决定证据成本 |
3.6 决策规则
- 解析不出地址 → 先查 DNS,不要动网络设备。
- refused → 查监听与 REJECT 规则;timeout → 查路径与静默丢弃。
- 小包通、大包不通 → 直接做 PMTU 探测,不要先怀疑应用。
- 建立后立刻 RST → 两端同时抓包,比对 RST 的 TTL 与序号。
- 只有部分源地址失败 → 按五元组分组,怀疑 ECMP 与策略。
- 间歇故障 → 设触发条件后长时间采样,不做全量抓包。
- 全局同时恶化 → 先看变更与容量,再看单连接细节。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 分层命令行取证 | 无需部署、快、可复制 | 依赖操作者经验 | 单请求、必现问题 |
| 全量抓包 | 证据最完整 | 权限、存储与隐私成本 | 难复现的协议问题 |
| 合成探测 | 持续、可对比 | 只覆盖探测路径 | 全局可用性 |
| 应用 tracing | 能定位到代码与依赖 | 覆盖不到内核与中间盒 | 服务内部慢 |
3.8 何时不该用
- 没有任何假设就抓包,只会得到一份读不完的文件。
- 故障正在扩大时继续深挖根因,应先止损。
- 最近有变更且时间吻合时,先怀疑变更本身。
- 全局限流或容量打满时,单连接证据没有代表性。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 抓到 SYN 重传就判定链路丢包 | accept 队列满或 SYN cookies 生效 | 看 listen overflow 与半连接数 |
| 看到 RST 就判定被防火墙拒绝 | 应用 accept 后主动关闭、代理空闲超时 | 比对 RST 的 TTL 与两端时间线 |
| ping 通就认为端口可用 | ICMP 与 TCP 策略不同 | 直接探测目标端口 |
| 客户端超时但服务端有成功日志 | 响应路径被丢或代理读超时 | 两端同时抓包 |
| 某跳丢包就判定链路故障 | 路由器 ICMP 限速,后续跳正常 | 看丢包是否延续到目标 |
| 重启后恢复即结案 | 未验证根因,问题会复发 | 补齐证据与对照组 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 同时改多个变量 | 无法归因 | 一次只改一个变量 |
| 只留错误码不留时间戳 | 无法与其他系统对齐 | 记录请求 ID 与时间 |
| 用 ping 代替端口探测 | 误判可用性 | 直连目标端口 |
| 先调内核参数 | 掩盖真实丢包点 | 先取证再调参 |
4.3 可观测信号
有效的排障依赖三条时间线对齐:客户端的分段耗时与错误码、网络的连接与重传状态、服务端的访问日志与资源指标。它们应由同一个请求 ID 串起来,并记录时钟来源。每次修复都应在同一路径、同一时段、并加一条对照组复测;缺少对照组的“已恢复”只能算观察,不能算结论。
4.4 安全 / 性能 / 一致性边界
- 安全:抓包与 tracing 会带出凭据与个人数据,生产取证需授权并限定范围。
- 性能:抓包、跟踪与高频探测都有开销,应先估算再启用。
- 一致性:证据是抽样,间歇故障的结论只在给定窗口与路径上成立。
- 权限:容器与托管云常禁止内核级抓包,方法需适配实际可见范围。
- 相关性:时间重合只说明可疑,确认因果需要可重复的对照组。