1 / 4概念
Failure Signatures
读懂本页后,你能在十分钟内把一条症状匹配到“哪一层、看什么证据、先做什么”,并知道哪种相邻机制会让签名失效。签名把初判标准化,但它的作用是缩小范围,不是替代取证。
1 概念
1.1 一句话定义
故障签名是一类失败在特定层留下的可重复证据组合,由触发条件、决定性证据与排除项三部分构成,用来把症状快速映射到机制而不是映射到某个组件。
1.2 它解决什么问题
- 初判速度:值班同学不必从零推导,先按签名走第一条分支。
- 口径统一:同一症状在不同人嘴里叫法不同,签名给出共同语言。
- 减少误判:签名自带排除项,挡住“看起来像”的相邻机制。
- 自动化:签名可写成规则,从指标、日志与探针结果里自动匹配。
- 复盘沉淀:每次故障都往目录里补一条或修正一条。
- 交接:runbook 与告警文案可以直接引用签名编号。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 系统化排障流程与取证顺序 | Troubleshooting Method |
| 指标定义、SLO 与告警设计 | Network Metrics |
| 抓包过滤器与 pcap 分析 | Packet Capture |
| 逐跳延迟与 PMTU 探测 | Path and Latency |
| DNSSEC 验证链与区文件操作 | DNSSEC and DNS Operations |
| 证书签发与 TLS 协议细节 | Certificate Operations / TLS |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| signature | 一组能唯一指向某类机制的证据 | 不是根因本身 |
| 决定性证据 | 缺少它就无法定案的观测 | 不是辅助日志 |
| 排除项 | 与签名相似但机制不同的情形 | 不是免责声明 |
| 误报 | 证据匹配但机制不符 | 不是漏报 |
| 首因 | 最早出现的异常,而非最响的那个 | 不是影响最大的 |
| 复现窗口 | 能稳定看到该症状的时间段 | 不是采样间隔 |
| 方向性 | 失败发生在去程还是回程 | 不是客户端/服务端 |
| 层归属 | 失败首次被引入的协议层 | 不是最后报错的层 |
2 机制
2.1 心智模型
一个签名 = (层,触发条件,决定性证据,排除项)。它回答“哪类机制被触发了”,而不是“哪个组件坏了”。组件会换,机制不会。
2.2 机制拆解
- 三个来源:协议规范的必然行为(RST、ICMP 差错)、实现细节(SYN 队列、conntrack 超时、端口范围)、部署形态(代理、NAT、anycast、双出口)。
- 证据三元组:客户端现象、网络证据、服务端证据。三者缺一就不能定案,因为同一现象可由两端任一侧制造。
- 同症状多根因:超时既可能来自丢包,也可能来自后端慢。区分点是服务端有没有对应请求日志,而不是客户端等了几秒。
- 方向性:RST 的 TTL 能区分由本机协议栈生成还是远端设备生成;抓包方向能区分请求没出去与回应没回来。
- 排除项的价值:签名最容易被相邻机制仿冒。写出排除项,等于提前回答“为什么不是那个”。
- 组合症状:两个签名同时出现时,先找共同上游(DNS、NAT、出口、证书),不要并行排查两个独立假设。
- 签名会过期:平台升级、代理更换、云厂商行为变化都会新增或改写签名,目录需要版本与复核日期。
2.3 完整枚举
下列签名覆盖本页范围内的常见网络故障,每条都给出层、决定性证据与首个动作。
| 签名 | 层 | 决定性证据 | 首个动作 |
|---|---|---|---|
| DNS SERVFAIL | 应用(名称) | dig 返回 SERVFAIL,权威侧可达 | 查权威与 DNSSEC 验证,再看递归 |
| DNS 超时 | 应用(名称) | dig 无响应,换公共递归仍超时 | 查 53 端口策略与出网 |
| MTU 黑洞 | 网络/链路 | 小包通、大包不通,DF 包被丢 | 二分探测 PMTU,收紧 MSS |
| SYN 被丢 | 传输 | 客户端重发 SYN,服务端无记录 | 查安全组、backlog、SYN cookies |
| 建立后 RST | 传输/应用 | RST 的 TTL 与来源方向明确 | 两端抓包,查空闲超时与崩溃 |
| TLS 握手失败 | 应用(加密) | ClientHello 后有 Alert 或无响应 | 查证书链、SNI、协议与套件 |
| 代理 502 | 应用 | 后端连接失败或响应不合法 | 查后端存活、端口与协议 |
| 代理 504 | 应用 | 后端超过读超时 | 查后端耗时、队列与超时配置 |
| UDP 被阻断 | 传输 | 只有去程包,无 ICMP 或回包 | 查策略与 NAT,必要时改 TCP |
| 路由不对称 | 网络 | 两端路径不同,单方向丢包 | 双端探测,查策略路由与回程 |
| conntrack 满 | 网络(主机) | 插入失败计数上升,新连接被丢 | 扩表、缩短超时、查异常连接 |
| 临时端口耗尽 | 传输(主机) | 建连失败,端口占用接近上限 | 复用连接、扩端口范围、查泄漏 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| SERVFAIL 重试 | 通常 2 次 | 递归失败后转下一个服务器 |
| 以太网 MTU | 1500 字节 | 常见隧道下更小 |
| 可通的最大 ICMP 负载 | 1472 字节 | 1472 + 8 + 20 = 1500 |
| SYN 重试 | 6 次,约 127 秒 | 远大于业务超时 |
| RST 生成时延 | 立即 | 不作为慢的指标 |
| TLS Alert | 40、70、112 等 | 分别是握手失败、协议版本不匹配、SNI 不识别 |
| UDP NAT 映射空闲 | 30–180 秒 | 无心跳时映射会过期 |
| conntrack 上限 | 65536 至 262144 | 视内核与发行版 |
| Linux 临时端口 | 约 28232 个 | 默认 32768–60999 |
3 实践
3.1 最小示例
一次采集把八类签名需要的证据都取回来,输出贴进工单即可初判。
h=api.example.com
dig +tries=1 +time=2 "$h" A | grep -E 'status|SERVER'
curl -sS -o /dev/null -w 'dns=%{time_namelookup} conn=%{time_connect} tls=%{time_appconnect} ttfb=%{time_starttransfer} code=%{http_code}\n' "https://$h/"
openssl s_client -connect "$h:443" -servername "$h" -brief </dev/null
ping -M do -s 1472 -c 1 -W 1 "$h" || echo 'pmtu_lt_1500'
ss -s | sed -n '1,2p'
# 一次实际匹配
dns=0.003 conn=0.000 tls=0.000 ttfb=0.000 code=000 -> 建连即失败,不是应用慢
openssl: connect: Connection refused -> 签名 = 端口未监听或被 REJECT
ping 1472 失败 -> 只能说明 PMTU 可能更小,需二分
# 首个动作:查目标端口监听与安全组,而不是查证书或 DNS
3.2 常用操作与参数
| 签名 | 命令 | 判读 |
|---|---|---|
| DNS 失败 | dig +tries=1 +time=2 @<ns> <name> | 换权威与递归各试一次 |
| 名称是否存在 | dig +short <name> 与 dig SOA | 区分 NXDOMAIN 与无记录 |
| 端口可达 | nc -vz -w3 <host> <port> | refused 与 timeout 分开 |
| SYN 是否到达 | 服务端 tcpdump 'tcp[tcpflags] & tcp-syn != 0' | 无 SYN 则丢在上游 |
| RST 来源 | 抓包看 RST 的 TTL 与方向 | TTL 接近对端则远端生成 |
| 证书与协议 | openssl s_client -brief | 看版本、套件、验证结果 |
| 代理错误 | 代理日志与 upstream 状态 | 502 与 504 的根因不同 |
| 路径 MTU | tracepath <host> | 直接报出 PMTU |
| conntrack | conntrack -S 与 sysctl net.netfilter | 看插入失败与上限 |
| 端口占用 | ss -s 与 ss -tan state time-wait | 接近端口范围要扩容 |
3.3 标准流程
- 用一句话描述症状:哪条路径、哪个动作、什么时间、什么错误码。
- 采集三元证据:客户端现象、网络证据、服务端证据,缺一不可。
- 匹配签名:先在 2.3 里找层与证据都对得上的那一行。
- 过排除项:逐条确认相邻机制不成立,写下“为什么不是”。
- 执行首个动作:只做签名指定的那一件事,观察是否改变现象。
- 验证并归档:用对照组复测,把新签名或修正写回目录。
3.4 与相邻技术的组合
- Troubleshooting Method:签名给出起点,流程保证取证顺序不乱。
- Network Metrics:指标负责发现异常时段与范围,签名负责解释机制。
- Packet Capture:签名的决定性证据常常就是一份抓包。
- Path and Latency:路由不对称与 MTU 黑洞要靠逐跳数据确认。
- DNSSEC and DNS Operations:SERVFAIL 的具体成因常落在验证链上。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 症状类别 | 不通 / 慢 / 断 / 错 | 决定先查哪一层 |
| 观测面 | 客户端 / 网络 / 服务端 | 决定证据可得性 |
| 证据成本 | 命令 / 日志 / 抓包 | 决定初判时长 |
| 自动化 | 人工 / 规则 / 平台 | 决定一致性与覆盖率 |
| 误报代价 | 高 / 低 | 决定是否加排除项 |
3.6 决策规则
- 连接直接被拒 → 端口未监听或被 REJECT,先看监听与安全组。
- 连接超时且无 SYN 到达 → 丢在上游,查路由、策略与 NAT。
- 小包通、大包挂 → 直接按 MTU 黑洞处理。
- 握手成功但立刻 RST → 两端抓包,先查空闲超时与进程崩溃。
- 502 → 后端连接失败;504 → 后端太慢,两者的第一动作不同。
- 错误集中在单一客户端网段 → 查该网段出口与 NAT。
- 全站同时失败且 DNS 正常 → 查入口与证书,不要从客户端查起。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 签名目录 | 快、可交接、可自动化 | 需要维护与复核 | 值班与告警 |
| 完整排障流程 | 严谨、覆盖新问题 | 慢 | 复杂或首次故障 |
| 自动化诊断 | 一致、可批量 | 规则覆盖有限 | 高频已知问题 |
| 全链路追踪 | 归因精确 | 成本高、覆盖窄 | 应用内部问题 |
3.8 何时不该用
- 故障形态从未见过,签名库里没有匹配项。
- 多个签名同时命中且互相矛盾,说明上游还有未发现的问题。
- 平台刚做完大改,旧签名的证据链已失效。
- 只匹配到层、匹配不到机制时,仍需回到排障流程。
- 高误报代价的场景,不应仅凭签名自动执行修复。
4 边界
4.1 典型故障
| 症状 | 误判 | 实际根因 | 区分证据 |
|---|---|---|---|
| RST 出现 | 被防火墙拒绝 | 应用 accept 后关闭、代理超时 | RST 的 TTL 与两端时间线 |
| SERVFAIL | 权威服务器挂了 | 递归到权威的路径被阻断 | 直连权威查询是否成功 |
| 逐跳丢包 | 链路质量差 | 路由器 ICMP 限速 | 后续跳是否继续丢 |
| 502 | 后端进程崩溃 | 端口或协议不匹配 | 后端是否有连接记录 |
| 建连超时 | 网络丢包 | backlog 满或 SYN cookies | 服务端半连接与溢出计数 |
| 全站慢 | 带宽不足 | DNS 解析退化 | 分段耗时中解析占比 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 只凭一个证据定案 | 误判相邻机制 | 补齐三元证据 |
| 签名当根因写进复盘 | 下次遇到仍不会判断 | 记录机制与排除过程 |
| 目录长期不复核 | 证据链过期,误导值班 | 标注复核日期 |
| 多个签名并行排查 | 注意力分散、结论互斥 | 先找共同上游 |
4.3 可观测信号
签名目录本身的健康度看三项:命中率(多少告警能匹配到签名)、误报率(匹配后被排除项推翻的比例)、平均初判时长。业务侧则看签名与最终根因的一致率;一致率下降说明平台变了而目录没变。每条签名都应有复核日期与负责人。
4.4 安全 / 性能 / 一致性边界
- 安全:签名与证据常含内部地址与拓扑,外发前应裁剪。
- 性能:自动化匹配会带来额外采集与计算开销,应按需启用。
- 一致性:同一签名在不同环境(云上、自建、容器)证据形态不同,需分环境维护。
- 时效:签名是对历史故障的归纳,新故障类型必然漏报。
- 责任:签名只支持初判,最终结论仍需可复现的证据链。