1 / 4概念
Path and Latency
读懂本页后,你能用逐跳探测把端到端 RTT 拆成传播、排队与串行化三部分,识别路径不对称与 ICMP 限速造成的假丢包,并判断问题在本地出口、在中间网络还是在目标侧。
1 概念
1.1 一句话定义
路径与延迟测量用逐跳探测和连续采样,回答三件事:延迟加在哪一段、丢包从哪一跳开始、去程与回程是否走同一条路。
1.2 它解决什么问题
- 延迟归属:跨城访问比同城慢 20 毫秒,是传播距离还是队列排队,需要证据。
- 责任举证:给运营商或云厂商报障时,需要指出哪一跳之后开始劣化。
- 绕行发现:国内两点之间绕到境外再回来,RTT 会比地理距离应有的值高一个量级。
- MTU 黑洞:小请求正常、大响应卡住,只有路径探测能定位。
- 变更验证:改动路由策略、专线或 anycast 之后,路径与 RTT 是否如预期。
没有逐跳视角,端到端 RTT 只是一个总数,无法指认责任段。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 带宽、BDP 与吞吐模型 | Bandwidth, Latency and Loss |
| 指标口径、SLO 与告警 | Network Metrics |
| 抓包点选择与过滤器语法 | Packet Capture |
| BGP 选路与路由策略 | Routing and BGP |
| ICMP 类型与 NAT 行为 | ICMP and NAT |
| 应用内部耗时分解 | Fault Tolerance & Observability |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| hop | 路径上的一台三层设备 | 不等于物理链路数 |
| TTL | 跳数上限,逐跳递减 | 不是超时时间 |
| time exceeded | TTL 归零时路由器回的 ICMP | 不是丢包证据 |
| 传播延迟 | 信号在介质中飞行的时间 | 不是处理时间 |
| 排队延迟 | 包在出口队列等待的时间 | 不是串行化时间 |
| 串行化延迟 | 把包放到链路上所需的时间 | 大包小包不同 |
| 不对称 | 去程与回程路径不同 | 不等于单向故障 |
| 路径 MTU | 沿途最小 MTU | 不是接口 MTU |
| ECMP | 按哈希在多条等价路径间分流 | 不等于负载均衡 |
2 机制
2.1 心智模型
端到端 RTT = Σ 逐跳传播 + Σ 逐跳排队 + Σ 串行化与处理,去程与回程各算一遍。traceroute 的每一跳都是一次新探测,得到的只是抽样,不是同一条流的真实经历。
2.2 机制拆解
- TTL 递减与回报:包每过一台三层设备 TTL 减一,归零时该设备回 ICMP time exceeded。因此第 N 跳的 RTT 是“到该设备往返”,而不是“到目标”。
- 三种探测包:UDP 高端口、ICMP echo、TCP SYN。三种在防火墙与 NAT 上的通行性差别很大,探测不通不代表业务不通。
- RTT 增量:逐跳 RTT 应大致单调上升。某跳突增而其后的跳回落,通常是该设备控制面慢或路径在该跳改变,而不是链路劣化。
- 不对称:去程与回程可能因策略路由、anycast 或对等互联而不同。traceroute 只测“去程路径加上回程 ICMP”,两端各跑一次才能看到全貌。
- 逐跳丢包:若第 N 跳丢 30% 而后续各跳不丢,基本是该设备对 ICMP 限速;若从第 N 跳起持续丢失到目标,才是真实丢包段。
- 排队与丢包的区分:延迟抖动大而丢包少是队列;丢包随 RTT 同步上升是拥塞丢弃;固定比例丢包且 RTT 平稳更像策略或链路误码。
- ECMP:不同 TTL 的探测可能哈希到不同成员,同一跳出现多个地址或不同 RTT 属正常现象。
- 路径 MTU 探测:置 DF 位递增负载,收到 ICMP fragmentation needed 即得到下一跳 MTU;ICMP 被过滤时表现为黑洞,只能靠二分摸索。
2.3 完整枚举
逐跳探测的手段是固定的一组,差别在于探测包、能穿过的策略与能看到的中间信息。
| 手段 | 探测包 | 中间设备回报 | 能看到 | 盲区 |
|---|---|---|---|---|
| UDP traceroute | 高端口 UDP | ICMP time exceeded | 逐跳地址与 RTT | UDP 常被策略阻断 |
| ICMP traceroute | ICMP echo | ICMP time exceeded | 逐跳地址与 RTT | ICMP 常被限速 |
| TCP traceroute | SYN 到指定端口 | ICMP time exceeded | 能穿过多数防火墙 | 目标可能直接回 RST |
| paris-traceroute | 保持五元组一致 | ICMP time exceeded | 同一流的真实路径 | 工具与权限成本 |
| mtr | 周期 ICMP 或 TCP | ICMP time exceeded | 逐跳丢包率、抖动、多地址 | 短故障易被平均掉 |
| tracepath | UDP 加 PMTU | ICMP 差错 | 路径与 MTU | 依赖 ICMP 回传 |
| ping 网格 | ICMP echo | 无 | 端到端 RTT 基线 | 看不到中间跳 |
| 合成探测 | HTTP 或 TCP | 无 | 用户视角可用性 | 无逐跳信息 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 光纤传播延迟 | 约 4.9 微秒/公里 | 真空 3.3,光纤折射率约 1.47 |
| 每 1000 公里单向 | 约 4.9 毫秒 | 对应 RTT 约 9.8 毫秒 |
| 跨省 RTT | 10–35 毫秒 | 取决于是否绕行 |
| 跨洋 RTT | 150–250 毫秒 | 海缆加落地段 |
| 路由器 ICMP 限速 | 1–100 包/秒 | 制造逐跳假丢包 |
| mtr 默认探测间隔 | 1 秒 | 短时抖动容易被平均掉 |
3 实践
3.1 最小示例
# 1) 逐跳统计:10 秒、每秒一个探测、不解析域名
mtr -rwzc 20 -i 1 -c 10 203.0.113.10
# 2) 用 TCP 443 探测,绕过对 ICMP 与 UDP 的过滤
sudo traceroute -T -p 443 -n -q 3 -w 1 203.0.113.10
# 3) 二分找路径 MTU:从 1472 字节负载往下试
for s in 1472 1400 1300 1200; do
ping -M do -s "$s" -c 1 -W 1 203.0.113.10 >/dev/null 2>&1 \
&& { echo "payload $s ok"; break; } || echo "payload $s fail"
done
# mtr 输出的读法(省略列)
1. 10.0.0.1 0.4% 0.6 0.5 0.7
2. 100.64.0.1 0.0% 3.1 3.0 3.4
3. 203.0.113.10 12.0% 31.0 30.2 88.4
# 第 3 跳同时丢包与抖动 -> 排队或拥塞;若它只是中间跳且后续不再丢,则是限速假象
3.2 常用操作与参数
| 操作 | 命令 | 判读 |
|---|---|---|
| 逐跳统计 | mtr -rwzc 20 <host> | 看丢包与抖动从哪跳开始 |
| TCP 探测 | traceroute -T -p 443 <host> | 绕过 ICMP 过滤 |
| 指定源地址 | traceroute -s <src> <host> | 验证多出口与策略路由 |
| 路径 MTU | tracepath <host> | 自动报出 PMTU |
| 二分探测 | ping -M do -s <size> | 需 DF 位与 ICMP 回传 |
| 端到端基线 | ping -c 20 <host> | 看抖动与丢包 |
| 双端对比 | 在目标侧反向跑一次 | 判断不对称 |
3.3 标准流程
- 写下目标与预期:到哪、期望 RTT 多少、由地理距离还是 SLA 推出。
- 先取端到端基线:ping 与一次应用层计时,确认现象与量级。
- 跑逐跳:优先 mtr 连续采样,ICMP 不通时换 TCP。
- 定位段:找 RTT 首次明显偏离与丢包首次持续出现的那一跳。
- 判性质:抖动主导是排队,丢包主导且 RTT 平稳是策略或误码,两者同时上升是拥塞。
- 查不对称:在目标侧反向探测,对比两端的路径与 RTT。
- 做 MTU 探测并记录;把结论与基线数字一起入库,供下次对照。
3.4 与相邻技术的组合
- Packet Capture:逐跳定位到段之后,在可疑一跳两侧抓包确认丢包方向。
- Troubleshooting Method:timeout 类问题先用路径测量缩小范围,再决定取证点。
- Network Metrics:路径数据是低频抽样,指标给出持续趋势,两者互为对照。
- Routing and BGP:路径突变常由选路变化引起,需查路由与对等关系。
- ICMP and NAT:PMTU 探测依赖 ICMP 差错回传,NAT 与防火墙会拦截。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 协议可用性 | ICMP 通 / 只通 TCP / 只通 UDP | 决定探测手段 |
| 目标 | 单主机 / 网段 / 多地域 | 决定采样点数量 |
| 时长 | 一次 / 持续 | 决定用 traceroute 还是 mtr |
| 关注点 | 延迟 / 丢包 / MTU / 路径变化 | 决定参数与判读方式 |
| 观测位置 | 客户端 / 服务端 / 第三方探针 | 决定能看到的方向 |
| 权限 | 可发原始包 / 仅普通用户 | 决定能否用 TCP 与 DF |
3.6 决策规则
- ICMP 探测全无回应 → 换 TCP SYN,不要直接判定目标不可达。
- 某跳丢包但后续跳正常 → 判为 ICMP 限速,不报障。
- 从某跳起持续丢包到目标 → 该段真实丢包,优先查链路与拥塞。
- RTT 抖动大而丢包少 → 查队列与带宽利用率。
- 两点 RTT 远高于地理距离下限 → 查绕行与 anycast 落点。
- 小包通、大包不通 → 先做 PMTU 探测,再考虑 MSS clamp。
- 只有单向异常 → 两端反向探测,确认是不对称还是单向阻断。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| ICMP traceroute | 无需特权、通用 | 常被过滤与限速 | 内网与友好路径 |
| TCP traceroute | 穿透性好 | 需原始套接字权限 | 公网与严格防火墙 |
| mtr 连续采样 | 有丢包率与抖动统计 | 单点视角,间隔粗 | 定位劣化段 |
| 合成探测 | 贴近用户视角 | 无逐跳细节 | 可用性与 SLA |
| 抓包时间线 | 最精确 | 成本高、覆盖窄 | 已锁定单段 |
3.8 何时不该用
- 目标是应用内部慢,路径数据无法解释。
- 只有一次探测结果,就把它当路径的稳定画像。
- 高抖动来自本机 CPU 或虚拟化 steal,先排除主机侧。
- 逐跳数据用于容量规划,它测的是延迟不是带宽。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 中间跳显示高丢包,目标却正常 | 路由器对 ICMP 限速 | 忽略该跳,看后续跳 |
| 逐跳 RTT 出现负增量 | ECMP 不同成员或时钟偏差 | 多次采样,按地址分组 |
| 两端 RTT 差异巨大 | 去程与回程不对称 | 双端探测,查策略路由 |
| PMTU 探测无回应 | ICMP 差错被过滤 | 二分探测或查 MSS clamp |
| 探测全超时而业务可用 | 探测包被策略丢弃 | 换 TCP 端口探测 |
| 小包正常、大响应挂起 | MTU 黑洞 | 收紧 MSS 或修 PMTUD |
| RTT 稳定但吞吐上不去 | 带宽或窗口限制 | 转带宽与 BDP 分析 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 用单次 traceroute 定论 | 抽样被当成事实 | mtr 多次采样 |
| 拿逐跳丢包直接报障 | 误判限速设备 | 看丢包是否延续 |
| 忽略不对称 | 只修一半路径 | 两端同时探测 |
| 用延迟数据推带宽 | 结论方向错误 | 单独做吞吐测试 |
4.3 可观测信号
逐跳 RTT 的中位数与标准差、目标处的丢包率、每跳的地址集合变化、探测包的 TTL 与响应类型。与应用侧 P99 对照,确认网络延迟是否足以解释用户感受。长期基线应保存“同一目标、同一时段”的历史,路径变化往往先表现为 RTT 台阶而不是丢包。
4.4 安全 / 性能 / 一致性边界
- 安全:逐跳探测会暴露内网拓扑,对外报障时应裁剪中间地址。
- 性能:探测本身产生流量与设备控制面负载,高频探测会被限速甚至触发防护。
- 一致性:探测反映的是探测时刻与探测五元组的路径,业务流可能哈希到另一条。
- 精度:RTT 是往返值,单向延迟只能推断;不对称时任何单向结论都需保留余量。