1 / 4概念
Bandwidth, Latency and Loss
这一页把“网慢”拆成可测量的四项:距离决定的时延、管径决定的带宽、在途数据量决定的吞吐、丢包与排队决定的尾部。读完能用一组数字判断瓶颈在哪,而不是先加带宽再观察。
1 概念
1.1 一句话定义
带宽是单位时间能通过的比特数;时延是一个比特从 A 到 B 花的时间;丢包是未被送达的比例。三者互相独立,而用户体验由它们组合出的吞吐与尾延迟决定。
1.2 它解决什么问题
- 拆分“慢”:把主观感受换成 RTT、吞吐、丢包率、p99 四个可测的数。
- 算清在途量:用带宽延迟积判断窗口够不够,而不是盲目调参数。
- 解释上限:同一条链路单流慢、多流快,说明限制在窗口而非带宽。
- 容量规划:用峰值并发 × 单请求字节数推算带宽需求。
- SLO 设计:尾延迟决定用户体验,平均值会掩盖问题。
- 归因:区分传播时延(改不了)、排队时延(可治理)、丢包(可发现)。
不拆分的后果是决策失真:给跨洲链路加十倍带宽,用户仍要等 200 ms 的 RTT。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 拥塞窗口如何增长与回退 | Congestion Control |
| 逐跳丢包与不对称路径 | Path and Latency |
| 指标采集与告警设计 | Network Metrics |
| TCP 重传与状态机细节 | TCP |
| CDN 与边缘缓存策略 | CDN |
| 应用层缓存与失效 | HTTP Caching |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| RTT | 往返时延,发出到收到确认 | 不是单向时延,通常是其两倍 |
| OWD | 单向时延,需要时钟同步才能测 | 不是 RTT 的一半,路径可能不对称 |
| 带宽 | 链路的理论最大速率 | 不是吞吐,吞吐是实测结果 |
| 吞吐 | 单位时间实际送达的数据量 | 不是带宽,受窗口与丢包限制 |
| BDP | 带宽延迟积,路径上“在途”的字节数 | 不是缓冲区大小 |
| 抖动 | 时延的变化幅度 | 不是丢包,但常同时出现 |
| 丢包率 | 未送达包数占发送包数的比例 | 不是重传率,重传率还受拥塞影响 |
| 尾延迟 | p95/p99 等高分位时延 | 不是最慢的那一次 |
| 有效吞吐 | 扣掉重传与头部后的应用层字节率 | 不是链路速率 |
| 序列化时延 | 把一个包推上链路所需时间 | 不是传播时延 |
2 机制
2.1 心智模型
把路径想成一根水管:管径是带宽,管长是传播时延,水龙头是应用。要让水持续流出,管里必须先灌满一段水,这段水量就是 BDP。丢包相当于管子在漏,TCP 会把水龙头关小;排队相当于管尾被捏住,水压升高但流量不变。
距离决定了这根管子的最短长度,因此跨洲链路的 RTT 有物理下限;带宽只决定一次能推多少水,不决定水多久到。
2.2 机制拆解
- 四个时延分量:处理、排队、序列化、传播;只有传播由距离决定,其余都可治理。
- 序列化时延:包长除以带宽;1 KB 在 1 Gbps 上约 8 µs,在 100 Mbps 上约 80 µs。
- BDP:带宽乘以 RTT;1 Gbps × 100 ms = 12.5 MB,这是跑满链路所需的在途数据量。
- 窗口受限吞吐:约为窗口除以 RTT;窗口 1 MB、RTT 80 ms 时上限约 100 Mbps。
- 丢包受限吞吐:按 Mathis 近似与 1/√p 成正比,丢包从 0.01% 升到 1% 吞吐约降 10 倍。
- 抖动:时延的方差,实时业务用 jitter buffer 吸收,代价是增加端到端延迟。
- 排队与缓冲:队列越长,吸收突发能力越强,但排队时延也越高,这就是 bufferbloat。
- 尾延迟放大:一次请求打多个下游时,P99 会被最慢的那个下游与重试共同放大。
2.3 完整枚举
| 分量 | 决定因素 | 典型量级 | 是否随距离增长 |
|---|---|---|---|
| 处理时延 | 设备查表与转发路径 | 1–10 µs(硬件)/ 10–100 µs(软件) | 否 |
| 排队时延 | 拥塞程度与队列长度 | 0 到数百 ms | 否 |
| 序列化时延 | 包长 ÷ 链路带宽 | 1 KB @1 Gbps 约 8 µs | 否 |
| 传播时延 | 距离 ÷ 光速(光纤约 200 km/ms) | 同城 0.1–0.5 ms,跨洲 70–150 ms | 是 |
| 协议时延 | 握手、TLS、DNS 往返次数 | 1–6 个 RTT | 间接(RTT 放大) |
| 应用时延 | 处理、锁、下游调用、GC | 1 ms 到数秒 | 否 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 同机房 RTT | 0.1–0.5 ms | 主要来自交换机与序列化 |
| 同城 RTT | 1–3 ms | 城域光纤与少量排队 |
| 跨洲 RTT | 150–300 ms | 受光速与路由绕行限制 |
| 1 Gbps × 100 ms 的 BDP | 12.5 MB | 窗口小于此值就跑不满 |
| 10 Gbps × 100 ms 的 BDP | 125 MB | 需要窗口缩放与更大缓冲 |
| 丢包 0.01% → 1% | 单流吞吐约降 10 倍 | 与 1/√p 成正比 |
| 实时语音抖动容忍 | 30 ms 以内 | 超过需要 jitter buffer |
| 健康的 p99/p50 比 | 2–3 倍以内 | 更高说明排队或长尾 |
3 实践
3.1 最小示例
# 1. 基线:RTT、抖动、丢包,连续 20 个包
ping -c 20 -i 0.2 -q 203.0.113.7
# 2. 逐跳看时延与丢包落在哪一跳
mtr -rwzbc 50 203.0.113.7
# 3. 单流与多流对比:单流慢而多流快,说明窗口受限
iperf3 -c 203.0.113.7 -t 10 -P 1
iperf3 -c 203.0.113.7 -t 10 -P 8
# 4. 看内核里的窗口、RTT 与重传
ss -tin dst 203.0.113.7
1 Gbps、RTT 80 ms、丢包 0.01% 的路径,单条 TCP 流的上限
BDP = 1 Gbps × 80 ms = 10 MB
窗口受限吞吐 = 窗口 ÷ RTT = 1 MB ÷ 0.08 s = 12.5 MB/s ≈ 100 Mbps
丢包受限吞吐 ≈ MSS/RTT × 1/√p = 1460 ÷ 0.08 × 100 ≈ 1.8 MB/s ≈ 15 Mbps
因此同一路径上,单流拿到的只是链路的一小部分;
把并发提到 8 条,聚合吞吐才接近链路带宽。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 测 RTT 与丢包 | ping -c 20 -q | 只看统计,ICMP 优先级可能偏低 |
| 逐跳定位 | mtr -rwzbc 50 | 同时看丢包与抖动 |
| 测吞吐 | iperf3 -P <n> | 单流与多流各测一次 |
| 看窗口 | ss -tin | cwnd、rwnd、rtt 都在这里 |
| 看队列 | tc -s qdisc show | 排队位置与丢弃计数 |
| 看时间戳 | tcpdump -tttt -i any | 微秒级时间差 |
3.3 标准流程
- 定义指标:明确要测 RTT、吞吐、丢包率还是尾延迟。
- 取基线:无负载时测一轮,记录 p50、p95、p99。
- 分流:单流与多流各测一次,区分窗口受限与带宽受限。
- 定位:用
mtr看丢包落在哪一跳,用tc看本机队列。 - 归因:把观察映射到传播、排队、丢包、应用四类之一。
- 验证:改一处后重测同一组指标,确认 p99 也改善。
3.4 与相邻技术的组合
- 拥塞控制:BDP 决定需要多大的 cwnd,算法决定多快长到那里。
- 路径与延迟:
mtr把 RTT 分解到逐跳,区分接入段、骨干段与对端。 - 指标:把 RTT、重传、丢包做成时间序列,才能区分常态与异常。
- CDN:缩短的是传播时延,不是带宽,因此对首屏最有效。
- 应用并发:连接池大小与并发度决定能否填满 BDP。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 距离 | 同机 / 同城 / 跨洲 | 传播时延下限,带宽无法弥补 |
| 带宽 | 100 Mbps / 1 Gbps / 10 Gbps | 决定序列化时延与 BDP |
| 丢包特征 | 随机误码 / 拥塞突发 | 决定用重传、FEC 还是限速 |
| 业务目标 | 吞吐 / 时延 / 抖动 | 决定优化顺序 |
| 测量点 | 端点 / 中间设备 / 合成探针 | 决定能看到哪一段 |
| 缓冲策略 | 大缓冲 / 小缓冲 + AQM | 吞吐与延迟的取舍 |
3.6 决策规则
- 吞吐上不去而 RTT 正常:先查窗口与 BDP,再看丢包。
- 单流慢、多流快:窗口受限,扩大窗口或增加并发。
- 多流也慢:带宽或路径本身是瓶颈。
- RTT 随负载上升:排队,查队列长度与 bufferbloat。
- p99 远高于 p50:查重试放大、GC 与跨区调用。
- 抖动大而均值正常:实时业务加 jitter buffer 或换路径。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 加带宽 | 直接提高上限 | 贵,且不改善 RTT | 大文件、备份 |
| 缩短距离 | 降低传播时延 | 成本与数据一致性 | Web、API |
| 减少往返 | 连接复用、TLS 1.3、0-RTT | 实现复杂度 | 短连接密集 |
| 前向纠错 | 丢包不重传 | 带宽开销 | 实时音视频 |
| 多流并行 | 绕过单流窗口限制 | 公平性与调度 | 大文件传输 |
3.8 何时不该用
- 不要用带宽解释交互延迟:加带宽不减少 RTT。
- 不要用平均值代表体验:尾延迟才是用户感受。
- 不要在丢包链路上靠加窗口解决:只会加剧排队。
- 不要只信合成探针:合成流量与真实业务路径可能不同。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 吞吐只有链路的一成 | 窗口小于 BDP | 开窗口缩放,增大接收窗口 |
| 单流慢、多流正常 | 单流窗口或算法限制 | 增加并发或更换算法 |
| RTT 正常但时快时慢 | 排队与 bufferbloat | 查 qdisc,启用 AQM |
| 丢包率随流量上升 | 拥塞丢包 | 限速、加带宽、AQM |
| p99 是 p50 的二十倍 | 重试放大或下游长尾 | 查重试预算与下游分位 |
| 跨洲访问一直慢 | 传播时延下限 | CDN、多区部署 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 用平均值做 SLO | 掩盖长尾 | 用 p95/p99 |
| 无限加大缓冲区 | bufferbloat,延迟暴涨 | 限制队列并启用 AQM |
| 只测带宽不测丢包 | 误判为容量不足 | 同时测 RTT、丢包、重传 |
| 把重试当可靠性手段 | 故障时放大流量 | 退避 + 熔断 + 预算 |
4.3 可观测信号
ss -ti 的 rtt、rttvar、retrans、cwnd;nstat 的 TcpRetransSegs 与丢失重传计数;tc -s qdisc 的 backlog 与 drops;mtr 的逐跳统计;应用侧 p50/p95/p99、超时率与重试率。核心是把“变慢”归入距离、排队、丢包、应用四类之一。
4.4 安全 / 性能 / 一致性边界
- 安全:带宽耗尽是最廉价的攻击,限速与配额比扩容更有效。
- 性能:BDP 决定需要多少在途数据,只加带宽不加窗口是浪费。
- 一致性:丢包与重传让到达时间不确定,分布式系统应按超时设计而非按顺序假设。
- 观测成本:探针频率过高会污染结果,采样与测量本身要计入预算。