1 / 4概念
Network Metrics
读懂本页后,你能为一个服务选出真正能定位问题的网络指标,算对分位数与比率,把重传、握手时延与解析时延写进 SLO,并让告警在用户明显受影响之前触发。
1 概念
1.1 一句话定义
网络指标是把解析、建连、握手、传输与失败这五类事件按服务、方向和对端聚合出的时间序列,用它在聚合层面回答“哪一层变慢了、变差了多少”。
1.2 它解决什么问题
- 层级归属:用户说慢,指标需要能指出慢在 DNS、TCP、TLS 还是首字节。
- 容量前兆:重传、队列与端口占用上升通常早于超时。
- 变更回归:每次发布或网络变更后,用同一组指标判断是否退化。
- SLO 举证:可用性与延迟承诺需要可复算的口径,而不是抽样截图。
- 告警质量:把“某台机器网卡丢了一个包”与“整个区域不可用”分开。
没有统一口径,团队会各自报“网络正常”,却无法解释用户体验的差异。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 排障决策树与取证顺序 | Troubleshooting Method |
| 带宽、BDP 与吞吐模型 | Bandwidth, Latency and Loss |
| 抓包与包级分析 | Packet Capture |
| 逐跳延迟与路径 MTU | Path and Latency |
| 症状到根因的固定对照 | Failure Signatures |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| counter | 单调递增的累计计数 | 进程重启会归零 |
| histogram | 按桶累计的分布 | 分位数要由桶算出 |
| SLI | 可直接测量的服务质量指标 | 不是目标值 |
| SLO | SLI 的目标区间与窗口 | 不是单次告警阈值 |
| cardinality | 时间序列的标签组合数 | 每加一个标签就乘一次 |
| retransmit ratio | 重传段数占发送段数的比例 | 分母不是接收段数 |
| sRTT | 内核平滑后的往返时延 | 不是应用层耗时 |
| churn | 连接新建与关闭的速率 | 不是并发连接数 |
| 饱和 | 资源接近上限的程度 | 不等于已丢包 |
2 机制
2.1 心智模型
一个请求的网络耗时 = DNS + TCP 建连 + TLS 握手 + 服务端等待 + 传输。指标的价值在于让这个和式在聚合层可分项、可告警,而不是只在单条 trace 里可见。
2.2 机制拆解
- 三类采集源:内核计数器便宜但没有业务维度;eBPF 能带进程与五元组;代理与客户端有业务语义,但看不到重传。
- 比率要先定分母:重传率用发送段数做分母;错误率用总请求数做分母。分母选错,指标会随流量一起漂。
- 分位数不可加:p99 不能跨实例取平均,应先把直方图按桶求和再算分位。
- 丢包只能间接测:内核没有“链路丢包”计数器,只能靠重传、超时、ICMP 与网卡丢弃计数推断。
- 饱和的四个位置:出口带宽利用率、网卡队列丢弃、conntrack 表占用、临时端口占用;任一打满都会表现为超时。
- 连接 churn:新建速率、TIME_WAIT 数量与 RST 比例共同刻画连接是否被频繁重建。
2.3 完整枚举
下表是本页范围内的全部指标,覆盖解析、建连、传输与失败四个环节。
| 指标 | 类型 | 来源 | 判读 |
|---|---|---|---|
| DNS 解析耗时 | histogram | 客户端、代理 | p99 明显高于基线说明递归或权威慢 |
| SERVFAIL 比例 | counter 比率 | 客户端、递归 | 上升多为权威故障或验证失败 |
| 缓存命中率 | counter 比率 | 递归、本地缓存 | 骤降会让解析耗时整体抬升 |
| RTT(sRTT) | gauge | 内核 ss -ti、代理 | 高于地理下限说明排队或绕行 |
| TCP 建连耗时 | histogram | 客户端、代理 | 与 RTT 对照,骤增多为丢包或队列满 |
| 新建连接速率 | counter 速率 | 主机、代理 | 突增常伴随 churn 与重试风暴 |
| 重传率 | counter 比率 | 内核 Tcp_RetransSegs | 内网宜低于 0.1% |
| SYN 重传数 | counter 速率 | 内核 | 上升说明握手包被丢 |
| RST 比例 | counter 比率 | 内核、代理 | 上升说明被主动终结或端口耗尽 |
| TIME_WAIT 数量 | gauge | sockstat | 接近端口上限时建连会失败 |
| 临时端口占用 | gauge 比率 | 内核 | 短连接密集服务的关键饱和指标 |
| 网卡队列丢弃 | counter 速率 | 内核、驱动 | 非零即本机已丢包 |
| 带宽利用率 | counter 比率 | 网卡、云监控 | 持续高于 70% 应扩容或整形 |
| conntrack 占用 | gauge 比率 | 内核 | 接近上限时新连接被丢弃 |
| TLS 握手耗时 | histogram | 代理、客户端 | 与建连耗时之差即握手成本 |
| TLS 握手失败比例 | counter 比率 | 代理、客户端 | 按错误类型分组才能定位 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 内网重传率 | 低于 0.1% | 公网可放宽到 0.5%–1% |
| SYN 重传比例 | 低于 0.5% | 更高说明握手阶段丢包 |
| TIME_WAIT 保留 | 约 60 秒 | 主动关闭方持有 |
| Linux 临时端口 | 约 28232 个 | 默认 32768–60999 |
| 采集间隔 | 15–60 秒 | 比业务超时更短 |
3 实践
3.1 最小示例
一组记录规则加一条告警:比率与分位数都先聚合,再判定。service 标签由采集侧的 relabel 注入。
groups:
- name: net.signals
interval: 30s
rules:
- record: svc:net_retrans_ratio:5m
expr: |
sum by (service) (rate(node_netstat_Tcp_RetransSegs[5m]))
/ sum by (service) (rate(node_netstat_Tcp_OutSegs[5m]))
- record: svc:tls_handshake_p99:5m
expr: |
histogram_quantile(0.99,
sum by (service, le) (rate(tls_handshake_seconds_bucket[5m])))
- alert: NetRetransRatioHigh
expr: svc:net_retrans_ratio:5m > 0.005
for: 10m
labels: {severity: page}
annotations: {summary: '重传率持续高于 0.5%,先定位丢包段再查容量'}
三个要点:比率要先分别 sum 分子与分母再相除,不能先算比率再平均;分位数要先把桶按 le 求和;告警用 for 过滤抖动,面板与告警复用同一条记录规则。
3.2 常用操作与参数
| 操作 | 表达式 | 说明 |
|---|---|---|
| 重传率 | rate(node_netstat_Tcp_RetransSegs[5m]) / rate(node_netstat_Tcp_OutSegs[5m]) | 分母为 0 时结果为空 |
| 握手 p99 | histogram_quantile(0.99, sum by (le) (rate(h_bucket[5m]))) | 先按 le 求和再算 |
| 建连速率 | rate(node_netstat_Tcp_ActiveOpens[5m]) | 与 QPS 对照看复用 |
| TIME_WAIT | node_sockstat_TCP_tw | 持续上升要查短连接 |
| 端口占用 | node_sockstat_TCP_alloc | 除以端口范围宽度 |
| 网卡丢弃 | rate(node_network_receive_drop_total[5m]) | 非零即需排查 |
| conntrack | node_nf_conntrack_entries / node_nf_conntrack_entries_limit | 高于 0.8 预警 |
| accept 溢出 | rate(node_netstat_TcpExt_ListenOverflows[5m]) | 直接对应握手失败 |
3.3 标准流程
- 先定义 SLI:解析成功率、建连成功率、重传率、首字节 p99 四类各选其一。
- 选采集点:客户端与入口代理给业务视角,内核给机制视角,二者必须能关联。
- 定标签:服务、方向、对端区域、协议;拒绝用户 ID 与完整 URL 这类高基标签。
- 写记录规则:把比率与分位固化成命名指标,面板与告警共用。
- 定 SLO 与窗口:短窗口快速发现,长窗口控制告警量。
- 配告警:多窗口多阈值,配
for与分组,附首个排查动作。
3.4 与相邻技术的组合
- Troubleshooting Method:指标负责发现与圈定范围,取证仍靠命令与抓包。
- Bandwidth, Latency and Loss:指标中的 RTT 与丢包要和 BDP 模型一起读。
- Path and Latency:路径数据解释“为什么这条链路慢”。
- Failure Signatures:指标异常对应到具体签名,缩短初判时间。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 采集源 | 内核 / eBPF / 代理 / 客户端 | 决定维度与开销 |
| 粒度 | 秒级聚合 / 单请求 | 决定能否定位尾延迟 |
| 标签基数 | 低 / 高 | 决定存储成本与查询速度 |
| 覆盖范围 | 单服务 / 全链路 | 决定能否做端到端归因 |
| 告警方式 | 静态阈值 / 多窗口燃尽率 | 决定误报与漏报的取舍 |
3.6 决策规则
- 只有用户投诉、没有指标 → 先补建连与首字节两类 SLI。
- 重传率升高但 RTT 平稳 → 优先查链路误码与策略丢弃。
- RTT 与重传同时上升 → 按拥塞处理,查带宽与队列。
- 建连慢而 TLS 快 → 查 SYN 丢包与服务端 backlog。
- TLS 慢而建连正常 → 查证书链、套件与 CPU。
- 解析慢 → 查递归、缓存命中与权威,而不是先查出口带宽。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| 内核计数器 | 零额外依赖、开销低 | 无业务维度 | 主机与网络层 |
| eBPF 采集 | 可关联进程与连接 | 内核版本与权限约束 | 定位到进程 |
| 代理指标 | 语义清晰、易告警 | 看不到内核重传 | 入口与网关 |
| 客户端 RUM | 最贴近用户体验 | 采样与隐私成本 | 前端性能 |
3.8 何时不该用
- 只需要单次排障,临时命令比建指标更快。
- 标签里含用户标识或完整 URL,基数会失控。
- 采集开销接近业务开销时,应先采样再谈覆盖。
- 指标没有对应处置动作,只会制造告警疲劳。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 采集目标全部 down | 网络策略或凭据变更 | 先修采集,再谈业务 |
| 速率出现负值或台阶 | counter 因重启归零 | 用 rate 并容忍重置 |
| p99 剧烈跳动 | 桶边界过粗或基数爆炸 | 调桶、砍标签 |
| 同名指标口径不一 | 各团队自定义分母 | 统一记录规则 |
| 告警风暴 | 缺少分组与 for | 按服务聚合、加持续时间 |
| 面板正常但用户报障 | 只测了探测路径 | 补客户端侧 SLI |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 先算比率再平均 | 小流量实例权重被放大 | 先聚合分子分母 |
| 分位数跨实例求平均 | 结果没有统计意义 | 直方图求和再算 |
| 标签里放请求 ID | 基数爆炸、存储打满 | 放日志或追踪 |
| 只告警平均值 | 尾部劣化被掩盖 | 用 p99 与燃尽率 |
4.3 可观测信号
指标系统自身也要被观测:采集成功率、抓取延迟、序列数量、记录规则计算耗时、告警从触发到通知的时延。业务侧则看四组对照——解析成功率与耗时、建连成功率与耗时、重传率与 RTT、首字节 p99 与错误率。四组同时恶化时先找共同上游;只有一组恶化时按该层深入。
4.4 安全 / 性能 / 一致性边界
- 安全:指标会暴露拓扑、对端地址与流量规模,对外分享前应裁剪标签。
- 性能:eBPF 与高频采集有 CPU 与内存成本,采样率应在压测中确认。
- 一致性:分位数与比率都依赖口径统一,跨团队对比前先对齐分母与窗口。
- 时间:所有速率都依赖时钟,跨机关联前必须校时。