1 / 4概念
Floating-Point
浮点用定长字段近似表示实数:范围由指数决定,精度由尾数决定。IEEE 754 统一了格式、舍入与特殊值,让同一段代码在不同机器上给出相同结果。读完能解释 0.1 + 0.2 为什么不等于 0.3,也能判断何时该改用定点。
1 概念
1.1 一句话定义
浮点用符号、指数与尾数三段表示实数;IEEE 754 规定格式、舍入规则与特殊值,运算结果近似,误差有界但不为零。
1.2 它解决什么问题
- 动态范围:同一格式能覆盖约
1e-38到3e38,定点要做同样的范围需要极宽的字。 - 统一语义:IEEE 754 规定舍入与特殊值,跨平台结果可复现。
- 误差可量化:ulp 与机器 epsilon 给出精度上界,便于设计数值算法。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 整数编码、溢出与定点 | Integer and Fixed-Point |
| 字节序与位布局 | Bits, Bytes and Layout |
| FPU 流水线与发射宽度 | Microarchitecture, Pipelining |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 尾数 | 有效数字部分,含隐藏位 | 不是整数部分 |
| 规格化数 | 有隐藏位的正常数 | 不是次正规数 |
| 次正规数 | 指数全 0 时的微小值 | 不是 0 |
| ulp | 相邻可表示数之间的间距 | 不是绝对误差 |
| NaN | 非数,比较恒为假 | 不是无穷 |
2 机制
2.1 心智模型
浮点是二进制的科学计数法:(-1)^s × 1.f × 2^(e-bias)。指数决定数量级,尾数决定有效位;两者都定长,所以每次运算都必须舍入,误差因此无法消除,只能被界定。
2.2 机制拆解
- binary32 与 binary64:前者是 1 位符号、8 位指数、23 位尾数,偏置 127,精度 24 位;后者是 1、11、52 位,偏置 1023,精度 53 位。
- 次正规数:指数全 0 时没有隐藏位,用于渐进下溢,最小正数约
1.4e-45。 - 特殊值:指数全 1 且尾数为 0 是无穷;尾数非 0 是 NaN,与任何值比较都为假,包括自身。
- 舍入:默认 round to nearest, ties to even;一次运算只舍入一次,FMA 把乘加合并为一次舍入。
- 非结合性:
(a + b) + c不一定等于a + (b + c),编译器在没有-ffast-math时不得重排。
2.3 完整枚举
| 格式 | 位宽 | 精度 | 指数位 | 机器 epsilon | 典型用途 |
|---|---|---|---|---|---|
| binary16 | 16 | 11 | 5 | 约 9.8e-4 | 推理、图形 |
| binary32 | 32 | 24 | 8 | 1.19e-7 | 通用计算 |
| binary64 | 64 | 53 | 11 | 2.22e-16 | 科学计算 |
| bfloat16 | 16 | 8 | 8 | 约 7.8e-3 | 训练加速器 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 最大 binary32 | 约 3.40e38 | 指数 254 |
| 最小次正规 binary32 | 约 1.40e-45 | 渐进下溢的下界 |
| FMA 吞吐 | 每周期 2 个 | 桌面与服务器核 |
0.1 的表示误差 | 约 5.55e-18 | 二进制无法精确表示 |
3 实践
3.1 最小示例
#include <stdio.h>
#include <math.h>
#include <stdint.h>
union bits { double d; uint64_t u; };
int main(void) {
double s = 0.1 + 0.2;
printf("%.17g %.17g\n", s, 0.3); // 0.30000000000000004 与 0.29999999999999999
printf("%d %d\n", s == 0.3, fabs(s - 0.3) < 1e-12);
printf("%d\n", NAN == NAN); // 0
union bits b = {.d = 1.0};
printf("%016llx\n", (unsigned long long)b.u); // 3ff0000000000000
return 0;
}
%.17g 是能往返 binary64 的最短打印宽度;1e-12 的容差比 0.1 的误差大约五个数量级,因此能吸收表示误差而不掩盖真实错误。
3.2 常用操作与参数
| 操作 | 命令 | 说明 |
|---|---|---|
| 打印全部有效位 | printf("%.17g", x) | binary64 的往返精度 |
| 看相邻可表示数 | nextafter(x, INFINITY) | 计算一个 ulp |
| 设舍入模式 | fesetround(FE_TOWARDZERO) | 默认是就近偶数舍入 |
| 统计浮点指令 | perf stat -e fp_arith_inst_retired.scalar_double ./app | 观察实际浮点工作量 |
3.3 标准流程
- 明确精度与范围需求,选 binary32 还是 binary64。
- 设计数值稳定的算法,避免相近数相减与大数吃小数。
- 控制舍入:必要时用 FMA 或
-ffp-contract=off,并测试 0、无穷、NaN 与次正规数。
3.4 与相邻技术的组合
- SIMD 与 GPU:向量宽度决定吞吐,归约顺序改变结果,需固定归约树才能复现。
- 量化推理:把 binary32 换成 bfloat16 或 int8,用少量精度换取数倍吞吐。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 精度 | binary16 / 32 / 64 | 有效位与误差上界 |
| 动态范围 | 窄 / 宽 / 极宽 | 是否需要缩放或对数域 |
| 可复现性 | 严格 IEEE / 允许 fast-math | 并行归约能否重现 |
3.6 决策规则
- 金额与计数:不用浮点,用整数最小单位或十进制。
- 比较浮点:用相对容差或 ulp,不用
==。 - 需要跨平台复现:禁用
-ffast-math,固定归约顺序与舍入模式。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| binary64 | 精度高、范围宽 | 面积与带宽翻倍 | 科学计算 |
| 定点 | 确定、快、省电 | 需手工定标 | DSP、嵌入式 |
| 十进制浮点 | 十进制精确 | 硬件支持少、慢 | 金融与计费 |
3.8 何时不该用
- 不要用浮点做精确相等判断:表示误差会让结果依赖编译选项。
- 不要假设浮点加法可结合:并行归约必须按固定顺序合并。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 累加结果偏差大 | 大数吃小数 | 用 Kahan 求和或先排序 |
| 比较偶尔失败 | 用 == 比较浮点 | 改用容差或 ulp |
| NaN 扩散到全表 | 未检查 NaN 与无穷 | 入口校验,用 isnan 与 isinf |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
用 float 累加百万项 | 误差累积到不可接受 | 用 double 或补偿求和 |
| 依赖默认舍入模式 | 换平台结果不同 | 显式设置并测试 |
| 把 NaN 当空值 | 比较全为假,逻辑静默错 | 用显式哨兵值 |
4.3 可观测信号
perf stat 的浮点指令数;fetestexcept 的异常标志(无效、除零、上溢、下溢、不精确);误差的 ulp 统计;-ffast-math 开关下的结果差异;-fsanitize=float-cast-overflow 的转换报告。
4.4 安全 / 性能 / 一致性边界
- 安全:NaN 与无穷会让范围校验失效,输入校验必须处理非有限值;浮点运算的时序也可能泄漏数据。
- 性能:次正规数在部分硬件上触发慢路径,音频与物理仿真应开启 flush-to-zero 并评估误差。
- 一致性:非结合性使并行归约不可重现,严格 IEEE 与 fast-math 之间的取舍应写进项目约定。