1 / 4概念
Toolchain: Test and Debug
C++ 的缺陷大多不是“逻辑写错”,而是越界、悬垂、未初始化与数据竞争,这些缺陷在普通构建里可能完全正常。判断一套测试工具是否够用,只看一条:失败时能否立刻回答“哪个地址、由哪次分配或释放产生、下一次如何复现”。
1 概念
1.1 一句话定义
测试与调试由三个观测面组成:插桩在编译期改写代码以检查内存与未定义行为,调试器在运行期暂停进程并读取状态,采样以低开销记录热点。测试框架提供输入与判据,覆盖率度量输入走到了哪些分支,fuzzer 自动生成输入,四者共用同一个构建产物。
1.2 它解决什么问题
- 判据与内存缺陷:
assert随NDEBUG消失,越界与 use-after-free 在普通构建里静默通过,只有 shadow 内存能定位到分配与释放两次栈。 - 并发缺陷:数据竞争依赖调度,只有 happens-before 检测能在低复现率下给出两条访问栈。
- 输入与性能:手写用例覆盖不到解析器边界,fuzzer 用覆盖率引导生成输入;没有采样,优化只能靠感觉。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
错误类型、异常与 std::expected | Errors and Resources(cpp-errors-and-resources) |
| 线程、锁、原子与内存序 | Concurrency(cpp-concurrency) |
异常展开与 noexcept 语义 | Runtime: Exception Unwinding(cpp-exception-runtime) |
| 构建目标与依赖接入 | Toolchain: CMake(cpp-cmake) |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| matcher | 断言的期望值描述,失败时打印差异 | 不是异常断言 |
| shadow memory | ASan 为每个字节维护的可访问性元数据 | 不是用户内存 |
| quarantine | 释放后暂缓复用的区域,让悬垂访问仍可见 | 不是内存泄漏 |
| sanitizer | 编译期插桩的运行时检查器 | 不是静态分析 |
| profraw / profdata | 覆盖率与 profile 的原始与合并格式 | 不能直接给 llvm-cov 读原始文件 |
| 语料(corpus) | fuzzer 的输入集合 | 不是测试用例集 |
2 机制
2.1 心智模型
把一次调试想成三道工序:先让失败可见(断言、sanitizer),再让失败可停(断点、abort_on_error),最后让结论可复现(固定输入、固定种子、固定构建)。测试的价值不在通过率,而在失败时能立刻区分“实现错”还是“测试错”。
2.2 机制拆解
- 框架的注册与取舍:GoogleTest 的
TEST在静态初始化期登记用例,测试代码放进静态库且无符号被引用时会被整段丢弃,表现为 0 个用例;Catch2 v3 拆成编译库,doctest 保持单头且更快,代价是断言表达力略弱。 - ASan 的检查路径:每次访问先查 shadow 字节,命中 redzone 或已释放区域即报告;释放的内存进入 quarantine 延迟复用,因此悬垂访问仍能报错。
- UBSan 与 TSan 的脾气:UBSan 默认打印后继续,必须禁用 recover 才能让测试失败;TSan 与 ASan 的 shadow 机制冲突,只能分构建目录启用。
- 符号与优化:
-g提供行号,-Og保留可读变量;-O2下变量常被优化掉,断点看到的<optimized out>不是调试器缺陷。 - 覆盖率与 fuzz:
gcov按基本块计数,llvm-cov用-fprofile-instr-generate生成 profraw;libFuzzer 在进程内循环,AFL++ 用 forkserver 隔离每次执行。
2.3 完整枚举
运行期检查器(sanitizer)就是下面这一组,能力与开销互不重叠;具体可用性取决于编译器与目标架构。
| 开关 | 检测对象 | 典型开销 | 平台与限制 |
|---|---|---|---|
address | 堆、栈、全局越界,use-after-free,double-free | 约 2 倍时间、2 到 3 倍内存 | 三平台可用;与 thread 互斥 |
leak | 退出时不可达的堆分配 | 随 ASan 内建,开销很小 | Linux 默认随 ASan 启用,容器需 ptrace |
thread | 数据竞争、锁序反转 | 5 到 15 倍时间、5 到 10 倍内存 | 与 address 互斥 |
memory | 未初始化读 | 约 3 倍 | 仅 clang,要求含标准库全量插桩 |
undefined | 有符号溢出、空指针解引用、对齐与移位违例 | 约 1.2 倍 | 默认只报告不中止,需禁用 recover |
hwaddress | 与 address 同类,用硬件标记替代 shadow | 约 2 倍 | 仅 clang,主要是 arm64 |
cfi | 虚调用与控制流劫持 | 1% 到 10% | 需要 LTO 与完整类型信息 |
safe-stack | 栈溢出与返回地址覆写 | 低 | 仅 clang,宜与 address 同用 |
2.4 测试框架对照
三种框架都能发现问题,差别在编译成本与表达力之间。
| 框架 | 形态 | 断言与结构 | 编译成本 | 适用 |
|---|---|---|---|---|
| GoogleTest | 编译库,含 gmock | TEST、EXPECT_*、TestWithParam、SetUpTestSuite | 最重 | 大团队、需要 mock 与自定义 matcher |
| Catch2 v3 | 编译库,v2 为单头 | TEST_CASE、REQUIRE、SECTION | 中等 | 偏 BDD 表达、希望测试自解释 |
| doctest | 单头 | TEST_CASE、CHECK、SUBCASE | 最轻 | 编译时间敏感、测试量大的库 |
3 实践
3.1 最小示例
include(FetchContent)
FetchContent_Declare(googletest URL https://github.com/google/googletest/archive/refs/tags/v1.14.0.tar.gz)
FetchContent_MakeAvailable(googletest)
enable_testing()
add_executable(unit_tests tests/sum_test.cpp src/sum.cpp)
target_link_libraries(unit_tests PRIVATE GTest::gtest_main)
target_compile_options(unit_tests PRIVATE -fsanitize=address,undefined -fno-omit-frame-pointer)
target_link_options(unit_tests PRIVATE -fsanitize=address,undefined)
include(GoogleTest)
gtest_discover_tests(unit_tests)
#include <gtest/gtest.h>
#include "sum.hpp"
TEST(Sum, HandlesEmpty) { EXPECT_EQ(sum({}), 0); }
TEST(Sum, AddsAll) { EXPECT_EQ(sum({1, 2, 3}), 6); }
cmake -S . -B build-asan -DCMAKE_BUILD_TYPE=Debug && cmake --build build-asan -j
ctest --test-dir build-asan --output-on-failure # sum 返回悬垂引用时,ASan 在此报错
==4137==ERROR: AddressSanitizer: heap-use-after-free on address 0x602000000014
READ of size 4 at 0x602000000014 thread T0
#0 sum(std::vector<int> const&) sum.cpp:7
freed by thread T0 here:
#0 std::vector<int>::~vector() sum.cpp:4
previously allocated by thread T0 here:
#0 main sum_test.cpp:3
SUMMARY: AddressSanitizer: heap-use-after-free sum.cpp:7 in sum
追踪这份报告:READ 行给出访问宽度与地址,第一段栈是“谁在用”,freed by 段是“谁释放的”,previously allocated 段是“谁创建的”。三段栈指向同一块内存,结论不是“测试写错了”,而是返回引用逃出了对象生命周期。ASan 的检查在 shadow 里把已释放字节标为不可访问,quarantine 保证这块内存没有立刻复用;若换成 -fsanitize=undefined,同一段代码可能一声不响。
3.2 常用命令
| 目的 | 命令 | 说明 |
|---|---|---|
| 跑全部测试 | ctest --test-dir build --output-on-failure | -R Sum 筛选用例,-V 打印输出 |
| 复现并中止 | ASAN_OPTIONS=abort_on_error=1 ./unit_tests | 让调试器停在首次错误 |
| 断在异常抛出 | gdb -ex 'catch throw' -ex run ./app | lldb 用 breakpoint set -E c++ |
| 采样热点 | perf record -F 999 -g ./app | 随后 perf report 看调用树 |
| 合并并报告覆盖率 | llvm-profdata merge -sparse *.profraw -o cov.profdata | 再 llvm-cov report ./unit_tests -instr-profile=cov.profdata |
| 跑一轮 fuzz | ./fuzz_parse -max_total_time=60 corpus/ | AFL++ 用 afl-fuzz -i in -o out ./target |
3.3 标准流程
- 先写一个能失败的最小用例再修实现,断言里带输入与期望值;日常用 Debug 加 ASan 与 UBSan,提交前在独立目录跑一次无插桩的 Release。
- 涉及线程的模块单独建 TSan 构建目录,与 ASan 构建目录分开。
- 崩溃与挂起用
-Og -g复现,先看栈再看变量,不靠printf猜测。 - 性能问题先用
perf定位热点,优化后重跑同一基准;覆盖率用于找未测分支,不定 KPI。
3.4 选型矩阵
| 项目类型 | 测试与观测组合 | 代价 |
|---|---|---|
| 基础库与 SDK | doctest 或 GoogleTest + ASan/UBSan + llvm-cov | 需要为每个平台维护插桩构建 |
| 网络服务 | GoogleTest + ASan 与 TSan 双构建 + perf | 构建矩阵翻倍,CI 时间显著上升 |
| 嵌入式与交叉编译 | 宿主侧 doctest + 目标侧日志与探针 | sanitizer 常不可用,只能靠静态检查 |
| 桌面 GUI | Catch2 + ASan + 崩溃转储 | 事件循环与 UI 线程难做确定性测试 |
| 安全敏感解析器 | fuzz 语料 + ASan/UBSan + AFL++ | 需长期运行与语料维护 |
3.5 决策规则
- 断言应使用框架宏而非
assert,因为后者随NDEBUG消失。 - 测试二进制应直接编译被测源码或整段链接静态库,避免注册丢失。
- sanitizer 结论以最小复现为准;不能复现时先怀疑构建选项或未插桩的第三方库。
- 基准与插桩构建必须分离,否则测到的是检测器开销。
4 边界
4.1 典型故障
| 症状 | 根因 | 诊断 | 修复 |
|---|---|---|---|
0 tests from 0 test suites | 测试在静态库里被链接器丢弃 | 看链接行是否包含该库 | 直接编译测试源码,或整段链接 |
| ASan 报 use-after-free 但线上正常 | 测试的生命周期比生产更短 | 读 freed by 栈定位释放点 | 修接口返回所有权,或修测试 |
LeakSanitizer has encountered a fatal error | 容器缺 ptrace 权限或 ASLR 限制 | 看 ASan 启动日志 | 加 SYS_PTRACE,或临时 detect_leaks=0 |
| 链接报 sanitizer 运行时不兼容 | 同一构建同时启用 address 与 thread | 查 CMake 缓存里的插桩标志 | 拆成两个构建目录 |
gdb 打印 <optimized out> | -O2 把变量优化掉 | 看编译选项与反汇编 | 用 -Og -g 复现 |
undefined reference to __ubsan_handle_* | 只加编译选项,链接选项没加插桩 | 看链接命令行 | -fsanitize= 同时加到编译与链接 |
| 覆盖率报告只有头文件或 0% | 插桩只覆盖部分 target,或 profraw 未合并 | 看编译命令与 profraw 数量 | 统一插桩,先 merge 再报告 |
4.2 可观测信号
测试侧看用例数、跳过数与失败输出是否完整;插桩侧看 ASan 的三段栈、UBSan 的检查名与 halt_on_error 是否生效;调试侧看断点命中次数与变量是否可读;性能侧看 perf report 的自身耗时占比;覆盖率看未覆盖分支清单而不是总百分比。
4.3 安全 / 性能 / 一致性边界
- 安全:sanitizer 只覆盖被插桩的代码;未插桩的第三方库缺陷会表现为“在插桩代码里崩溃”,结论必须回到最小复现。
- 性能与一致性:ASan 的 quarantine 放大内存占用,TSan 改变调度,两者耗时不能当作真实性能;插桩与发布构建优化等级不同,可能出现“只在插桩下复现”的差异。