1 / 4概念
Runtime: Linking and Loading
一个 .c 文件不是程序,只是编译器的输入。要变成进程,它得先变成带符号表和重定位表的目标文件,再被链接器拼进可执行文件或共享库,最后由动态加载器映射进地址空间。这条链上每一段的错误信息都指向下一段:链接器说 undefined reference,加载器说 cannot open shared object file,绑定器说 symbol lookup error。能把这三句话对回各自的阶段,排障就完成了一半。
1 概念
1.1 一句话定义
链接是把多个翻译单元产出的目标文件按符号合并成可执行文件或共享库,并填上重定位;装载是把可执行文件与共享库映射进进程地址空间,完成剩余重定位与符号绑定。静态链接发生在构建期,动态链接与装载总在运行期。
1.2 它解决什么问题
- 分离编译:改一个源文件只重编一个翻译单元,其余复用目标文件。
- 代码复用:静态库把用到的成员复制进产物,共享库让多个进程共用同一份页。
- 运行期扩展:插件在后启动,靠
dlopen在运行时接入。 - 多版本共存:soname 区分 ABI 主版本,符号版本区分同一 soname 内的代际。
代价是符号处于全局命名空间,重名与链接顺序会改变程序行为;ABI 不匹配在链接期完全不可见。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 编译选项与构建模型 | c-build-model |
| 库的三个名字、pkg-config、许可证 | c-packaging |
| 对象布局与调用约定 | c-object-model-and-abi |
| 进程段、堆与分配器 | c-memory-allocation |
| C++ 的符号修饰与 C 链接声明 | cpp-object-model-and-abi |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 目标文件 | 可重定位文件,含节、符号表、重定位表 | 不是可执行文件 |
| 符号 | 名字到地址的绑定项 | 不是变量本身 |
| 重定位 | 把占位值改成最终地址的记录 | 不是符号解析 |
| 链接属性 | 外部、内部、无 | 不是存储期 |
| PIC | 位置无关代码,用相对寻址与 GOT | 不是 PIE |
| GOT | 全局偏移表,存运行期地址 | 不是符号表 |
| PLT | 函数调用的跳板表 | 不是 GOT |
| soname | 共享库的运行时名字 | 不是磁盘文件名 |
| 符号版本 | 同一符号名的多代实现 | 不是 soname |
| 惰性绑定 | 首次调用才解析符号 | 不是延迟加载 |
2 机制
2.1 心智模型
链接器只认符号,不认 C 类型;加载器只认依赖图,不认源码。 编译器在每个引用处留下重定位记录,链接器把能解析的填上,把不能解析的留给动态加载器。名字是唯一的接口,命令行顺序是唯一的优先级规则。
2.2 机制拆解
- 编译产物:
.o含.text、.data、.bss、.rodata、.symtab与.rela.text;-c停在汇编之后、链接之前;readelf -S看节,readelf -r看重定位。 - 链接属性与暂定定义:外部链接跨翻译单元可见,内部链接(
static)只在本单元可见,无链接用于块作用域对象。文件作用域的int x;是暂定定义,-fcommon下多个单元合并成公共符号,-fno-common(GCC 10 起默认)下变成重复定义错误。 - 静态库抽取:链接器从左到右扫描命令行,归档只抽取能解决当前未定义符号的成员;
--start-group与--end-group处理循环依赖,--whole-archive强制全量抽取。 - 共享库与 PIC:每个对象加
-fPIC,再用-shared链接;函数调用经 PLT,数据访问经 GOT;-Wl,-z,defs让未定义符号在链接期暴露,而不是留到启动时。 - 重定位类型:
R_X86_64_PC32用于相对寻址,R_X86_64_PLT32用于调用,R_X86_64_GOTPCREL用于 GOT 访问,R_X86_64_64用于绝对地址。共享库不允许 32 位绝对重定位指向可插入符号,这是必须-fPIC的根本原因。 - 装载流程:内核读
PT_INTERP启动ld.so,ld.so映射可执行文件与DT_NEEDED依赖,按依赖顺序执行重定位与DT_INIT_ARRAY,再跳到_start,由 libc 调用main。 - 绑定顺序:可执行文件先于
LD_PRELOAD,LD_PRELOAD先于普通依赖,依赖按加载顺序广度优先;先找到的定义获胜。主程序里的同名函数可以覆盖共享库实现,这就是 interposition。 - 惰性绑定:PLT 首次跳转回到解析器,解析后回填 GOT;
-Wl,-z,now在装载时全部解析,配合-Wl,-z,relro让 GOT 变为只读;LD_BIND_NOW=1只影响当前进程。 dlopen与dlsym:RTLD_NOW立即解析,RTLD_LAZY延迟;RTLD_GLOBAL把符号并入全局作用域,RTLD_LOCAL只对本句柄可见;dlsym(RTLD_NEXT, ...)找当前对象之后的下一个定义,dlerror取错误;glibc 2.34 起dl*并入 libc,之前要链接-ldl。- soname 与符号版本:
-Wl,-soname,libfoo.so.1把名字写进DT_SONAME,加载器按它找文件;版本脚本--version-script把符号绑定到版本节点,objdump -T显示GLIBC_2.2.5这类后缀,dlvsym可取指定版本。 - 搜索路径:
DT_RUNPATH只作用于直接依赖,DT_RPATH会传给间接依赖且优先于LD_LIBRARY_PATH;$ORIGIN展开为可执行文件所在目录;ldconfig缓存与/etc/ld.so.conf是系统路径的最后来源。
2.3 完整枚举
C 的符号形式共十种,nm 字母区分它们:
| 声明形式 | 链接属性 | nm 字母 | 说明 |
|---|---|---|---|
int f(void); | 外部 | U | 只有声明,引用未定义符号 |
int f(void) { ... } | 外部 | T | 全程序唯一的强定义 |
static int f(void) { ... } | 内部 | t | 翻译单元私有 |
int x;(-fno-common) | 外部 | B | 暂定定义,落在 .bss |
int x;(-fcommon) | 外部 | C | 公共符号,多单元可合并 |
extern int x; | 外部 | U | 只引用,不分配存储 |
static int x; | 内部 | b | 私有对象 |
__attribute__((weak)) int f(void) | 弱 | W 或 V | 强定义出现时被覆盖 |
__attribute__((weak)) int f(void); | 弱 | w | 未定义弱引用,可解析为 0 |
_Thread_local int t; | 外部 | B/D 加 TLS | readelf -s 标为 TLS |
3 实践
3.1 最小示例与追踪
先看一个内部符号与一个外部符号如何落进目标文件:
/* counter.c */
static int count; /* 内部链接 */
int bump(void) { return ++count; }
$ cc -std=c17 -c counter.c -o counter.o && nm counter.o
0000000000000000 T bump
0000000000000000 b count
$ cc -std=c17 -fPIC -shared -Wl,-soname,libcounter.so.1 -o libcounter.so.1.0 counter.c
$ ln -s libcounter.so.1.0 libcounter.so.1
$ readelf -d libcounter.so.1.0 | grep -E 'SONAME|NEEDED'
0x000000000000000e (SONAME) Library soname: [libcounter.so.1]
0x0000000000000001 (NEEDED) Shared library: [libc.so.6]
$ cc -std=c17 main.c -L. -l:libcounter.so.1.0 -o app
$ readelf -d app | grep counter
0x0000000000000001 (NEEDED) Shared library: [libcounter.so.1]
$ ./app
./app: error while loading shared libraries: libcounter.so.1: cannot open shared object file
cc -std=c17 main.c -L. -l:libcounter.so.1.0 -Wl,-rpath,'$ORIGIN' -o app
ldd app | grep counter
./app
LD_DEBUG=bindings ./app 2>&1 | grep -m1 bump
libcounter.so.1 => ./libcounter.so.1
1
4242: binding file ./app [0] to ./libcounter.so.1 [0]: normal symbol `bump'
运行期取符号用同一套名字规则:
void *h = dlopen("libcounter.so.1", RTLD_NOW | RTLD_LOCAL);
int (*bump_fn)(void) = (int (*)(void))dlsym(h, "bump"); /* 失败时看 dlerror() */
追踪:b 是小写,说明 count 只在 counter.o 内可见,其它单元无法引用它,这是模块边界的物理实现。链接 app 时命令行给出的是 libcounter.so.1.0,但 DT_NEEDED 记录的是 soname libcounter.so.1;加载器只按 soname 搜索,所以磁盘上必须有这个符号链接或同名文件。./app 失败不是因为文件不在当前目录,而是因为加载器不搜当前目录;$ORIGIN 把搜索起点改成可执行文件目录,ldd 随即显示解析成功。LD_DEBUG=bindings 打印的那一行给出绑定方向:bump 从 app 解析到 libcounter.so.1。
3.2 选型矩阵
| 场景 | 链接形态 | 理由 | 代价 |
|---|---|---|---|
| 单文件工具、容器镜像 | 静态链接 -static | 无加载器依赖 | 体积大,glibc 的 NSS 警告 |
| 多程序共享、独立升级 | 共享库加 soname | 页共享,升级不动调用方 | ABI 兼容负担 |
| 插件、可选后端 | dlopen 加 RTLD_LOCAL | 运行时发现,符号隔离 | 生命周期与卸载顺序自负 |
| 库内部实现 | 静态库 libfoo.a | 只抽取用到的成员 | 每个消费者一份代码 |
| 打桩第三方函数 | 默认可见性加 LD_PRELOAD | 无需重编 | 依赖加载顺序 |
| 裸机或嵌入式 | 静态库加 -nostdlib | 完全可控 | 没有动态装载器 |
3.3 决策规则
- 共享库的全部对象都用
-fPIC;混入非 PIC 对象会在链接期报重定位错误。 - 永远给共享库设 soname,并把 ABI 主版本编进 soname,而不是编进文件名。
- 默认加
-fvisibility=hidden,只导出显式标记的 API,缩小动态符号面。 - 插件用
RTLD_NOW | RTLD_LOCAL,让缺失符号在dlopen时暴露,而不是在第一次调用时。 - 需要在同一进程替换符号时用
LD_PRELOAD加dlsym(RTLD_NEXT),不要改被替换的源码。 - 发布前用
readelf -d检查NEEDED与RUNPATH,用ldd确认没有指向构建目录。
4 边界
4.1 典型故障
| 症状 | 根因 | 诊断 | 修复 |
|---|---|---|---|
undefined reference to 'bump' | 归档顺序错误,或根本没链接该库 | nm -u main.o;cc -Wl,--trace-symbol=bump | 把库放到引用它的对象右边,循环依赖加 --start-group |
relocation R_X86_64_32 ... can not be used when making a shared object | 有对象没加 -fPIC | readelf -r 看绝对重定位 | 全部对象重编 -fPIC |
cannot open shared object file | soname 没有对应文件,或搜索路径不含目录 | readelf -d 看 NEEDED,ldd 看解析结果 | 装进 ldconfig 路径,或设 $ORIGIN RUNPATH |
symbol lookup error: undefined symbol | 依赖版本不匹配,或链接时未开 --no-undefined | LD_DEBUG=libs,bindings 看绑定过程 | 补齐依赖,对齐 soname 与符号版本 |
| 打桩失效,调用到原实现 | -Bsymbolic 或 protected 把引用绑定到本地 | LD_DEBUG=bindings 看绑定目标 | 去掉 -Bsymbolic,恢复默认可见性 |
dlopen 返回 NULL 且 dlerror 为空 | 没有清空上一次的错误状态 | 在 dlopen 前先调用 dlerror() | 每次失败后立即取错误并记录 |
dlsym 拿到的指针一调用就崩溃 | 句柄错、名字被 C++ 修饰,或转换写法被优化 | nm -D 确认导出名与版本 | 用 C 链接声明,按 POSIX 规则转换指针 |
dlclose 之后崩溃 | 仍有函数指针或线程在执行库代码 | gdb 看栈,ASan 看释放后使用 | 不卸载,或用引用计数等到最后一个用户 |
4.2 可观测信号
符号看 nm -D 与 readelf -sW,依赖与路径看 readelf -d,版本看 objdump -T,调用与 PLT 看 objdump -d,装载与绑定看 LD_DEBUG=libs,bindings,statistics,加载器实际打开的文件看 strace -e openat。ldd 只是 ld.so --list 的包装,交叉编译产物要用目标平台的 ld.so 查。
4.3 安全 / 性能 / 一致性边界
- 安全:
LD_PRELOAD与LD_LIBRARY_PATH是注入面,setuid 程序会忽略它们;RUNPATH 指向可写目录等于允许替换代码。 - 性能:PLT 每次调用多一次间接跳转,
-fno-plt可以省掉;静态链接启动快,但失去页共享与独立升级。 - 一致性:
dlopen返回的void *转函数指针在 POSIX 上合法,ISO C 未定义;跨语言边界要靠 C 链接声明,见c-ffi。