1 / 4概念
File Systems
文件系统把块设备抽象成目录树、inode 和字节流。没有 inode、日志与 fsync,掉电后你无法判断文件是旧版本、新版本还是半写;读完能判断一次崩溃丢了什么、fsync 到底保证了什么、ext4 与 ZFS 该怎么选。
1 概念
1.1 一句话定义
文件系统把块设备组织成文件、目录和元数据,并定义命名、空间分配、缓存、权限、配额与崩溃恢复规则;它向上提供 open/read/write/rename 等接口,向下把逻辑块映射到物理块。
1.2 它解决什么问题
- 命名与持久化:把“一段字节”绑定到路径,并在重启后仍然存在。
- 崩溃一致性:掉电或内核崩溃后,文件系统要能恢复到某个一致状态,而不是留下半写结构。
- 共享与权限:多进程、多用户通过文件描述符、权限位和 ACL 共享同一份数据。
- 空间管理:块分配、延迟分配、稀疏文件、快照、配额和压缩都由文件系统负责。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 进程、文件描述符、线程 | Processes & Threads |
| 虚拟内存、page cache、mmap | Memory Management |
| 块设备、SSD、NVMe | Hardware |
| 阻塞/非阻塞、io_uring | I/O Models |
| 数据库 WAL 与事务 | Transactions & Concurrency |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| inode | 文件的元数据与数据块指针 | 不含文件名 |
| dentry | 目录项,名字到 inode 的映射 | 不是 inode |
| journal | 先写日志再改元数据的恢复机制 | 不是数据备份 |
| COW | 写时复制,新块写成功后再切指针 | 不是 fork 的 COW |
fsync | 把文件数据与必要元数据刷到持久介质 | 不保证目录项 |
fdatasync | 只刷数据与大小等必要元数据 | 不刷 mtime/atime |
O_DIRECT | 绕过 page cache 的 I/O | 不保证持久化 |
| 原子重命名 | 同一文件系统内 rename 原子替换 | 跨文件系统不原子 |
| page cache | 文件内容的内存副本 | 不是进程私有内存 |
2 机制
2.1 心智模型
inode 是文件的“身份证 + 数据块目录”,目录是“名字 → inode”的映射,page cache 是文件内容的内存副本,fsync 是把脏页与必要元数据推到持久介质的栅栏。 应用写文件通常只写进 page cache;掉电时能否恢复,取决于文件系统的日志/COW 与你是否在正确的位置等待。
write() → page cache (dirty) → writeback → 块层 → 设备缓存 → 介质
↑
fsync 等待
2.2 机制拆解
- VFS 对象:
superblock表示一个挂载的文件系统;inode表示文件元数据;dentry表示目录项;file表示一次打开。文件描述符指向file,file指向dentry,dentry指向inode。 - ext4:用 extent 描述连续块区间,用块组管理 inode 表与数据位图;元数据操作先写 JBD2 日志,提交后再写原位;
data=ordered让数据块先于元数据提交,避免元数据指向未初始化数据。 - ZFS:一切皆块,写时复制;新块写完并校验后,才切换 uberblock 指针;快照只是保留旧块;ARC 缓存、ZIL/SLOG 处理同步写;
scrub用校验和发现静默损坏。 - 写路径:
write()复制到 page cache 并标记 dirty;回写线程按 dirty 比例与过期时间刷盘;fsync等待该文件的脏页与必要元数据落盘;O_DIRECT绕过 page cache,但仍有设备缓存。 - 崩溃恢复:journaling 重放已提交日志;COW 回退到旧 uberblock;log-structured 扫描日志;
fsck做一致性检查;校验和发现无法恢复的损坏。 - 原子替换:写临时文件 →
fsync临时文件 →rename到目标 →fsync目标目录;rename在同一文件系统内原子,跨文件系统会退化为复制。
2.3 完整枚举
ext4 日志模式:
| 模式 | 记录内容 | 数据顺序 | 性能 | 风险 |
|---|---|---|---|---|
journal | 元数据 + 数据 | 都进日志 | 最低 | 数据重复写 |
ordered | 元数据;数据先于元数据提交 | 数据先落盘 | 默认 | 崩溃可能丢新数据,但不指向脏块 |
writeback | 只记录元数据 | 数据顺序不保证 | 最高 | 可能读到旧块内容 |
崩溃一致性技术:
| 技术 | 代表 | 恢复方式 | 代价 |
|---|---|---|---|
| 日志 | ext4、XFS | 重放已提交事务 | 写放大 |
| 写时复制 | ZFS、Btrfs | 回退旧根指针 | 碎片、元数据开销 |
| 日志结构 | F2FS、NILFS | 扫描/重建日志 | 清理成本 |
| 软更新 | BSD FFS | 延迟写,顺序约束 | 实现复杂 |
| 一致性检查 | fsck | 离线修复 | 停机、可能丢数据 |
| 校验和 | ZFS、Btrfs | 发现损坏,副本修复 | CPU 与存储开销 |
fsync 家族:
| 调用 | 刷什么 | 是否等目录项 | 适用 |
|---|---|---|---|
fsync(fd) | 文件数据 + 必要元数据 | 否 | 单文件持久化 |
fdatasync(fd) | 数据 + 大小等必要元数据 | 否 | 追加写、少刷 mtime |
sync() | 所有文件系统 | 是(全局) | 关机前,无法报错 |
syncfs(fd) | 该文件系统 | 是 | 容器/挂载点 |
2.4 关键数字与复杂度
| 指标 | 量级 | 说明 |
|---|---|---|
| 常见块大小 | 4 KiB | 也有 1 KiB/64 KiB |
| ext4 inode 大小 | 256 B | 格式化时确定 |
| ext4 日志提交间隔 | 默认 5 s | commit= 挂载参数 |
| 脏页过期 | 30 s | vm.dirty_expire_centisecs |
fsync(NVMe) | 约 0.05–1 ms | 受设备缓存与队列影响 |
fsync(SATA SSD) | 约 0.1–10 ms | 受写放大影响 |
| SSD 随机读 | 约 100 µs | 比内存慢三个数量级 |
3 实践
3.1 最小示例
// 原子替换:写临时文件 → fsync → rename → fsync 目录。
#include <fcntl.h>
#include <unistd.h>
int atomic_write(const char *dir, const char *tmp, const char *dst,
const char *buf, size_t len) {
int fd = open(tmp, O_WRONLY | O_CREAT | O_TRUNC, 0644);
if (fd < 0 || write(fd, buf, len) != (ssize_t)len) return -1;
if (fsync(fd) != 0) { close(fd); return -1; }
close(fd);
if (rename(tmp, dst) != 0) return -1;
int dfd = open(dir, O_RDONLY | O_DIRECTORY);
if (dfd < 0) return -1;
int rc = fsync(dfd); close(dfd); return rc;
}
stat -c '%i %s %n' file
df -i .
filefrag -v file
strace -e trace=fsync,fdatasync,rename,openat ./atomic_write
iostat -x 1
fio --name=fsync --rw=write --bs=4k --size=256M --fsync=1 --filename=/tmp/fio.bin
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 看 inode | stat file、ls -i | inode 号、链接数、块数 |
| 看 inode 用量 | df -i | 小文件多时先耗尽 inode |
| 看块映射 | filefrag -v file | 碎片与 extent |
| 看 ext4 元数据 | debugfs -R 'stat <inode>' /dev/sdX | 只读排查,勿写 |
| 看 XFS | xfs_info /mount | 块大小、日志、对齐 |
| 看 ZFS | zpool status、zfs list | 池健康、快照、空间 |
| 跟踪同步 | strace -e fsync,fdatasync | 确认是否真的落盘 |
| 清理缓存建议 | posix_fadvise | 提示顺序/随机访问 |
3.3 标准流程
- 按工作负载选文件系统:通用 ext4/XFS,快照/校验 ZFS/Btrfs,临时 tmpfs。
- 格式化时确定块大小、inode 数量、日志大小与挂载选项。
- 写路径明确:哪些数据必须
fsync,哪些可以丢;目录项是否需要fsync。 - 用临时文件 + 原子
rename替换配置/证书等关键文件。 - 用
fio、dm-flakey或断电测试验证崩溃一致性,再上线。
3.4 与相邻技术的组合
- page cache / mmap:文件读写先经过 page cache;
mmap共享同一份页,msync才触发回写。 - 数据库:WAL 依赖
fsync/fdatasync;O_DIRECT绕过缓存但要求对齐。 - 容器:overlayfs 首次写会 copy-up 整个文件;写入密集卷应挂独立卷。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 工作负载 | 元数据多 / 数据多 | 小文件看 inode 与目录索引 |
| 访问模式 | 随机 / 顺序 | 随机看 IOPS,顺序看带宽 |
| 持久性要求 | 可丢 / 不可丢 | 决定 fsync 与设备缓存 |
| 快照/校验 | 需要 / 不需要 | ZFS/Btrfs vs ext4/XFS |
| 容量与扩展 | 单机 / 多节点 | 本地 FS vs 分布式/对象存储 |
3.6 决策规则
- 通用 Linux 服务器:ext4 或 XFS;XFS 更适合大文件与高并发。
- 需要快照、校验和、压缩:ZFS/Btrfs;先确认内存与运维能力。
- 数据库:XFS/ext4,独立数据盘,按需
O_DIRECT或fdatasync。 - 容器根文件系统:overlayfs on ext4/XFS;写入密集目录挂 volume。
- 临时数据:tmpfs;掉电即失,注意内存占用。
- 网络共享:NFS/SMB;不要用它跑强一致数据库。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| ext4 | 成熟、通用、工具全 | 快照/校验弱 | 通用服务器 |
| XFS | 大文件、并发、在线扩容 | 不能缩小 | 数据盘、日志 |
| Btrfs | 快照、校验、压缩 | 稳定性与运维要求 | 桌面/实验环境 |
| ZFS | 端到端校验、快照、池化 | 内存、许可、复杂度 | 存储服务器 |
| NFS | 多机共享、集中管理 | 延迟、锁、一致性 | 共享配置/数据 |
3.8 何时不该用
- 不要在没有足够内存时开 ZFS 去重:DEDUP 表会吞掉大量 RAM。
- 不要对小块随机写用
O_DIRECT:对齐与 syscall 开销可能更慢。 - 不要每行数据都
fsync:吞吐会塌;用批量提交/WAL。 - 不要把网络文件系统当本地数据库盘:锁与延迟语义不同。
- 不要把
sync()当持久化屏障:它不返回错误,也无法确认单个文件。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 掉电后配置为空/半写 | 只写临时文件没 fsync,或没持久化 rename | 写临时文件 + fsync + rename + fsync 目录 |
fsync 返回成功但数据仍丢 | 设备写缓存撒谎,未发 FUA/barrier | 检查 hdparm -W,用企业级 SSD/掉电保护 |
df 满但 du 很小 | 已删除但仍被打开的文件 | lsof +L1,重启/关闭持有者 |
| 无法创建新文件 | inode 耗尽 | df -i,清理小文件或重建更大 inode 表 |
| 写入延迟周期性飙升 | 脏页回写风暴/日志提交 | 调 dirty 比例,fio 复现,分摊写入 |
| NFS 报 stale file handle | 服务端导出/目录被替换 | 重新挂载,检查 export |
| ZFS 报告校验错误 | 磁盘坏块/内存错误 | zpool status,换盘,scrub/restore |
fsync 延迟高 | 设备队列/日志/GC | iostat -x 看 await,换盘或调日志 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
写临时文件后直接 rename | 崩溃后可能得到空文件 | 先 fsync 临时文件 |
rename 后不 fsync 目录 | 目录项可能未持久化 | fsync 目标目录 |
O_DIRECT 缓冲区未对齐 | EINVAL 或性能更差 | 按块大小对齐,或改用缓冲 I/O |
对可变文件 mmap | 截断触发 SIGBUS | 复制到匿名页或不要 mmap |
4.3 可观测信号
iostat -x 的 await、aqu-sz、%util;pidstat -d 的读写量;/proc/meminfo 的 Dirty/Writeback;dmesg 的 I/O 错误;smartctl -a 的介质错误;zpool status 的 scrub/校验结果;strace -e fsync 的调用次数与耗时;bpftrace 跟踪 vfs_fsync。
4.4 安全 / 性能 / 一致性边界
- 持久性:
fsync只保证到设备声明的持久层;设备缓存撒谎时仍需 FUA/barrier 或掉电保护。 - 原子性:
rename只在同一文件系统内原子;跨文件系统会复制,不能保证替换原子。 - 安全:权限位/ACL、挂载选项
noexec,nosuid,nodev、加密(LUKS/ZFS encryption)共同构成边界。 - 容量:块耗尽与 inode 耗尽是两种不同的“磁盘满”,监控要分开。