1 / 4概念
Lakehouse
Lakehouse 用“表格式 + 对象存储”把数据湖的文件堆变成有事务、有 schema、可时间旅行的表。判断标准不是“用 Iceberg 还是 Delta”,而是并发写、分区演进、文件布局和 catalog 治理。
1 概念
1.1 一句话定义
Lakehouse 是在对象存储(S3/GCS/OSS)之上加一层表格式:用元数据文件记录快照、schema 和分区,用原子提交把一批数据文件变成一次可回滚的版本。Iceberg、Delta Lake、Hudi 是三种主流实现。
1.2 它解决什么问题
- 数据湖的“目录即表”没有事务:写入失败会留下半成品。
- 并发写没有隔离:两个作业同时写同一张表会互相覆盖。
- schema 演进困难:加列/改类型容易让读者崩溃。
- 小文件/分区膨胀:查询规划变慢,元数据压力大。
- 无法追溯:出错后不知道某天的数据长什么样。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| Spark 作业/shuffle | Batch Processing |
| Flink 状态/checkpoint | Stream Processing |
| 调度/回填 | Data Pipelines |
| 关系库事务/索引 | Relational Databases |
| 对象存储/网络 | Systems & Infrastructure |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| 表格式 | 元数据 + 文件布局规范 | 不是“文件格式” |
| 快照 | 某一版本的全部数据文件 | 不是“备份” |
| Manifest | 数据文件清单 | 不是“分区目录” |
| 分区演进 | 改分区策略而不重写全部数据 | 不是“改目录名” |
| Copy-on-write | 更新时重写文件 | 写放大,读简单 |
| Merge-on-read | 写增量文件,读时合并 | 写快,读需合并 |
| Catalog | 表名 → 元数据位置的映射 | 不是“数据目录” |
| Compaction | 合并小文件/清理旧版本 | 不是“压缩算法” |
2 机制
2.1 心智模型
一张表 = catalog 里的表名 + 一组元数据文件 + 一批 Parquet 数据文件。提交写入不是改目录,而是写新快照并原子切换“当前快照”指针;读者看到的是一个一致版本。
2.2 机制拆解
- 写:作业写新的数据文件(Parquet/ORC)。
- 提交:生成新的 manifest/快照,catalog 原子更新当前版本;冲突则重试。
- 读:按快照过滤 manifest → 选中数据文件 → 扫描;分区裁剪 + 列裁剪 + 谓词下推。
- 维护:compaction 合并小文件、重写 manifest;按保留策略清理旧快照/孤儿文件。
2.3 完整枚举
| 能力 | Iceberg | Delta Lake | Hudi |
|---|---|---|---|
| 元数据 | metadata + manifest + snapshot | _delta_log JSON + checkpoint | timeline + 索引 |
| 分区演进 | 支持隐藏分区/演进 | 支持(受限制) | 支持 |
| 时间旅行 | 快照/时间戳 | 版本/时间戳 | 时间线 |
| 更新模式 | COW / MOR | COW + deletion vectors | COW / MOR |
| 并发写 | 乐观并发 | 乐观并发 | 乐观并发 |
| 生态 | Spark/Flink/Trino 等 | Spark 为主,生态扩展 | Spark/Hive |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
| 目标文件大小 | 128–512 MB | 太小元数据/读取开销大 |
| 快照保留 | 天/周 | 影响时间旅行与存储成本 |
| Manifest 数量 | 与分区/文件相关 | 过多拖慢规划 |
| Compaction 频率 | 小时/天 | 按小文件增长速度 |
| 提交冲突 | 低并发下少见 | 高并发需重试/分区隔离 |
3 实践
3.1 最小示例
-- Iceberg:建表、写入、按快照时间旅行。
CREATE TABLE lake.orders (
order_id BIGINT,
user_id BIGINT,
amount DECIMAL(12,2),
created_at TIMESTAMP
) USING iceberg
PARTITIONED BY (days(created_at));
INSERT INTO lake.orders VALUES (1, 42, 19.9, TIMESTAMP '2026-11-16 10:00:00');
SELECT * FROM lake.orders VERSION AS OF 1234567890;
-- Delta Lake:建表、写入、按版本查询。
CREATE TABLE lake.orders (
order_id BIGINT, user_id BIGINT, amount DECIMAL(12,2), created_at TIMESTAMP
) USING delta;
SELECT * FROM lake.orders VERSION AS OF 12;
# 维护:合并小文件、清理旧快照(按引擎提供的过程)。
# Spark SQL 示例:rewrite_data_files / expire_snapshots。
3.2 常用操作与参数
| 操作 | 命令 / API | 说明 |
|---|---|---|
| 建表 | CREATE TABLE ... USING iceberg/delta | 选分区与文件格式 |
| 写入 | INSERT / MERGE / streaming sink | 每次提交产生新快照 |
| 时间旅行 | VERSION AS OF / TIMESTAMP AS OF | 依赖快照保留 |
| 演进 schema | ALTER TABLE ... ADD COLUMN | 先兼容读,再改写入 |
| 合并小文件 | rewrite_data_files / OPTIMIZE | 控制文件大小 |
| 清理旧版本 | expire_snapshots / VACUUM | 注意保留窗口 |
3.3 标准流程
- 选 catalog 与表格式;确认引擎/查询层支持。
- 设计分区:按时间/业务键,避免高基数分区。
- 控制写入文件大小;流式写入要配 compaction。
- 定义 schema 演进规则与保留策略。
- 监控小文件、快照数量、提交冲突和查询规划时间。
3.4 与相邻技术的组合
- Spark/Flink:作为读写引擎;表格式负责事务与快照。
- Catalog:Hive Metastore/Glue/Nessie/REST;多引擎共享表名。
- BI/Trino:直接查湖仓表;注意快照隔离与缓存。
- 数据管道:dbt/Airflow 调度 compaction、质量测试和回填。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 引擎生态 | Spark / Flink / Trino | Iceberg 更中立 |
| 并发写 | 低 / 高 | 乐观并发与冲突处理 |
| 更新模式 | 追加 / 更新 / 删除 | COW vs MOR |
| 分区演进 | 需要 / 不需要 | Iceberg 更强 |
| 运维 | 自建 / 托管 | catalog/compaction 成本 |
| 团队经验 | Delta / Iceberg / Hudi | 迁移与排错成本 |
3.6 决策规则
- 多引擎共享、分区演进频繁:Iceberg。
- 以 Spark 为主、需要成熟 MERGE/时间旅行:Delta Lake。
- 需要近实时 upsert + MOR:Hudi 或 Iceberg MOR。
- 小团队、数据量不大:先用仓库/托管湖仓,别自建 catalog。
- 没有 compaction/保留策略:不要上湖仓,小文件会拖垮查询。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| Iceberg | 开放、分区演进、多引擎 | 运维组件多 | 多引擎湖仓 |
| Delta Lake | Spark 生态成熟、MERGE 强 | 生态偏 Spark | Databricks/Spark |
| Hudi | 近实时 upsert、MOR | 概念/运维复杂 | 增量入湖 |
| 数据仓库 | 托管、优化成熟 | 成本/锁定 | BI/报表 |
| 纯 Parquet 目录 | 简单 | 无事务/无快照 | 只追加的冷数据 |
3.8 何时不该用
- 数据量小、单机可处理:DuckDB/Postgres 更简单。
- 需要毫秒级点写:OLTP 数据库,不是湖仓。
- 团队没有 catalog/compaction 运维能力:先用托管服务。
- 只追加、无更新/删除/时间旅行需求:纯 Parquet + 分区可能足够。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 查询越来越慢 | 小文件/ manifest 过多 | compaction、重写 manifest |
| 写入提交冲突 | 并发写同一分区 | 重试、分区隔离、降低并发 |
| 时间旅行失效 | 快照被清理 | 调整保留策略 |
| 读到旧 schema | 演进不兼容/缓存 | 兼容演进、刷新 catalog |
| 存储费用上涨 | 旧快照/孤儿文件 | 定期 expire/vacuum |
| 多引擎表名不一致 | catalog 不统一 | 统一 catalog/同步元数据 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
| 每小时写大量小文件 | 元数据爆炸 | 控制文件大小 + compaction |
| 用目录 rename 做原子提交 | 对象存储不支持原子 rename | 用表格式提交 |
| 关闭保留策略 | 存储成本失控 | 明确快照/垃圾回收 |
| 高基数分区 | 分区数爆炸 | 时间/低基数键分区 |
| 多引擎各自建表 | 数据分裂 | 统一 catalog |
4.3 可观测信号
快照数量、manifest/文件数量、平均文件大小、提交冲突率、compaction 时长、查询规划时间、catalog 延迟、存储增长。
4.4 安全 / 性能 / 一致性边界
- 一致性:快照隔离只保证单表;跨表一致性要靠作业设计。
- 权限:catalog/表/列级权限要统一,避免绕过引擎直读对象存储。
- 成本:时间旅行和旧快照是存储成本的主要来源。
- 并发:乐观并发冲突要重试,不能静默覆盖。