跳到主要内容

1 / 4概念

Lakehouse

Lakehouse 用“表格式 + 对象存储”把数据湖的文件堆变成有事务、有 schema、可时间旅行的表。判断标准不是“用 Iceberg 还是 Delta”,而是并发写、分区演进、文件布局和 catalog 治理。

1 概念​

1.1 一句话定义​

Lakehouse 是在对象存储(S3/GCS/OSS)之上加一层表格式:用元数据文件记录快照、schema 和分区,用原子提交把一批数据文件变成一次可回滚的版本。Iceberg、Delta Lake、Hudi 是三种主流实现。

1.2 它解决什么问题​

  • 数据湖的“目录即表”没有事务:写入失败会留下半成品。
  • 并发写没有隔离:两个作业同时写同一张表会互相覆盖。
  • schema 演进困难:加列/改类型容易让读者崩溃。
  • 小文件/分区膨胀:查询规划变慢,元数据压力大。
  • 无法追溯:出错后不知道某天的数据长什么样。

1.3 不属于本页的内容​

主题去哪
Spark 作业/shuffleBatch Processing
Flink 状态/checkpointStream Processing
调度/回填Data Pipelines
关系库事务/索引Relational Databases
对象存储/网络Systems & Infrastructure

1.4 关键术语​

术语含义容易混淆的点
表格式元数据 + 文件布局规范不是“文件格式”
快照某一版本的全部数据文件不是“备份”
Manifest数据文件清单不是“分区目录”
分区演进改分区策略而不重写全部数据不是“改目录名”
Copy-on-write更新时重写文件写放大,读简单
Merge-on-read写增量文件,读时合并写快,读需合并
Catalog表名 → 元数据位置的映射不是“数据目录”
Compaction合并小文件/清理旧版本不是“压缩算法”