1 / 4概念
Ecosystem: Dataframes
数据帧把表格变成按列存储的数组,性能来自向量化内核和内存布局,而不是 Python 循环。判断一段处理是否可靠,不看用了 pandas 还是 Polars,而看能否说清每一列的类型、每一步是否物化中间结果、连接会不会放大行数、数据放不放得进内存。
1 概念
1.1 一句话定义
DataFrame 是带列名和行索引的二维表,底层由按列连续存储的同长度数组组成;pandas 以 NumPy 为内核、默认立即求值,Polars 以 Arrow 为内存格式、用表达式计划并支持惰性求值与流式执行。
1.2 它解决什么问题
- 表格 I/O:统一读取 CSV、Excel、Parquet 与数据库结果集,处理分隔符、编码与类型推断。
- 声明式转换:选择、过滤、派生列、分组聚合、连接与窗口,用表达式描述而不是写循环。
- 向量化执行:一次内核调用处理整列,把循环下推到 C/Rust/Arrow 实现。
- 受限内存下的处理:列裁剪、谓词下推、惰性计划与流式执行减少中间结果。
- 可验证的数据契约:固定 dtype、空值语义与输出 schema,让下游可以依赖。
1.3 不属于本页的内容
| 主题 | 去哪 |
|---|---|
| 解释器、对象模型与 GC | Interpreter and Objects |
| 环境、依赖与包分发 | Modules and Packaging |
| 脚本化、CLI、测试与调度 | Scripting Workflow |
| Spark/Flink 的分布式批流处理 | Batch Processing、Stream Processing |
| 关系模型、事务与索引 | Relational Databases、Transactions & Concurrency |
| 数据湖格式与表管理 | Lakehouse |
1.4 关键术语
| 术语 | 含义 | 容易混淆的点 |
|---|---|---|
| DataFrame | 带列名的二维表 | 不是数据库表,没有事务 |
| Series | 带索引的一维列 | 不是 Python list |
| Arrow | 跨语言列式内存格式 | 不是文件格式 |
| 向量化 | 一次内核调用处理整列 | 不是多线程 |
| eager | 每步立即计算 | 不是“更快” |
| lazy | 先建计划,collect 时执行 | 不是缓存 |
| 谓词下推 | 把过滤推到扫描层 | 不是索引 |
| 投影下推 | 只读需要的列 | 不是行裁剪 |
| copy-on-write | 修改时才复制底层数据 | 不是深拷贝 |
| null | 缺失值标记 | 与 NaN 语义不完全相同 |
| 基数 | 一列不同值的数量 | 决定编码与分组成本 |
| 行组 | Parquet 内按行切分的存储块 | 不是分区 |
2 机制
2.1 心智模型
把 DataFrame 想成“一组同长度的列 + 一个执行计划”。pandas 是立即执行的列式表格:每一步都产生新对象,索引对齐是隐式行为;Polars 是惰性表达式图:先描述要什么,优化器决定扫描、过滤和连接的顺序,collect 才真正执行。
2.2 机制拆解
- 列式内存:每列连续存放,扫描一列时缓存友好;行式访问需要跨列跳跃,所以逐行处理天然慢。Arrow 用统一的缓冲区、有效性位图和字典编码描述列,跨语言零拷贝。
- pandas 存储:数值列存为 NumPy 数组,字符串在 2.x 常退化为
object(每元素一个 Python 对象);可用string[pyarrow]或dtype_backend="pyarrow"降低内存。块管理器按同 dtype 合并列,插入新 dtype 会触发重组。 - 索引对齐:二元运算与连接按标签匹配,而不是按位置;索引重复会放大行数。
reset_index(drop=True)能消除大部分意外对齐。 - copy-on-write:pandas 2.x 可开启、3.0 默认;修改一个视图会先复制底层数据,链式赋值不再落到副本上但仍应避免。Polars 默认不可变,任何
with_columns都返回新对象。 - 惰性计划:
scan_*产生LazyFrame,优化器做谓词下推、投影下推、连接重排与公共子表达式消除;explain()可读计划,collect(streaming=True)分块执行以处理大于内存的数据。 - 空值语义:pandas 用
NaN(浮点)、None(对象)与pd.NA三种标记,skipna决定聚合是否忽略;Polars 的null与NaN是两个不同值,比较与填充要分别处理。 - 连接与分组:连接按键匹配,键不唯一会放大行数;分组聚合的成本由基数和分组数决定,
category或字典编码能显著降低字符串开销。窗口函数在分区内计算,分区过大会物化大量中间结果。 - 文件格式:Parquet 按列压缩、按行组存储统计信息,列裁剪与谓词下推都依赖它;CSV 需要全量解析,类型推断还会扫描样本,生产链路应尽早落成 Parquet。
2.3 完整枚举
| 操作 | pandas | Polars | 注意 |
|---|---|---|---|
| 读取 CSV | read_csv | read_csv / scan_csv | 指定 dtype、分隔符、编码 |
| 读取 Parquet | read_parquet | read_parquet / scan_parquet | 列裁剪优先 |
| 读取数据库 | read_sql | read_database | 注意连接、分页与类型映射 |
| 选择列 | df[["a", "b"]] | select("a", "b") | 避免复制整表 |
| 过滤行 | df[df.a > 0] | filter(pl.col("a") > 0) | 尽早过滤 |
| 新增列 | df.assign(c=...) | with_columns(...) | 表达式优于 apply |
| 分组聚合 | groupby().agg() | group_by().agg() | 注意空组与顺序 |
| 连接 | merge | join | 明确 how、键唯一性与后缀 |
| 纵向拼接 | concat | concat / vstack | 对齐列名与 dtype |
| 排序 | sort_values | sort | 稳定排序与 null 位置 |
| 窗口 | groupby().transform | over | 分区大小影响内存 |
| 透视 | pivot_table | pivot | 高基数会膨胀 |
| 缺失值 | isna / fillna | is_null / fill_null | 区分 NaN 与 null |
| 类型转换 | astype | cast | 失败策略要先定 |
| 写出 | to_parquet | write_parquet | 生产优先列式格式 |
| 计划 | 无等价物 | explain() | 看下推与连接顺序 |
2.4 关键数字与量级
| 指标 | 量级 | 说明 |
|---|---|---|
逐行 apply 对比向量化 | 慢一到两个数量级 | 取决于 Python 回调开销 |
| pandas 字符串列 | 每元素一个 Python 对象 | 大表内存显著高于 Arrow |
| Polars 多线程 | 默认用满 CPU | 受核数与分组基数影响 |
| Parquet 对比 CSV | 体积常小数倍 | 列裁剪后差距更大 |
| 读取延迟 | 毫秒到分钟 | 受文件数、压缩、远端存储影响 |
| 内存估算 | 行数 × 列宽 × 副本数 | int64 每列每行 8 字节 |
| 大于内存的数据 | 需 streaming 或分块 | pandas 分块读,Polars 流式 |
| 连接放大 | 取决于键基数 | 重复键可放大数十倍 |
3 实践
3.1 最小示例
pandas:
import pandas as pd
orders = pd.read_csv(
"orders.csv",
usecols=["customer_id", "amount", "created_at"],
dtype={"customer_id": "string", "amount": "float64"},
)
top = (
orders[orders["amount"] > 0]
.groupby("customer_id", as_index=False)["amount"]
.sum()
.sort_values("amount", ascending=False)
.head(10)
)
top.to_parquet("top_customers.parquet", index=False)
Polars:
import polars as pl
top = (
pl.scan_csv("orders.csv")
.select("customer_id", "amount", "created_at")
.filter(pl.col("amount") > 0)
.group_by("customer_id")
.agg(pl.col("amount").sum().alias("amount"))
.sort("amount", descending=True)
.head(10)
.collect(streaming=True)
)
top.write_parquet("top_customers.parquet")
追踪:scan_csv 只建立计划,select 与 filter 被下推到扫描;group_by 在分区内聚合,sort 与 head 在收集阶段完成。pandas 版本每一步都产生中间对象,groupby 之后的 head(10) 仍会对全部组排序。
3.2 常用操作与参数
| 操作 | 命令 / 参数 | 说明 |
|---|---|---|
| 安装引擎 | uv add pandas polars pyarrow | Arrow 是 Parquet 与零拷贝的底座 |
| 固定列类型 | dtype= / schema_overrides= | 避免推断漂移 |
| 只读部分列 | usecols= / select() | 内存与 I/O 直接减半 |
| 谓词下推 | filters= / filter() | Parquet 行组统计决定收益 |
| 分块处理 | chunksize= / scan_* | 大文件不整表读入 |
| 流式执行 | collect(streaming=True) | Polars 分块计算 |
| 看内存 | df.memory_usage(deep=True) | pandas 真实占用 |
| 看计划 | lf.explain() | 下推与连接顺序 |
| 看 schema | df.schema / df.dtypes | 类型错误的入口 |
| 本地 SQL | duckdb 直查 Parquet | 中等规模 + SQL 熟悉 |
3.3 标准流程
- 先量数据:行数、列数、dtype、缺失率、文件大小与基数,决定单机还是分布式。
- 选引擎:pandas 适合生态与中小表;Polars 适合大表、惰性与多线程。
- 尽早裁剪:只读需要的列,把过滤推到扫描,再连接与聚合。
- 用表达式替代
apply;必须逐行时先评估批量化或原生扩展。 - 固定 dtype 与空值语义,写出 Parquet,记录 schema 版本。
- 把探索逻辑固化成脚本:参数化输入输出、加断言、放进调度器。
3.4 与相邻技术的组合
- DuckDB:在 Parquet/CSV 上直接跑 SQL,适合“中等规模 + SQL 熟悉”的分析。
- Arrow:pandas、Polars、DuckDB 之间零拷贝交换列式数据,避免来回转换。
- Spark:单机放不下时把同一套清洗逻辑改成分布式作业,注意 UDF 与序列化成本。
- dbt / Airflow:数据帧负责转换,调度器负责依赖、重试与回填。
- Notebook:探索阶段用,生产阶段由 Scripting Workflow 的脚本或包替代。
3.5 选型维度
| 维度 | 取值 | 影响 |
|---|---|---|
| 数据规模 | MB / GB / TB | 决定单机、流式还是集群 |
| 执行模式 | eager / lazy | 惰性优化减少中间结果 |
| 团队熟悉度 | pandas / SQL / Polars | 直接影响交付速度 |
| 字符串与 null | 低基数 / 高基数 | 决定编码与内存 |
| 生态 | 可视化 / 机器学习 / SQL | pandas 生态更广 |
| 交付形态 | notebook / 脚本 / 服务 | 决定测试与调度方式 |
3.6 决策规则
- 表能放进内存且团队熟悉 pandas:先用 pandas,别为性能提前迁移。
- 数据接近内存上限、需要多线程或惰性优化:Polars。
- 以 SQL 为主、文件在本地或对象存储:DuckDB。
- 数据跨机器或需要容错:Spark/Flink,不要硬扩单机。
- 中间结果一律 Parquet,不要用 pickle 做跨系统交换。
- 只要脚本要重复运行,就把 notebook 固化成带参数的入口。
3.7 替代方案对比
| 方案 | 优势 | 代价 | 适用 |
|---|---|---|---|
| pandas | 生态最广、资料多 | 内存开销、单线程为主 | 中小表、探索、ML 预处理 |
| Polars | 快、惰性、多线程、Arrow | API 较新、生态较窄 | 大表、生产管线 |
| DuckDB | SQL、零拷贝查文件 | 复杂 Python 转换较弱 | 分析型查询、Parquet 湖 |
| Spark | 分布式、容错 | 集群成本、启动慢 | TB 级批处理 |
| Flink | 流式、事件时间 | 运维复杂 | 实时管道 |
| notebook | 交互快、可视化 | 隐藏状态、难测试 | 探索、报告 |
纯 Python 与 csv | 零依赖 | 慢、类型处理原始 | 几十行的小文件 |
3.8 何时不该用
- 数据远大于内存且没有流式或分块方案:先换引擎,不要调内存上限硬撑。
- 需要事务、行级更新与并发写:用数据库,不要拿 DataFrame 当存储。
- 只是几十行 CSV:标准库
csv足够,引入数据帧反而增加依赖与内存。 - 需要在线低延迟服务:预计算或换 serving 存储,不要在请求里跑全表聚合。
- 数据语义高度依赖图关系或文档层级时,表格模型会扭曲问题。
4 边界
4.1 典型故障
| 症状 | 根因 | 处理 |
|---|---|---|
| 赋值后原表被改或报警告 | 链式赋值落在切片副本上 | 用 .loc 一次赋值或 .assign |
| 内存比 CSV 大很多 | 字符串退化为 object | 指定 dtype 或用 Arrow 字符串 |
| 连接后行数暴涨 | 键不唯一或存在重复 | 先去重聚合,检查键基数 |
| 求和结果对不上 | 索引对齐或 NaN 被跳过 | reset_index,明确 skipna |
| Polars 报 schema 不匹配 | 列类型与表达式不一致 | 显式 cast,先看 schema |
apply 跑几十分钟 | 逐行 Python 回调 | 改向量化表达式或分批 |
| notebook 重启后结果不同 | 隐藏状态与执行顺序 | 从头运行,固化脚本 |
| 中文 CSV 乱码 | 编码不是 UTF-8 | 指定 encoding,统一写 UTF-8 |
| Parquet 过滤仍然很慢 | 行组过大或没有统计信息 | 调整行组大小,落盘时排序 |
| 写出后下游读不到新分区 | 目录式写入未原子替换 | 写临时目录后原子重命名 |
4.2 反模式
| 做法 | 后果 | 替代 |
|---|---|---|
iterrows() 遍历大表 | 慢且易丢 dtype | 向量化表达式 |
链式赋值 df[df.a > 0]["b"] = 1 | 改不到原表 | .loc 或 .assign |
| 先读全表再选列 | 内存与 I/O 浪费 | usecols / select |
| 用 pickle 做跨系统交换 | 版本与安全风险 | Parquet/Arrow |
| 在 notebook 里藏关键逻辑 | 无法复现、无法测试 | 抽成函数或脚本 |
用 print 当唯一校验 | 看不到 dtype/null 问题 | 断言 schema 与行数 |
用 inplace=True 掩盖复制 | 语义混乱、链式失效 | 重新赋值 |
| 在高基数列上分组 | 分组表巨大、内存爆 | 先聚合或换编码 |
4.3 可观测信号
结构看 df.info() 与 df.schema;内存看 memory_usage(deep=True) 与进程 RSS;缺失看 isna().mean() 与 Polars 的 null_count();计划看 lf.explain() 与 DuckDB 的 EXPLAIN;运行记录输入行数、输出行数、耗时与峰值内存;分区与文件看行组大小、文件数与压缩率;结果校验看主键唯一性、行数守恒与金额汇总对账。
4.4 安全 / 性能 / 一致性边界
- 内存边界:向量化仍会物化中间列;大表要流式或分块,
1 亿行 × 10 列 int64就是 8 GB 起。 - 空值与类型边界:
NaN、None、null在 pandas 与 Polars 中不完全等价,聚合前要统一。 - 可复现边界:固定 dtype、排序与随机种子;notebook 的隐藏状态不算复现。
- 合规边界:数据帧里常含个人可识别信息,导出、日志与 notebook 共享前要脱敏。