Skip to main content

1 / 4概念

Ecosystem: Dataframes

数据帧把表格变成按列存储的数组,性能来自向量化内核和内存布局,而不是 Python 循环。判断一段处理是否可靠,不看用了 pandas 还是 Polars,而看能否说清每一列的类型、每一步是否物化中间结果、连接会不会放大行数、数据放不放得进内存。

1 概念​

1.1 一句话定义​

DataFrame 是带列名和行索引的二维表,底层由按列连续存储的同长度数组组成;pandas 以 NumPy 为内核、默认立即求值,Polars 以 Arrow 为内存格式、用表达式计划并支持惰性求值与流式执行。

1.2 它解决什么问题​

  • 表格 I/O:统一读取 CSV、Excel、Parquet 与数据库结果集,处理分隔符、编码与类型推断。
  • 声明式转换:选择、过滤、派生列、分组聚合、连接与窗口,用表达式描述而不是写循环。
  • 向量化执行:一次内核调用处理整列,把循环下推到 C/Rust/Arrow 实现。
  • 受限内存下的处理:列裁剪、谓词下推、惰性计划与流式执行减少中间结果。
  • 可验证的数据契约:固定 dtype、空值语义与输出 schema,让下游可以依赖。

1.3 不属于本页的内容​

主题去哪
解释器、对象模型与 GCInterpreter and Objects
环境、依赖与包分发Modules and Packaging
脚本化、CLI、测试与调度Scripting Workflow
Spark/Flink 的分布式批流处理Batch Processing、Stream Processing
关系模型、事务与索引Relational Databases、Transactions & Concurrency
数据湖格式与表管理Lakehouse

1.4 关键术语​

术语含义容易混淆的点
DataFrame带列名的二维表不是数据库表,没有事务
Series带索引的一维列不是 Python list
Arrow跨语言列式内存格式不是文件格式
向量化一次内核调用处理整列不是多线程
eager每步立即计算不是“更快”
lazy先建计划,collect 时执行不是缓存
谓词下推把过滤推到扫描层不是索引
投影下推只读需要的列不是行裁剪
copy-on-write修改时才复制底层数据不是深拷贝
null缺失值标记与 NaN 语义不完全相同
基数一列不同值的数量决定编码与分组成本
行组Parquet 内按行切分的存储块不是分区