Skip to main content

1 / 4概念

Ecosystem: Scripting Workflow

一次数据处理是否可信,不看 notebook 里最后一张图,而看能否在另一台机器上用一条命令重跑出同样的输出。判断标准是四个问题:输入从哪来、参数谁给、失败怎么退出、重复执行会不会重复写入。本页把这四件事落成脚本,而不是留在内核状态里。

1 概念​

1.1 一句话定义​

脚本是一个参数化、可测试、可重复执行的入口:它从命令行或配置读取输入输出与运行窗口,按固定顺序执行校验、转换与写出,用日志和退出码报告结果,并用幂等写入保证重跑安全。

1.2 它解决什么问题​

  • 可复现:代码、参数、输入快照与依赖版本一起构成一次运行,任何一项缺失都无法复现。
  • 可交接:入口、参数与退出码写清楚,别人不必读完全部代码才能运行。
  • 可重试:失败后重跑不会产生重复行或半个文件。
  • 可验证:schema、行数与业务断言在写出之前拦截坏数据。
  • 可调度:脚本由 cron、调度器或容器任务驱动,不依赖某台机器上的内核状态。

1.3 不属于本页的内容​

主题去哪
数据帧内部、惰性计划与内存布局Dataframes
dbt/Airflow 的依赖图与回填策略Data Pipelines
容器镜像构建与运行时Docker
CI 阶段、缓存与制品CI/CD
单元测试框架的完整用法Unit Testing
分布式批处理与流处理Batch Processing、Stream Processing

1.4 关键术语​

术语含义容易混淆的点
notebook带内核状态的交互文档不是可重复执行的入口
kernel持有变量与导入的执行环境重启即丢失状态
脚本由解释器从头执行的入口不是被导入的模块
入口点安装后生成的命令不是 __main__ 本身
幂等重复执行产生同样结果不是“不会失败”
回填对历史分区补跑不是重试
分区按日期或键切开的数据单元不是文件格式
水位线已处理到的边界不是运行时锁
原子写入要么完整可见,要么不可见不是事务
数据校验对 schema、范围与唯一性的断言不是单元测试
退出码进程向调度器报告的成败不是日志级别
结构化日志固定字段的机器可读日志不是 print