在 Google Cloud 上用 Dataform 做 ELT
来源：dev.to — 2026-09-16
📋 概述
作者用同一个足球数据用例，把此前基于 dbt 的 ELT 流水线改写成用 Dataform 实现。Dataform 是 Google Cloud 原生的 SQL 数据工作流管理方案，全托管、无服务器并与 BigQuery 原生集成；文章覆盖 staging 与 mart 两层、JavaScript 引入、动态表与视图、通过 SSH 同步 GitHub，以及用 Terraform 自动创建仓库。
🔑 核心要点
- 选择 Dataform 的关键优势是它与 BigQuery 的原生集成与全托管形态。
- 流水线保留 staging 与 mart 两层结构，便于分层治理 SQL 资产。
- GitHub 仓库成为唯一事实来源，形成 GitOps 工作流：仓库变更驱动 Dataform 资源。
- CI/CD 由 Cloud Build 承担，基础设施用 Terraform 做 IaC，自动创建 Dataform 仓库并建立链接。
- 作者同时给出了同一主题的英文与法文演示视频。
💡 金句
这样一来 GitHub 仓库成为唯一事实来源，Dataform 资源的管理就变成一次 GitOps 工作流。
👍 0
👎 0
← 返回 dev.to 首页