数据流模型,再审视:十年后再看流批统一范式
来源:vldb.org — vldb.org · 11 分 · by scott_s
📋 概述
VLDB 2026 收录的这篇论文对 2015 年那篇奠定 Google Cloud Dataflow / Apache Beam 流批统一范式的奠基之作《The Dataflow Model》做了一次再审视。原作提出以事件时间、水印、窗口与触发器为核心的统一模型,让批处理与流处理共享同一套抽象;十年过去,这一模型已从论文走向主流数据处理引擎。本篇回顾它被广泛采纳后解决与遗留的问题,重新审视当初设计在真实大规模系统中的得与失。
🔑 核心要点
- 是对 2015 年《The Dataflow Model》奠基论文的十年后回顾与再审视。
- 原论文提出了以事件时间、水印、窗口与触发器为核心的流批统一抽象。
- 该模型后来成为 Google Dataflow 与 Apache Beam 的理论基石并进入主流。
- 本文在大规模真实系统落地多年后重估这一设计范式的得失。
💡 金句
十年前那个把批和流画在一张图上的构想,如今已是无数数据处理引擎默认的世界观——回头看它依然锋利,也仍有未尽的坑。
👍 0
👎 0
← 返回 Hacker News 首页