数据仓库搬离 DuckDB：单机神器撑不住多租户云
来源：posthog.com — 2026-11-02
📋 概述
PostHog 五个月前才高调宣布用 DuckDB 重建数据仓库，如今又亲手把它拆掉。原因不是 DuckDB 不好，而是它擅长的场景是单机分析，而云端多租户要求在下单前就把 CPU 和内存算准，谁也算不准。整个过程后他们攒下 2 PB、约 1 万亿行、1530 万份快照的实测数据，最终决定用自家魔改的 Trino 加自研表格式 HogLake 重做。
🔑 核心要点
- DuckDB 唯一的硬伤是资源必须提前预估：单机引擎在云上必须按查询最坏情况扩机器，硬盘能加但查询会慢到不可用。
- DuckLake 的元数据目录为了跨数据库可移植，牺牲了引擎级优化空间，单表写入在 PostHog 规模下能超过三分钟。
- 目录里超过 99% 的统计行属于已删除的表，清掉后写入快 30 到 50 倍，但很快又长回来。
- 直接暴露 Postgres 5432 端口的成本远高于 HTTP：连接池、TTL、负载均衡工具链全都缺失，客户端的兼容长尾永远追不完。
- 新架构围绕自研 Trino 分支加新表格式 HogLake，仍然先在自家 PB 级数据上验证，再交给设计伙伴。
💡 金句
We've learned not to hype the tech behind a warehouse so much. What counts is the experience it gives you.
👍 0
👎 0
← 返回 Hacker News 首页