Lobsters | 📄 原文链接 | 2026-11-04 收录

PostHog 把数据仓库搬离 DuckDB:2PB、1 万亿行之后的三个教训

来源:posthog.com — 2026-11-02

📋 概述

五个月前 PostHog 才把仓库重建成「每客户一个 DuckDB 实例」,现在决定搬走。作者 Benjamin Knofe-Vider 说这不是否定 DuckDB——单机分析它几乎是最好的工具——而是单机引擎必须在查询到达前就定好机器规格,而客户负载比预期复杂得多;加磁盘又慢又贵。默认启用的 DuckLake 为了跨库兼容牺牲优化空间,单表写入可能超过三分钟,因为每次提交都要重读整个目录的统计;超过 99% 的统计行属于已不存在的表,清理后写入快 30 到 50 倍但会重新长回来。直接暴露 Postgres 5432 端口也比 HTTP 难扩展得多。新架构是自研 Trino 发行版加自有表格式 HogLake。

🔑 核心要点

💡 金句

我们学会了不要太吹嘘仓库背后的技术。真正重要的是它给你的体验。
← 返回 Lobsters 首页