JSON Tiles：让半结构化数据也能快速分析
来源：db.cit.tum.de — 2021-06
📋 概述
SIGMOD 2021 论文（Durner、Leis、Neumann）提出 JSON tiles：在不牺牲 JSON 灵活性的前提下，让关系型系统以接近原生列存的速度分析 JSON。做法是在加载时自动检测文档集合中隐含的公共结构、推断类型，把高频键物化成强类型列并收集优化器统计，低频键与异构（离群）对象则存进为快速单键访问优化过的二进制格式。与 Sinew 那种全局模式检测不同，它把输入切成小块（tiles），在块内寻找局部子结构，因而既不漏掉高频键，又能适应字段增删与多来源日志拼接，还便于并行加载。系统集成进 Umbra 后，扫描性能接近列存。
🔑 核心要点
- 目标：不牺牲 JSON 的灵活性，又让关系系统以接近原生列存的速度做分析
- 做法：加载时自动检测隐含公共结构、推断类型、把高频键物化成强类型列
- 低频键与离群对象存入为快速单键访问优化过的二进制格式
- 与 Sinew 的全局模式检测不同：把输入切成小块，在块内寻找局部子结构
- 局部检测既不漏高频键，又能适应字段增删，还可并行化批量加载
- 在 Umbra 中实现，并把统计信息写入每个 tile 供优化器估算选择率与连接顺序
💡 金句
我们的方法既达到高速的列存扫描性能，又能对异构数据对象或来自不同来源的合并日志保持稳健。
👍 0
👎 0
← 返回 Lobsters 首页