压缩为什么是预测：从信息论到语言模型的底层同一性
来源：lukefleed.xyz — 2026-08-15
📋 概述
作者梳理 Hacker News 上反复出现的「压缩即预测」论断。一个概率模型为每个可能的续写分配条件概率，熵编码器把观测续写的概率转成比特——理想负载长度正是负对数概率之和。通过算术编码、语言模型、3Blue1Brown 与 ngrok 文章等多个角度，论证压缩与预测在数学上本就等价。
🔑 核心要点
- 概率模型为每种可能的续写分配条件概率，熵编码器将其转为比特。
- 理想负载长度 −log Q(x) 揭示压缩与预测在信息论上的同一性。
- 算术编码、语言模型与交叉熵推导殊途同归。
- Salvatore Sanfilippo 追问这种「预测=压缩」的等价到底该推到多远。
💡 金句
一个概率模型为每个可能的续写赋予条件概率，而熵编码器把观测到的续写概率转换成比特。
👍 0
👎 0
← 返回 Lobsters 首页