把「柏拉图表示假说」从猜想变成定理
来源:arxiv.org — 2026-11-01
📋 概述
Balestriero 与 LeCun 的论文把柏拉图表示假说(不同模态的模型在规模变大后会收敛到同一个世界表示)从猜想推进为定理。他们证明:分别在任意数量模态上训练的联合嵌入预测架构(JEPA),学到的表示在相差一个旋转的意义下相同。论文由此给出该现象成立的条件,并指出怎样通过设计改进表示的对齐程度。
🔑 核心要点
- 结论是「相差一个旋转」意义下的相同,而不是逐位相同,这解释了跨模态对齐为何总能找到线性映射。
- 证明依赖 JEPA 的预测式目标,而不是对比学习式的负样本对齐。
- 定理同时给出条件:满足条件时收敛必然发生,不再是经验观察。
- 作者进一步用该框架提出改进表示对齐的具体做法。
💡 金句
We turn the hypothesis into a theorem.
👍 0
👎 0
← 返回 Hacker News 首页