论文：人工神经网络内部涌现出符号化结构
来源：arxiv.org — 排名 #19 · 244 分
📋 概述
McCoy、Soulos、Linzen 与 Smolensky 的新论文提出：尽管神经网络看起来不适合处理结构化符号，其内部表征其实在隐式地实现符号结构。作者表明各类网络的向量表征可被符号结构紧密逼近，能用封闭形式方程替换整个表征生成过程，该发现在操纵列表的小型网络与处理算术、逻辑、代码、语言四大符号领域的大语言模型上均成立。
🔑 核心要点
- 提出神经网络内部表征隐式实现符号结构的假设
- 网络向量表征可被符号结构紧密逼近
- 封闭形式方程可替换表征生成过程
- 在算术、逻辑、代码、语言四个符号领域得到验证
- 主张用集成符号化与联结主义来解释网络能力
💡 金句
尽管表面看来格格不入，神经网络的内表征或许早已在悄悄承载符号结构。
👍 0
👎 0
← 返回 Hacker News 首页