神经网络本来就是干净的 — Hacker News 中文摘要

📋 概述

Goodfire 的 Nick Cammarata 提出一个「工作假设」：早期模型生物里多义神经元（polysemanticity）之所以存在，原因并不是叠加（superposition），而是几件普通且大多可修的问题，他给这种现象起名「递归泛化」（recursive generalization）。若成立，意味着研究者不必先把网络拆解成可读单元再去研究，而可以直接把网络自身的机制当成可读的积木，甚至可以先做「网络本体上的常规科学」。文中称现在能理解直到万亿参数级模型里的多数神经元，因此机械可解释性的前景比作者此前担心的乐观得多。