权重空间的编程火花：LLM 能直接读写神经网络权重
来源：rikiyat.github.io — 2026-11-02
📋 概述
MIT CSAIL 的 Rikiya Takehi、Jayden Teoh、Alex Zhang、Omar Khattab 发布早期结果：GPT-6 Astra 只看原始权重（不给前向传播、不许写训练循环），就能判断四个同结构 PPO 网络各自训练的是哪款游戏；能说出三个 DDPM 在生成圆、方还是三角；把输入输出层剥掉、只留四个 transformer block 时，仍能识别语料是 Python、罗马字日文还是英文，并指出全部 induction head。更激进的是写权重：修一个卡在斜坡前的 PPO 局部最优，改 3.5% 权重后 1024 局全过；编辑 Qwen3.5-0.8B 的 0.016% 权重，MATH-500 从 7.9% 涨到 48.1%。
🔑 核心要点
- 读游戏实验里四个网络维度、输入通道、动作空间完全相同，不看权重无法区分，Astra 全部答对。
- 修车实验的原网络在 256 局里 0 成功，Astra 一次回复就让它全部成功，方法是加一条读位置与速度的小通路，轮子过红线后自动关闭。
- 生成式写权重：MinAtar 三款游戏的零样本网络胜过 PPO 训练 1 亿步，Breakout 上对 5 亿步版本得分约 20 倍。
- 它画的图形是轮廓而非实心，说明它读的是权重的几何结构，而不是偷偷跑了一次前向。
- 作者的判断：权重优化可能从 Adam、Muon 这类符号优化器，转交给会推理权重本身的 LLM。
💡 金句
我们或许很快就会看到，神经网络权重由那些会推理自身权重的 LLM 直接优化。
👍 0
👎 0
← 返回 Lobsters 首页