Edward Benson 在思考一个具体问题:能否给一个已经训练好的神经网络外挂一个布尔电路侧车,用来读取它的激活状态?他把问题拆成两半——如何把布尔电路表示成一组神经元,以及如何把这个电路接进训练好的网络。表示那一半相对简单:神经元是输入的加权和加偏置再过激活函数,只要把输入限定为 0/1、激活函数取「是否大于零」,AND、OR、NOT 就都能写死成固定权重。真正难的是第二半:怎么在不重新训练主干的前提下,把侧车的输入接到目标层的激活上。
🔑 核心要点
表示是平凡的:0/1 输入 + 阈值激活,AND/OR/NOT 都能用固定权重实现。
难点在接口而非逻辑:如何把侧车接到已训练网络的中间激活,而不动主干权重。
这个方向的动机是可解释性与可控性:用确定性逻辑去读、去约束黑箱模型的内部状态。
作者把它定位成「边写边想」的笔记,不是已完成的工作。
💡 金句
This post is mostly me thinking out loud: how is it possible to install a boolean circuit sidecar to an otherwise trained neural network?