把一颗 RISC-V CPU 编译进 Qwen3.5 的权重里
来源：divagr.com — 2026-10-30
📋 概述
Qwenputer 是一个实验模型：原版 Qwen 3.5 4B，唯一的改动是把一颗 RISC-V CPU 嵌进权重，并把模型自己的 Gated DeltaNet 注意力层当内存用。做法是把门控设为 1、写入强度设为 1、键用 one-hot 编码，这样每次写入正好覆盖一行、每次查询精确读回，于是 GDN 层变成真正的可寻址 RAM——而且状态大小不随上下文增长，比拿注意力当内存便宜得多。整颗 CPU 占 11 层，跑在模型前向过程里，能执行算术、C 与 MicroPython 代码，无需任何外部工具。
🔑 核心要点
- 不是插件也不是沙箱：CPU 完全跑在模型的前向传播里。
- 内存来自线性 RNN：GDN 头状态在门控=1、β=1、one-hot 键下成为精确 RAM。
- 省得离谱：GDN 状态大小恒定，不像 KV cache 随对话增长。
- 不需要训练：编译器直接把电路写成权重。
- 执行轨迹即 token：ADDR、VAL、STEP 三个 token 构成一条指令。
- 验证够硬：通过官方 riscv-tests，程序与 qemu 结果一致，连续跑过 1800 万条指令。
💡 金句
It's a stock Qwen 3.5 4B with one addition: a RISC-V CPU embedded within the weights that uses the model's own Gated DeltaNet attention layers as RAM.
👍 0
👎 0
← 返回 Lobsters 首页