在树莓派 Pico 2 W 上跑一个会做梦的微型世界模型

📋 概述

SheepSeb 在树莓派 Pico 2 W 上用两个小网络同时生成并游玩游戏：世界模型根据当前帧和动作预测下一帧与奖励，演员网络看着生成的画面选动作，Breakout、Doom、Flappy、Pong 的画面全部由网络采样出来。他研究的是循环 transformer——同一组权重反复套用而非堆叠不同层，省内存，因此一个循环世界模型能塞进带 FPU 的微控制器；游戏刻意挑得简单，因为真实版本可以直接写进 numpy，逐帧比对生成结果。后来他又加了流式强化学习，让板子在自己的梦里学会玩。