延迟 vs Token：用 Gemma 优化 Agent 的经验，以及哪些努力没奏效

📋 概述

作者在普通 Mac 上跑 Gemma2 9B 参数版做 agent，等了 30 多分钟模型毫无响应——这不是 bug，而是实验给出的最诚实答案。文章批判了绝大多数对话式 agent 教程偷偷采用的「线性上下文堆叠」：每一轮都把整段历史原样重发一遍。这带来记忆饱和、撞 token 上限、以及「lost in the middle」导致的生成质量下降。作者用 Gemma 作为案例研究，探讨从教育原型迈向生产级 agent 的真实差距。