为什么分类器不改用编码器：一次五组对照实验 — Hacker News 中文摘要

📋 概述

AWS 工程师 Marc Brooker 坦言自己不是建模专家，但尽力做得量化一些。他上周发布了 strands-decider-2B，随后被反复问到同一个问题：为什么用一个改造过的 LLM，而不是像 BERT 那样的编码器？提问者的直觉是双向注意力（每个 token 的表征同时用到前后文）应该优于因果注意力（只看前面），这也正是编码器被广泛用作分类器的原因。为了回答这个问题，他比较了五种设计：v19 是基于 Qwen3.5 的最终版解码器方案；b1 是类似原始 Transformer 的编码器-解码器结构，基于 T5Gemma 2、1B 编码器加 1B 解码器，去掉语言模型头并换上团队自己的指针头；b2 与 b1 相同但放大到 4B+4B；e1a 直接取 T5Gemma 的编码器半边、2.6B 参数；e1b 是 e1a 的延迟优化版，带掩码状态缓存，允许并行评估多个问题而互不干扰。