强模型需要多复杂的脚手架？arXiv 论文说：几乎不需要

📋 概述

这篇论文研究自主机器学习工程（MLE）智能体的构建方式。作者指出，近来的 MLE 智能体在公开排行榜上进步显著，动机通常被归结为长周期任务上的停滞与大模型原语能力有限，于是现代 MLE 智能体被架在越来越复杂的机械结构之上：多智能体编排器、专用检索子智能体等等。与之相对，更原始但能力更强的编码智能体——让大模型通过 read、write、bash 三个原语直接接触执行环境——在学界受到的关注很少。论文的发现是：在相同时间预算、相同前沿模型骨干的条件下，开源的最先进脚手架相对「最小脚手架编码智能体的单个会话」基线没有任何优势，说明性能的主要驱动因素是模型骨干本身。通过一系列大规模系统性消融实验，作者论证在编码智能体的设定下，那些机械层次变得冗余，并据此得出结论：围绕强模型精心手工搭建脚手架的努力，在当前的 MLE 基准上回报很差。