为什么评估智能体比评估模型更难

📋 概述

作者正在构建开源的 AgentEval Forge 智能体评估实验室，最初以为智能体评估只是模型评估的延伸，结果发现两者的核心问题完全不同。模型评估只问“这个答案好不好”，而智能体评估要问“这个系统表现是否足以信任”——因为被评估的不再只是一个答案，而是一整条工作流：工具选择、重试、中间状态、成本、恢复行为乃至策略遵循。文章通过亲身构建经历论证了为什么很多团队仍用“打分答案”的惯性去评估已经越界的系统。