Artificial Analysis v5 与评测者的两难

📋 概述

Nathan Lambert 借 Artificial Analysis Intelligence Index v5 的发布，讨论独立评测机构的困境：指数必须收敛成一个数字才好传播，但任何聚合方式都有取舍；而 v5 把总分均分给知识工作、编码、科学、通用四块，每块内部再混入具体基准，排名乍看合理，却明显露出勉强的痕迹。他认为最成熟的用例仍是编码，开放模型在这里最跟得上；知识工作则不然，他对开放模型的信心要低得多，并预言单一智能指数的时代迟早结束。