格鲁吉亚语基准：两家顶级 AI 实验室在一种不守任何规则的语言上撞车

📋 概述

作者参加 Kaggle 基准挑战，选了一个几乎没人测过的方向：格鲁吉亚语。这种语言拥有自己独立的字母表，不属于任何主要语系，辅音可以连着堆八个，语法复杂到多数格鲁吉亚人自己也说不全。他设计五个任务，同时覆盖理解与生成两层，让 OpenAI 与 Anthropic 的模型在 Kaggle 上跑同一套题，数据集还专门请语言专家复核过。核心发现是理解早已解决、生成远未解决——模型能读懂格鲁吉亚语，却很难正确产出它；数字是最大的失败来源，而模型的出错方式带着很强的格鲁吉亚语特征。他还测出同一段内容用格鲁吉亚语表达会消耗 Claude 更多 token，而便宜的小模型在部分任务上并不比贵模型差，文章附上完整成本明细与结果仪表盘。