格鲁吉亚语基准：两家顶级 AI 实验室在一种不守任何规则的语言上撞车

📋 概述

作者参加 Kaggle 基准挑战，选了一个几乎没人测过的方向：格鲁吉亚语。这种语言拥有自己独立的字母表，不属于任何主要语系，几十年来一直是语言学家眼中独一无二的样本。他设计五个任务，同时覆盖理解与生成两层，让 OpenAI 与 Anthropic 的模型在 Kaggle 上跑同一套题。核心发现是理解早已解决、生成远未解决——模型能读懂格鲁吉亚语，却很难正确产出它。数字是最大的失败来源，而模型的出错方式带着很强的格鲁吉亚语特征。他还测出同一段内容用格鲁吉亚语表达会消耗 Claude 更多 token，而便宜的小模型在部分任务上并不比贵模型差。文章附上了完整成本明细、结果仪表盘与局限说明。