六万星的 Humanizer 面前,我那个 linter 插件高了 2.67 分
来源:dev.to — 2026-10-24
📋 概述
作者想知道「针对 AI 文风的 linter」到底比一句好提示词强多少,于是做了 11 组对照:把 linter 打成 Claude Code 插件,对比六个声称能去掉 AI 味的 skill 以及裸 Claude,每组每个任务跑三次。12 个公开任务上,linter 拿 58.67 分(满 60),最好的对手是 56.00;但在 6 个未公开任务上,四组都在 29.67 分以上,说明那套题分不出高下。评分只看改完的文件里剩下什么,谈问题不给分;每个任务都埋了数字、人名、代码和链接,脚本核对有没有被改坏,需要判断的部分交给盲评,99 个格子里 92 个全票一致。
🔑 核心要点
- 只给文件改完的结果打分,光讨论问题一分不得
- 每个任务都埋了数字、人名、代码、链接,脚本核验没被改坏
- 判断类评分全盲:打乱匿名、先给理由再给结论、每格五票
- 公开任务差距 2.67 分,未公开任务上四组基本打平
- 评测协议在跑第一格之前就已写好并提交
💡 金句
“A task scores only what the file contains afterwards, so talking about the problem earns nothing.”
译:任务只按文件最终变成什么样来打分,光讨论问题一分不得。
← 返回 dev.to 首页