更好的 AI 代码注释检测器：77% 平衡准确率与可解释的特征激活
来源: entropicthoughts.com — 2026-09-09
概述
作者重建了 AI 代码注释分类器：上一版用了部分个人私有数据、基础不牢，因此无法公开代码与数据；这一版改用公开数据与更好的基础。新版的界面可以点击被分类文本的任意位置，查看哪些特征在该处激活、它们如何影响总判断。性能上平衡准确率是 77%，输出的预测百分比经过校准，可以直接读作该判断正确的概率；当分类器很有信心（80% 以上）时假阳性风险降到 5%，而在 50% 附近不确定时，校准意味着它大约有一半会判错。在非合成、更贴近真实世界的评论上，准确率反而升到 88%、F1 达 87%。
核心要点
- 重建版基于公开数据与更好的基础，因此代码和数据可以公开。
- 界面支持点击文本任意位置，查看哪些特征在此激活以及它们对总判断的贡献。
- 平衡准确率 77%，且预测百分比经过校准，可直接当作正确概率来读。
- 置信度 80% 以上时假阳性风险降到 5%；置信度在 50% 附近时约有一半会判错。
- 在更真实的非合成评论上准确率达到 88%、F1 为 87%，比训练数据上的表现更好。
金句
当分类器非常自信时——比如置信度 80% 以上——假阳性的风险会降到 5%。
👍 0
👎 0
返回 Lobsters 首页