卫星死了，遗下 2123 条信号：TabPFN 打赢论文基准，八毛三分钱管住大模型的嘴
来源：dev.to — 2026-10-31
📋 概述
ESA 的 OPS-SAT 已在 2024 年 5 月 22 日再入大气层烧毁，再没有人能回答 2024 年 6 月那份存档里「03:17:13 为什么突然归零」。问聊天机器人，它会自信地给你一个传感器故障、一次重启或一次日食——全都是编的。作者因此立了一条规矩：不为死者代言。他做了「最后的卫星」：TabPFN 读取每条信号并判断哪些看起来不对，在官方 OPSSAT-AD 测试集（529 段）上一次跑完，拿到 AUCPR 0.996、F1 0.982、MCC 0.977，超过发表该数据集的论文里最好的 FCNN（0.979/0.946/0.932），而全程没有训练循环；只用餐论文给的 18 个特征，依然拿到 0.989/0.950/0.937。另一个模型是花 83 美分在 Tinker 上微调 Qwen3-8B 得到的适配器，只允许复述任务文档里写着的内容。
🔑 核心要点
- 不训练也能超过已发表 SOTA：TabPFN 的表格先验让它在 529 段官方测试集上直接赢过论文里的 FCNN，而且只用论文同款 18 个特征也照样领先。
- 微调的成本被压到美分级：一个 LoRA 把文档结构化抽取的字段级精确匹配从 65.3% 提到 93.0%，完全留出的测试文档从 72.2% 到 86.3%，全部算下来 83 美分。
- 「不知道」是必须能说出口的答案：面对归零的那一刻，模型给出的最诚实的句子是：该信号行为的原因未记录在档案中。
- 把失败也放进了演示：529 段里 1 次误报、3 次漏报，作者故意把其中一次留在 demo 里，还公开自己没达到 95% 目标以及微调反而变差的那项任务。
💡 金句
Root cause of this signal behaviour is not documented in the archive.
译：这一信号行为的原因，并未记录在档案中。
👍 0
👎 0
← 返回 dev.to 首页