dev.to | 📄 原文链接 | 2026-10-13 收录

我的数据去哪了?把大模型当数据流水线侦探来测

来源:dev.to — 2026-10-11

📋 概述

每个数据工程师都收到过这种工单:销售说 CRM 里明明有 Umbrella Corp,看板上却没有,麻烦今天下班前查一下它去哪了。没人知道原因,这就是工单的全部意义——CRM 和看板之间有一条流水线,负责摄入记录、抽取公司名、合并重复项并过滤掉一部分,记录可能在任何一步丢失。于是你去翻日志,其中一半上周二已经被轮转掉了,最后在终表里找到「Umbrella Corporation Inc」——这是我们要找的那个 Umbrella 吗?也许。大概吧。名字差不多,只是多了个 Inc。好的调查者会说「它被过滤掉了,这是那行日志」,或者说「我说不出来」;坏的调查者会选「大概」,挑那个长得像的,关掉工单去吃午饭,两周后有人发现看板一直在显示另一家公司的数字。作者做了「Where Did My Data Go?」来测这一点:模拟 15 个小流水线场景,每场决定那条公司记录真实发生了什么;流水线像真实系统那样写日志,然后删掉一部分,有时什么都不删、有时删几条、有时删掉几乎全部;模型拿到剩下的日志,必须说出记录的去向,或者在这些日志无法证明任何单一答案时回答「说不出来」;判定用普通代码而不是大模型裁判,而且对照的是剩余日志实际能证明什么、而不是隐藏的真相——所以即使证据被删掉了、瞎猜恰好猜对,正确回答仍然是「说不出来」。

🔑 核心要点

💡 金句

一个好的调查者会说「它被过滤掉了,这是那行日志」,或者说「我说不出来」。
← 返回 dev.to 首页