AI 模型能从数据里学，但它们能从别的模型那里学到什么

📋 概述

作者用「老师与学生」的比喻讲清楚知识蒸馏：你训练了一个很大的模型，效果很好，但它需要强大的服务器、运行昂贵，放进手机、手表或汽车里太慢也太重；从零训练一个小模型可能达不到同样的水平，蒸馏则是让小模型不只从原始数据学，还从大模型那里学，就像学生听老师讲解而不是只看教科书上的答案。关键区别在于学习信号的信息量：如果三个类别是猫、狗、狐狸，老师对一张猫的照片给出的不是「猫 100%、其他 0%」这种硬标签，而是「猫 90%、狗 9%、狐狸 1%」这样的软标签，那么较小的概率里包含了老师如何区分这些类别的额外信息——Hinton 等人把这叫作「暗知识」。作者还解释了为什么需要温度：当老师非常自信、分布过于尖锐时，那些小的概率几乎被压到零，温度让隐藏的信息更容易被看见。