Nature 研究称模型蒸馏可经无关数据隐性传递行为特征

研究称，大语言模型蒸馏时，即便训练数据只是数字序列、代码或数学推理，学生模型仍可能继承教师模型的偏好或失调行为。

论文称，这种“隐性学习”在师生模型共享或高度匹配底模时更明显，提示 AI 安全评估除看输出，还应追踪模型与训练数据来源。

Nature

🌸 在花频道｜茶馆讨论｜投稿通道