🤖 OpenAI 罕见发布论文，揭示 AI 幻觉根源

OpenAI 近日罕见发表论文，系统性分析了大型语言模型产生“幻觉”的原因。论文指出，当前主流训练和评估方式更倾向于奖励模型的猜测行为，而不是鼓励其在不确定时承认“我不知道”，这直接导致了模型自信地生成错误答案。研究建议，未来应调整评估指标，对自信错误加大惩罚力度，并鼓励模型表达不确定性，以降低幻觉发生率。此外，OpenAI 正在重组模型行为团队，持续推进相关研究。

机器之心 | OpenAI 官网

💢⭐️ Claude早就在文档里写了让ai表达不知道的例子，同样的提示词拿给其他集成ai的ide，确实有奇效。具体参见Anthropic官网

🍀在花频道 🍵茶馆 📮投稿