模型優化為何反而引發幻覺？

總覽

模型優化為何反而引發幻覺？

幻覺有兩個來源：有限學習與錯誤誘因；真正要評的是可控制的棄答，而非固定的自信程度

論文把幻覺分成「產生」與「持續」兩個階段。有限資料下的次詞元預測，使模型對缺乏重複支持的事實產生不可避免的統計錯誤；後訓練雖可降低這些錯誤，主流準確率評量卻又獎勵猜測。 作者把生成問題歸約為 IIV（is-it-valid）二元分類：某候選回答究竟有效或錯誤。

• 先看全貌｜幻覺有兩個來源：有限學習與錯誤誘因
• 再看證據｜生成有效內容，比辨識內容是否有效更困難
• 最後看邊界｜單次出現的事實，形成不可忽略的幻覺下界