牛津和劍橋等機構的研究發現,使用合成數據訓練大型語言模型可能導致模型崩潰。這一發現登上了《自然》雜誌的封面。
研究人員測試了Meta的OPT-125m模型,詢問它有關中世紀建築的問題。雖然最初幾輪回答還算合理,但到第九次迭代時,模型開始產生毫無意義的輸出。
論文的首席作者指出,他們曾考慮過合成數據可能會引入一些錯誤,但對模型如此快速地退化感到驚訝。
三種類型的錯誤導致模型崩潰:
- 統計近似誤差 - 由於樣本量有限
- 函數表達性誤差 - 源於模型近似能力的限制
- 函數近似誤差 - 由學習過程的限制造成
為評估對語言模型的影響,研究人員在WikiText-2數據上微調了Meta的OPT-125m模型。他們從微調後的模型生成合成訓練數據,並用它來訓練後續世代。
結果顯示隨時間推移錯誤增加,模型忘記低概率事件,在完全崩潰前產生更加同質化的輸出。在VAE和GMM模型中也觀察到類似現象。
緩解這個問題具有挑戰性。一些公司正在探索對AI生成的內容進行"水印"處理,以將其排除在訓練數據之外,但這需要公司之間的協調。
這表明,使用較早的互聯網數據訓練的模型可能更好地代表真實世界,可能使第一波大型語言模型具有優勢。