オックスフォードやケンブリッジなどの研究機関による研究で、合成データを使用して大規模言語モデルを訓練すると、モデルの崩壊につながる可能性があることが分かりました。この発見はNature誌の表紙を飾りました。
研究者たちはMetaのOPT-125mモデルをテストし、中世の建築について質問しました。最初の数回の応答は妥当でしたが、9回目の反復で、モデルは意味不明な出力を生成し始めました。
論文の筆頭著者は、合成データが一部のエラーを引き起こす可能性を考慮していたが、モデルがこれほど急速に劣化するとは予想していなかったと述べています。
モデル崩壊に寄与する3種類のエラーがあります：
- 統計的近似誤差 - サンプルサイズの制限による
- 関数表現力誤差 - モデルの近似能力の限界による
- 関数近似誤差 - 学習プロセスの限界による
言語モデルへの影響を評価するため、研究者たちはMetaのOPT-125mモデルをWikiText-2データでファインチューニングしました。ファインチューニングされたモデルから合成訓練データを生成し、それを使用して後続の世代を訓練しました。
結果は、時間とともにエラーが増加し、モデルが低確率のイベントを忘れ、より均質な出力を生成し、最終的に完全な崩壊に至ることを示しました。同様の現象がVAEとGMMモデルでも観察されました。
この問題の緩和は困難です。一部の企業はAI生成コンテンツに「透かし」を入れて訓練データから除外することを検討していますが、これには企業間の協調が必要です。
これは、初期のインターネットデータで訓練されたモデルの方が実世界をより良く表現できる可能性があることを示唆しており、最初の大規模言語モデルの波に優位性を与える可能性があります。