AI システムが悪意のある攻撃を受けて 9 回崩壊：オックスブリッジなどの研究が Nature の表紙を飾る

研究によると、AIが生成したデータを使用してAIモデルを訓練すると、「モデル崩壊」現象が発生する可能性があることが分かりました。主な結論は以下の通りです：

訓練データに大量のAI生成コンテンツが使用されると、モデルに不可逆的な欠陥が生じ、元のコンテンツ分布の低確率イベントが消失します。
この効果は「モデル崩壊」と呼ばれ、近親交配で質の低い子孫が生まれるのに似ています。
研究者はウィキペディアの記事を使用して初期モデルを訓練し、その後、前世代のモデルが生成したテキストを使用して複数世代のモデルを訓練しました。
結果は、反復回数が増えるにつれてモデルの出力品質が急速に低下することを示しました：
- 第0世代で事実誤認や奇妙な記号が現れ始める
- 第5世代で完全に意味不明になる
- 第9世代でさらに無関係な内容や文字化けが発生する
これは、AI生成データを使用してモデルを訓練すると、複数世代にわたる劣化が起こり、最終的に崩壊することを示しています。
この状況を避けるには、人間が生成した高品質のデータをより多く使用して訓練する必要があります。
AIコンテンツがインターネットに大量に流入するにつれ、将来的に本物の人間のデータを取得することがより困難で貴重になるでしょう。

結論として、この研究はAI生成データを乱用してモデルを訓練することの潜在的リスクを警告し、高品質な人間のデータの重要性を強調しています。

生成された合成データには、近親交配による遺伝的多様性の欠如に似た限界がある可能性があります。