GenAIの「偽情報製造機」は宿命なのか？
研究者たちは、GenAIの悪用事例の大半がシステムの正常な使用であり、「ジェイルブレイク」行為ではないことを発見しました。このような「通常の操作」が90%を占めています。
研究者たちが論文の後半で説明しているように、GenAIの広範な利用可能性、アクセシビリティ、超現実性により、次々と現れる低レベルの悪用形態が可能になりました - 偽情報を生成するコストがあまりにも低いのです！
この論文を読んだ後、次のような感想を抱くかもしれません：人々はGenAIを悪用しているのではなく、単にその製品設計に従って正常に使用しているだけなのです。
人々が生成型AIを使って大量の偽コンテンツを作成するのは、それがこのタスクを非常に得意としているからです。
多くの偽コンテンツには明らかな悪意がなく、これらのツールのコンテンツポリシーやサービス利用規約に明確に違反していませんが、その潜在的な危害は甚大です。
この観察結果は、404 Mediaの以前の報道と一致しています。
AIを使って他人になりすましたり、有害なコンテンツの規模と拡散範囲を拡大したり、同意のない親密な画像（nonconsensual intimate images、NCII）を作成したりする人々の大半は、使用しているAI生成ツールに侵入したり操作したりしているわけではありません。彼らは許可された範囲内でこれらのツールを使用しています。
簡単に2つの例を挙げることができます：
AIツールの「フェンス」は巧妙なプロンプトで回避できます。ElevenLabsのAI音声クローンツールを使用して、同僚や有名人の声を非常にリアルに模倣することを阻止するものはありません。
Civitaiユーザーは、AIで生成された有名人の画像を作成できます。このプラットフォームにはNCIIを禁止するポリシーがありますが、同様に、ユーザーがGitHub上のオープンソースツール（Automatic1111やComfyUIなど）を使用して自分のマシン上でNCIIを生成することを阻止するものはありません。
これらのAI生成コンテンツをFacebookに投稿することはプラットフォームのポリシーに違反する可能性がありますが、生成行為自体は使用しているAI画像生成ツールのポリシーに違反していません。
メディア：GenAIの悪用は氷山の一角
Googleの研究材料の多くがメディア報道から得られているため、これは問題を提起します：これは研究結論にメディアのバイアスをもたらすのでしょうか？結局のところ、スポットライトとしてのメディアは、トピックの選択と報道に独自の偏りがあります。
センセーショナルな出来事はより報道されやすく、これによりデータセットが特定のタイプの悪用に偏る可能性があります。
404 Mediaはこれに対して次のように回答しています：メディアは確かに確認できる出来事しか報道できませんが、確実に言えることは、我々がまだ気づいていない生成型AIの悪用が大量に報道されていないということです。
上記で言及したAIを使用して有名人のポルノ画像を生成するケースでさえ、メディアによって大々的に暴露されていますが、依然として報道不足の問題があります。
まず、このトピックはまだタブーであり、多くの出版物が報道を望んでいないからです。
次に、メディアは個々の事例しか捉えられず、出来事の全体像とその後の展開を常に追跡することができないからです。404 Mediaの編集者の1人は次のように書いています：
Patreonの公式に連絡して対応を求める前（その後、スポークスマンは彼のアカウントを閉鎖しました）、私はPatreon上でNCIIを通じて利益を得ているユーザーについて記事を書きました。彼は53,190枚の同意のない有名人の画像を作成しました。その記事では他に2人のNCII作成者についても言及し、その後さらに他の人々を発見しました。テイラー・スウィフトのAI生成ヌード画像がTwitterで拡散されたのは、TelegramとChanコミュニティで最初に共有されたものです。1月の記事が公開される前後、これらのコミュニティは非常に活発で、それ以来、彼らは毎日NCIIを投稿しています。私や他の記者は、すべての画像と作成者について報道することはできません。なぜなら、そうすれば他のことをする時間がなくなってしまうからです。
偽情報が氾濫すると、AIに責任転嫁するのが容易になる
インターネット上にAI生成コンテンツが氾濫した場合、何が起こるか推測してみましょう。
最も直接的な結果は、インターネット上の混沌とした状況が人々の真偽を見分ける能力に大きな試練をもたらすことです。我々は「これは本当なのか？」という常習的な疑念に陥ることになるでしょう。
インターネットが登場したばかりの時代、「ネットの向こう側が人間か犬かわからない」という言葉が流行しました。今やこの傾向はますます激しくなり、人々は偽のAI生成コンテンツに埋もれ、対応に疲れ果てています。
解決されなければ、AI生成コンテンツによる公開データの汚染は情報検索を妨げ、社会政治的現実や科学的コンセンサスに対する集団的理解を歪める可能性があります。
さらに、これは一部の著名人の「盾」となる可能性があります。場合によっては、自分に不利な証拠をAI生成のものとして説明し、立証責任を巧みに転嫁することができるでしょう。
生成型AIがもたらす偽コンテンツの氾濫について、Googleは拍車をかける役割を果たし、さらには「元凶」とも言えるかもしれません。何年も前に放った弾丸が、今日ついに自らの眉間に命中したのです。
参考資料：
https://arxiv.org/abs/2406.13843
https://futurism.com/the-byte/google-researchers-paper-ai-internet