AI音声クローニングのリスク:OpenAIがChatGPTの安全性テストレポートを公開

GPT-4oのいくつかの特性と潜在的な問題が明らかになりました：

1. 音声模倣能力：

   • ユーザーの話し方、習慣、アクセントを学習し模倣できる
   • OpenAIはGPT-4oが発声できる音声の種類を制限し、検出システムを構築した

2. 話者の識別：

   • 音声から話者を識別できる、特に有名人の場合
   • OpenAIは識別を拒否する能力を向上させるための事後訓練を行った

3. 異なるユーザーに対する差別化された性能：

   • モデルが異なるアクセントのユーザーに対して一貫性のない性能を示す懸念
   • OpenAIはテストを実施し、顕著な差異は見られなかった

4. ポルノグラフィーと暴力的なコンテンツ：

   • 不適切な発言を生成する可能性
   • OpenAIは審査と制限措置を強化した

5. 根拠のない推論と敏感な特性の帰属：

   • 話者に対して主観的な推測をする可能性
   • OpenAIは事後訓練を行い、モデルに関連する質問を拒否または慎重に回答するよう教育した

6. 著作権のあるコンテンツの生成：

   • 音声対話を処理するためのフィルターを更新
   • 著作権のあるコンテンツの生成を拒否するようモデルを訓練

7. 擬人化と愛着：

   • ユーザーがGPT-4oと感情的なつながりを持つ可能性
   • OpenAIはこの潜在的な影響に注目している

OpenAIはGPT-4oの全体的なリスク評価を中程度とし、潜在的な問題を緩和するために複数の措置を講じました。彼らはモデルの安全性を継続的に監視し改善することを強調しています。