AI語音克隆風險:OpenAI發布ChatGPT安全測試報告

GPT-4o的一些特性和潜在問題被揭露:

1. 語音模仿能力:

   • 可以學習並模仿用戶的說話方式、習慣和口音
   • OpenAI限制了GPT-4o可發出的聲音種類,並建立了檢測系統

2. 識別說話者:

   • 能夠根據音頻識別說話人,尤其是名人
   • OpenAI進行了後期訓練以提高拒絕識別的能力

3. 對不同用戶的差異化表現:

   • 擔心模型對不同口音的用戶表現不一致
   • OpenAI進行了測試,未發現明顯差異

4. 色情和暴力內容:

   • 可能產生不當言論
   • OpenAI加強了審核和限制措施

5. 無根據推斷和敏感特質歸因:

   • 可能對說話者做出主觀臆斷
   • OpenAI進行了後期培訓,教導模型拒絕或謹慎回答相關問題

6. 版權內容生成:

   • 更新了過濾器來處理音頻對話
   • 訓練模型拒絕生成版權內容

7. 擬人化依戀:

   • 用戶可能與GPT-4o建立情感聯繫
   • OpenAI關注這一潛在影響

OpenAI將GPT-4o的整體風險評估為中等水平,並採取了多項措施來緩解潛在問題。他們強調會繼續監測和改進模型的安全性。