AI語音克隆風險:OpenAI發布ChatGPT安全測試報告

發出令人遐想的神秘聲響

GPT-4o的一些特性和潜在問題被揭露:

  1. 語音模仿能力:

    • 可以學習並模仿用戶的說話方式、習慣和口音
    • OpenAI限制了GPT-4o可發出的聲音種類,並建立了檢測系統

  2. 識別說話者:

    • 能夠根據音頻識別說話人,尤其是名人
    • OpenAI進行了後期訓練以提高拒絕識別的能力

  3. 對不同用戶的差異化表現:

    • 擔心模型對不同口音的用戶表現不一致
    • OpenAI進行了測試,未發現明顯差異

  4. 色情和暴力內容:

    • 可能產生不當言論
    • OpenAI加強了審核和限制措施

  5. 無根據推斷和敏感特質歸因:

    • 可能對說話者做出主觀臆斷
    • OpenAI進行了後期培訓,教導模型拒絕或謹慎回答相關問題

  6. 版權內容生成:

    • 更新了過濾器來處理音頻對話
    • 訓練模型拒絕生成版權內容

  7. 擬人化依戀:

    • 用戶可能與GPT-4o建立情感聯繫
    • OpenAI關注這一潛在影響

OpenAI將GPT-4o的整體風險評估為中等水平,並採取了多項措施來緩解潛在問題。他們強調會繼續監測和改進模型的安全性。