AI语音克隆风险:OpenAI发布ChatGPT安全测试报告

GPT-4o的一些特性和潜在问题被揭露:

1. 语音模仿能力:

   • 可以学习并模仿用户的说话方式、习惯和口音
   • OpenAI限制了GPT-4o可发出的声音种类,并建立了检测系统

2. 识别说话者:

   • 能够根据音频识别说话人,尤其是名人
   • OpenAI进行了后期训练以提高拒绝识别的能力

3. 对不同用户的差异化表现:

   • 担心模型对不同口音的用户表现不一致
   • OpenAI进行了测试,未发现明显差异

4. 色情和暴力内容:

   • 可能产生不当言论
   • OpenAI加强了审核和限制措施

5. 无根据推断和敏感特质归因:

   • 可能对说话者做出主观臆断
   • OpenAI进行了后期培训,教导模型拒绝或谨慎回答相关问题

6. 版权内容生成:

   • 更新了过滤器来处理音频对话
   • 训练模型拒绝生成版权内容

7. 拟人化依恋:

   • 用户可能与GPT-4o建立情感联系
   • OpenAI关注这一潜在影响

OpenAI将GPT-4o的整体风险评估为中等水平,并采取了多项措施来缓解潜在问题。他们强调会继续监测和改进模型的安全性。