Riscos da clonagem de voz por IA: OpenAI divulga relatório de teste de segurança do ChatGPT

Emitir sons misteriosos que estimulam a imaginação

Algumas características e potenciais problemas do GPT-4o foram revelados:

  1. Capacidade de imitação de voz:

    • Pode aprender e imitar o modo de falar, hábitos e sotaque do usuário
    • A OpenAI limitou os tipos de sons que o GPT-4o pode emitir e estabeleceu um sistema de detecção

  2. Reconhecimento do falante:

    • Capaz de identificar o falante com base no áudio, especialmente celebridades
    • A OpenAI realizou treinamento posterior para melhorar a capacidade de recusar o reconhecimento

  3. Desempenho diferenciado para diferentes usuários:

    • Preocupação com o desempenho inconsistente do modelo para usuários com sotaques diferentes
    • A OpenAI realizou testes e não encontrou diferenças significativas

  4. Conteúdo pornográfico e violento:

    • Possibilidade de produzir declarações inadequadas
    • A OpenAI reforçou medidas de revisão e restrição

  5. Inferências infundadas e atribuição de características sensíveis:

    • Pode fazer suposições subjetivas sobre o falante
    • A OpenAI realizou treinamento posterior, ensinando o modelo a recusar ou responder com cautela a perguntas relacionadas

  6. Geração de conteúdo protegido por direitos autorais:

    • Atualizou filtros para lidar com diálogos de áudio
    • Treinou o modelo para recusar a geração de conteúdo protegido por direitos autorais

  7. Apego antropomórfico:

    • Os usuários podem desenvolver conexões emocionais com o GPT-4o
    • A OpenAI está atenta a esse potencial impacto

A OpenAI avaliou o risco geral do GPT-4o como de nível médio e adotou várias medidas para mitigar potenciais problemas. Eles enfatizam que continuarão monitorando e melhorando a segurança do modelo.