Riesgos de la clonación de voz con IA: OpenAI publica informe de pruebas de seguridad de ChatGPT

Emitir sonidos misteriosos que estimulen la imaginación

GPT-4o y algunos de sus características y problemas potenciales han sido revelados:

  1. Capacidad de imitación de voz:

    • Puede aprender e imitar la forma de hablar, hábitos y acento del usuario
    • OpenAI ha limitado los tipos de voces que GPT-4o puede emitir y ha establecido sistemas de detección
  2. Reconocimiento del hablante:

    • Puede identificar al hablante basándose en el audio, especialmente celebridades
    • OpenAI ha realizado entrenamiento posterior para mejorar la capacidad de rechazar la identificación
  3. Rendimiento diferenciado para diferentes usuarios:

    • Preocupación por la posible inconsistencia del modelo con usuarios de diferentes acentos
    • OpenAI ha realizado pruebas y no ha encontrado diferencias significativas
  4. Contenido pornográfico y violento:

    • Posibilidad de generar declaraciones inapropiadas
    • OpenAI ha reforzado las medidas de revisión y restricción
  5. Inferencias infundadas y atribución de características sensibles:

    • Posibilidad de hacer suposiciones subjetivas sobre el hablante
    • OpenAI ha realizado entrenamiento posterior para enseñar al modelo a rechazar o responder con cautela a preguntas relacionadas
  6. Generación de contenido con derechos de autor:

    • Se han actualizado los filtros para manejar diálogos de audio
    • Se ha entrenado al modelo para rechazar la generación de contenido con derechos de autor
  7. Apego antropomórfico:

    • Los usuarios pueden desarrollar conexiones emocionales con GPT-4o
    • OpenAI está atento a este impacto potencial

OpenAI ha evaluado el riesgo general de GPT-4o como de nivel medio y ha tomado varias medidas para mitigar los problemas potenciales. Enfatizan que continuarán monitoreando y mejorando la seguridad del modelo.