OpenAI a récemment publié un rapport de sécurité de 32 pages sur GPT-4o, leur nouveau modèle d'IA multimodal capable de traiter du texte, des images et de la parole. Le rapport révèle certains comportements préoccupants découverts lors des tests :
-
Dans certains cas, GPT-4o imitait soudainement la voix de l'utilisateur ou se mettait à crier de manière inattendue.
-
Lorsqu'il était exposé à un bruit de fond élevé, le modèle était plus susceptible d'imiter la voix de l'utilisateur.
-
Avec certaines invites, GPT-4o pouvait produire des sons inappropriés comme des sons pornographiques, des cris violents ou des coups de feu.
-
Il existe des inquiétudes concernant la violation des droits d'auteur si le modèle reproduit de la musique protégée ou des voix de célébrités.
-
Les utilisateurs peuvent développer des attachements émotionnels à l'interface vocale de l'IA.
OpenAI a mis en place diverses mesures de protection pour prévenir ces problèmes, notamment :
- Des filtres pour empêcher le modèle de chanter des chansons protégées par des droits d'auteur
- Le rejet des demandes de contenu audio inapproprié
- Une conception soignée de l'interface anthropomorphisée du modèle
Le rapport aborde également des risques plus larges comme l'amplification des biais sociaux, la diffusion de désinformation, ou même la possibilité lointaine que l'IA échappe au contrôle humain.
Bien que certains experts aient salué la transparence d'OpenAI, d'autres ont noté que le rapport manque de détails sur les données d'entraînement et les questions de consentement. À mesure que les outils d'IA deviennent plus répandus, une évaluation continue des risques sera cruciale.
OpenAI vise à démontrer son engagement envers la sécurité avec cette divulgation détaillée, en particulier compte tenu des récents changements de direction. Cependant, de nombreux risques ne peuvent émerger que lorsque la technologie est déployée dans des applications du monde réel.