ChatGPT, initialement considéré par les étudiants comme un assistant divin pour rédiger des dissertations, pourrait maintenant devenir leur cauchemar. Selon des sources internes, OpenAI a secrètement développé un "outil anti-plagiat" capable de détecter avec précision si ChatGPT a été utilisé dans une dissertation ou un rapport. Cette technologie fait l'objet de débats au sein d'OpenAI depuis deux ans et était en réalité prête il y a un an.
Le principe de cet outil anti-triche consiste à ajuster subtilement les probabilités de choix des mots lors de la génération de texte par ChatGPT, créant ainsi des modèles de probabilité spécifiques comme filigrane. Bien qu'imperceptible pour les humains, le système de détection d'OpenAI peut l'identifier. Il est dit que la précision de détection peut atteindre 99,9% si le texte est suffisamment long.
La mise en œuvre spécifique pourrait impliquer la modification de la fréquence d'apparition des tokens dans les phrases. Par exemple, dans la phrase "Mon fruit préféré est __", certains fruits auraient une probabilité d'apparition plus élevée, formant une sorte de code secret. Ces changements subtils de probabilité n'affectent pas la lecture mais peuvent être décodés par OpenAI.
Actuellement, OpenAI n'a pas rendu cette technologie publique, se contentant de publier un blog sur son site officiel reconnaissant qu'elle est en cours d'étude. Il existe déjà divers outils de détection de texte AI sur le marché, comme SynthID de Google et GPT Zero. Cependant, ces outils ont aussi des limites, comme une faible précision de détection pour les textes complexes.
Les raisons pour lesquelles OpenAI tarde à publier la fonction de filigrane pourraient être :
-
La difficulté technique d'ajouter un filigrane au texte. Les expressions textuelles sont diverses, rendant l'analyse statistique difficile.
-
Le filigrane pourrait être déjoué. On a découvert que la traduction multilingue peut contourner la détection.
-
La nécessité d'ajouter un filigrane est controversée. Cela pourrait affecter le développement et l'application de la technologie AI.
-
La crainte d'une utilisation abusive. Comme pour la censure ou la surveillance.
-
Des considérations commerciales. Cela pourrait affecter l'expérience utilisateur et la compétitivité du produit.
Dans l'ensemble, la technologie de détection de texte AI est encore en développement, et il sera intéressant de voir comment équilibrer le développement technologique, l'expérience utilisateur et les questions éthiques à l'avenir.