Laut einem aktuellen Bericht in Nature hat die Verwendung von generativer KI im akademischen Schreiben ein explosives Wachstum erlebt. Untersuchungen zeigen, dass bei 10% der Abstracts in PubMed, der größten biomedizinischen Datenbank, der Verdacht auf KI-Schreiben besteht, was etwa 150.000 Papieren jährlich entspricht.
Eine Studie der Berliner Hochschule für Technik ergab, dass gängige Erkennungstools für KI-generierte Inhalte eine durchschnittliche Genauigkeit von nur 50% aufweisen und oft von Menschen geschriebene Inhalte fälschlicherweise als KI-generiert identifizieren. Viele KI-generierte Papiere können durch Umschreibung und Synonymersetzung leicht der Erkennung entgehen. Zudem ist die Nutzung von KI-Tools durch Muttersprachler schwerer zu erkennen.
Während KI-Tools in der Wissenschaft schon vorher weit verbreitet waren, bleibt die Verwendung generativer KI zur direkten Erstellung von Papieren oder zum Ghostwriting umstritten. KI-Tools erleichtern Plagiate und können zu Urheberrechtsverletzungen führen.
KI-unterstütztes Schreiben hat auch Vorteile. Viele Wissenschaftler haben durch die Verwendung generativer KI die Mühe vermieden, Papiere in unvertrauten Sprachen zu veröffentlichen, und können sich so auf die Forschung selbst konzentrieren. Viele Zeitschriften erlauben nun die Verwendung generativer KI-Tools, verlangen aber von den Autoren, die Nutzungsdetails im Papier offenzulegen.
Die Studie der Universität Tübingen analysierte 14 Millionen Abstracts in PubMed von 2010-2024. Sie fanden einen abnormalen Anstieg in der Verwendung bestimmter modifizierender Stilwörter nach dem Aufkommen generativer KI-Tools wie ChatGPT. Die Häufigkeit dieser Wörter wurde verwendet, um den Anteil der KI-geschriebenen Abstracts zu schätzen.
Die Forscher fanden auch Unterschiede in der KI-Tool-Nutzung zwischen Ländern. Ihre Daten zeigten, dass Papiere aus Ländern wie China und Südkorea häufiger KI-Schreibtools verwendeten als solche aus englischsprachigen Ländern. Die Nutzung durch Autoren aus englischsprachigen Ländern könnte jedoch schwerer zu erkennen sein.
Die Verwendung generativer KI im akademischen Schreiben hat zwei Hauptprobleme aufgeworfen. Erstens ist Plagiarismus einfacher geworden, da Plagiatoren KI nutzen können, um die Forschung anderer im Stil akademischer Zeitschriften umzuschreiben, was die Erkennung erschwert. Zweitens können KI-Modelle urheberrechtlich geschützte Inhalte ohne Quellenangabe ausgeben, wie in der Klage der New York Times gegen OpenAI zu sehen ist.
Um der Verbreitung der KI-Tool-Nutzung zu begegnen, haben viele Unternehmen Erkennungstools für KI-generierte Inhalte auf den Markt gebracht. Diese Tools haben jedoch im "Katz-und-Maus-Spiel" mit generativer KI weitgehend versagt. Eine Studie der Berliner Hochschule für Technik ergab, dass nur 5 von 14 häufig verwendeten akademischen KI-Erkennungstools eine Genauigkeit von über 70% erreichten, mit einer durchschnittlichen Genauigkeit von nur 50-60%.
Diese Erkennungstools schneiden bei KI-generierten Inhalten, die manuell bearbeitet oder maschinell umschrieben wurden, noch schlechter ab. Einfache Operationen wie Synonymersetzung und Satzumstrukturierung können die Genauigkeit der Erkennungstools auf unter 50% reduzieren. Die Studie kam zu dem Schluss, dass die Gesamterkennungsgenauigkeit dieser Tools nur etwa 50% beträgt.
Die Erkennungstools zeigen eine hohe Genauigkeit bei der Identifizierung von von Menschen geschriebenen Papieren. Wenn ein Autor jedoch ein originales Papier in seiner Muttersprache schreibt und dann Übersetzungssoftware verwendet, um es in eine andere Sprache zu übersetzen, kann es fälschlicherweise als KI-generiert identifiziert werden. Dies könnte den akademischen Ruf von Wissenschaftlern und Studenten stark schädigen.
Generative KI-Tools haben jedoch einigen Forschern tatsächlich Erleichterung gebracht. Hend Al-Khalifa, eine IT-Forscherin an der King Saud University, berichtete, dass vor generativen KI-Tools viele Kollegen, die nicht fließend Englisch sprachen, erhebliche Hindernisse beim Schreiben von Papieren hatten. Jetzt können sich diese Wissenschaftler auf die Forschung selbst konzentrieren, ohne zu viel Zeit mit dem Schreiben zu verbringen.
Die Grenze zwischen KI-unterstütztem Schreiben und akademischem Fehlverhalten ist schwer zu definieren. Soheil Feizi, ein Informatiker an der University of Maryland, glaubt, dass die Verwendung generativer KI zum Umschreiben bestehender Papierinhalte eindeutig Plagiat ist. Die Verwendung von KI-Tools zur Unterstützung beim Ausdrücken von Ideen sollte jedoch nicht bestraft werden. Forscher können detaillierte Prompts verwenden, um Text zu generieren oder KI-Tools zur Bearbeitung von Entwürfen nutzen, vorausgesetzt, sie legen die Verwendung von KI-Tools aktiv offen.
Viele Zeitschriften haben die Verwendung von KI-Tools im akademischen Schreiben reguliert, ohne sie gänzlich zu verbieten. Science schreibt vor, dass KI nicht als Co-Autor aufgeführt werden kann, und Autoren sollten die verwendeten KI-Systeme und Prompts offenlegen und für die Genauigkeit des Inhalts und mögliche Plagiate verantwortlich sein. Nature verlangt von Forschern, die Verwendung generativer KI-Tools im Abschnitt "Forschungsmethoden" zu dokumentieren. Stand Oktober 2023 hatten 87 der 100 bestplatzierten Zeitschriften Richtlinien für die Verwendung generativer KI-Tools etabliert.
Eine antagonistische Haltung gegenüber generativen KI-Tools in der akademischen Forschung könnte das Problem nicht an der Wurzel lösen. Wissenschaftler der Berliner Hochschule für Technik betonten, dass der Missbrauch von KI im akademischen Schreiben durch KI-Erkennung allein schwer zu beheben ist. Die Anpassung des akademischen Klimas, das sich auf Papiere und Ergebnisse konzentriert, ist der Schlüssel zur Lösung dieses Problems.