Natureの最近の報告によると、学術論文執筆における生成AIの使用が爆発的に増加しています。研究によると、最大の生物医学データベースであるPubMedの要約の10%がAI執筆の疑いがあり、これは年間約15万本の論文に相当します。
ベルリン応用科学大学の研究によると、主流のAI生成コンテンツ検出ツールの平均精度は50%に過ぎず、人間が書いたコンテンツをAI生成と誤認識することがよくあります。多くのAI生成論文は、言い換えや同義語置換によって簡単に検出を回避できます。さらに、英語を母語とする人のAIツール使用はより検出が難しいです。
AIツールは以前から学術界で広く使用されていましたが、生成AIを直接論文の出力やゴーストライティングに使用することは依然として議論の的となっています。AIツールは剽窃を容易にし、著作権侵害につながる可能性があります。
AI支援の執筆にはメリットもあります。多くの学者が生成AIを使用することで、不慣れな言語での論文発表の苦労を避け、研究自体に集中できるようになりました。多くのジャーナルは現在、生成AIツールの使用を許可していますが、著者に使用詳細を論文で開示することを求めています。
テュービンゲン大学の研究は、2010年から2024年までのPubMedの1400万件の要約を分析しました。ChatGPTなどの生成AIツールの登場後、特定の修飾的な文体語の使用が異常に増加したことがわかりました。これらの単語の頻度を用いて、AI執筆の要約の割合を推定しました。
研究者らは、国によってAIツールの使用に違いがあることも発見しました。データによると、中国や韓国などの国からの論文は、英語圏の国からの論文よりもAI執筆ツールを頻繁に使用していました。しかし、英語圏の著者による使用はより検出が難しい可能性があります。
学術論文執筆における生成AIの使用は、2つの主要な問題を提起しています。第一に、剽窃者がAIを使って他人の研究を学術誌のスタイルで言い換えることができるため、剽窃が容易になり、検出が困難になっています。第二に、AIモデルが著作権のあるコンテンツを出典なしで出力する可能性があり、これはThe New York TimesがOpenAIを訴えた訴訟で見られました。
AIツール使用の増加に対処するため、多くの企業がAI生成コンテンツ検出ツールを発表しています。しかし、これらのツールは生成AIとの「いたちごっこ」で大きく失敗しています。ベルリン応用科学大学の研究によると、一般的に使用されている14の学術AI検出ツールのうち、70%以上の精度を達成したのはわずか5つで、平均精度は50-60%に過ぎませんでした。
これらの検出ツールは、手動で編集されたり機械で言い換えられたりしたAI生成コンテンツに対してはさらに性能が悪くなります。同義語置換や文章の再構成などの単純な操作で、検出ツールの精度は50%以下に低下する可能性があります。研究は、これらのツールの全体的な検出精度はわずか50%程度であると結論付けています。
検出ツールは人間が書いた論文の識別には高い精度を示します。しかし、著者が母国語で独自の論文を書き、翻訳ソフトウェアを使用して別の言語に翻訳した場合、AI生成と誤認識される可能性があります。これは学者や学生の学術的評判に深刻なダメージを与える可能性があります。
しかし、生成AIツールは確かに一部の研究者に便利さをもたらしています。キングサウド大学のIT研究者であるHend Al-Khalifa氏は、生成AIツール以前は、英語に堪能でない多くの同僚が論文執筆に大きな障害を感じていたと述べています。現在、これらの学者は執筆に多くの時間を費やすことなく、研究自体に集中できるようになりました。
AI支援の執筆と学術的不正行為の境界を定義するのは難しいです。メリーランド大学のコンピューター科学者Soheil Feizi氏は、既存の論文内容を言い換えるために生成AIを使用することは明らかに剽窃であると考えています。しかし、アイデアを表現するためにAIツールを使用することは罰せられるべきではありません。研究者は詳細なプロンプトを使用してテキストを生成したり、AIツールを使用して草稿を編集したりすることができますが、AIツールの使用を積極的に開示する必要があります。
多くのジャーナルは、AIツールの使用を全面的に禁止することなく、学術論文執筆におけるAIツールの使用を規制しています。Scienceは、AIを共著者として記載することはできず、著者はAIシステムとプロンプトの使用を開示し、内容の正確性と潜在的な剽窃に責任を負うべきだと規定しています。Natureは研究者に「研究方法」セクションで生成AIツールの使用を記録することを要求しています。2023年10月時点で、上位100位のジャーナルのうち87誌が生成AIツールの使用に関するガイドラインを確立しています。
学術研究における生成AIツールに対して敵対的な姿勢をとることは、問題の根本的な解決にはならない可能性があります。ベルリン応用科学大学の学者らは、学術論文執筆におけるAIの誤用はAI検出だけでは対処が難しいと強調しています。論文や結果に焦点を当てる学術風土を調整することが、この問題を解決する鍵となります。