De acordo com um relatório recente na Nature, o uso de IA generativa na escrita acadêmica teve um crescimento explosivo. Pesquisas mostram que 10% dos resumos no PubMed, o maior banco de dados biomédico, são suspeitos de envolver escrita por IA, equivalente a cerca de 150.000 artigos anualmente.
Um estudo da Universidade de Ciências Aplicadas de Berlim descobriu que as ferramentas convencionais de detecção de conteúdo gerado por IA têm uma precisão média de apenas 50%, e frequentemente identificam erroneamente conteúdo escrito por humanos como gerado por IA. Muitos artigos gerados por IA podem facilmente evitar a detecção através de paráfrase e substituição de sinônimos. Além disso, o uso de ferramentas de IA por falantes nativos de inglês é mais difícil de detectar.
Embora as ferramentas de IA tenham sido amplamente utilizadas na academia anteriormente, usar IA generativa para produzir diretamente artigos ou fazer ghostwriting permanece controverso. As ferramentas de IA facilitam o plágio e podem levar à violação de direitos autorais.
A escrita assistida por IA não é sem mérito. Muitos acadêmicos evitaram o problema de publicar artigos em idiomas desconhecidos usando IA generativa, permitindo que se concentrem na própria pesquisa. Muitas revistas agora permitem o uso de ferramentas de IA generativa, mas exigem que os autores divulguem detalhes de uso no artigo.
O estudo da Universidade de Tübingen analisou 14 milhões de resumos no PubMed de 2010 a 2024. Eles encontraram um aumento anormal no uso de certas palavras estilísticas modificadoras após o surgimento de ferramentas de IA generativa como o ChatGPT. A frequência dessas palavras foi usada para estimar a proporção de resumos escritos por IA.
Os pesquisadores também encontraram diferenças no uso de ferramentas de IA entre países. Seus dados mostraram que artigos de países como China e Coreia do Sul usavam ferramentas de escrita de IA com mais frequência do que aqueles de países de língua inglesa. No entanto, o uso por autores de países de língua inglesa pode ser mais difícil de detectar.
O uso de IA generativa na escrita acadêmica levantou duas questões principais. Primeiro, o plágio se tornou mais fácil, pois os plagiadores podem usar IA para parafrasear pesquisas de outros em estilo de revista acadêmica, tornando difícil a detecção. Segundo, os modelos de IA podem produzir conteúdo protegido por direitos autorais sem atribuição, como visto no processo movido pelo The New York Times contra a OpenAI.
Para abordar a proliferação do uso de ferramentas de IA, muitas empresas lançaram ferramentas de detecção de conteúdo gerado por IA. No entanto, essas ferramentas falharam em grande parte no "jogo de gato e rato" com a IA generativa. Um estudo da Universidade de Ciências Aplicadas de Berlim descobriu que apenas 5 de 14 ferramentas comuns de detecção de IA acadêmica alcançaram mais de 70% de precisão, com uma precisão média de apenas 50-60%.
Essas ferramentas de detecção têm um desempenho ainda pior em conteúdo gerado por IA que foi editado manualmente ou parafraseado por máquina. Operações simples como substituição de sinônimos e reestruturação de frases podem reduzir a precisão das ferramentas de detecção para menos de 50%. O estudo concluiu que a precisão geral de detecção dessas ferramentas é de apenas cerca de 50%.
As ferramentas de detecção mostram alta precisão na identificação de artigos escritos por humanos. No entanto, se um autor escreve um artigo original em seu idioma nativo e depois usa software de tradução para traduzi-lo para outro idioma, pode ser identificado erroneamente como gerado por IA. Isso poderia prejudicar severamente a reputação acadêmica de estudiosos e estudantes.
No entanto, as ferramentas de IA generativa realmente trouxeram conveniência para alguns pesquisadores. Hend Al-Khalifa, uma pesquisadora de TI da Universidade King Saud, compartilhou que antes das ferramentas de IA generativa, muitos colegas não proficientes em inglês enfrentavam obstáculos significativos na escrita de artigos. Agora, esses acadêmicos podem se concentrar na própria pesquisa sem gastar muito tempo na escrita.
A fronteira entre a escrita assistida por IA e a má conduta acadêmica é difícil de definir. Soheil Feizi, um cientista da computação da Universidade de Maryland, acredita que usar IA generativa para parafrasear conteúdo de artigos existentes é claramente plágio. No entanto, usar ferramentas de IA para auxiliar na expressão de ideias não deve ser punido. Os pesquisadores podem usar prompts detalhados para gerar texto ou usar ferramentas de IA para editar rascunhos, desde que divulguem ativamente o uso de ferramentas de IA.
Muitas revistas regulamentaram o uso de ferramentas de IA na escrita acadêmica sem proibi-las completamente. A Science estipula que a IA não pode ser listada como coautora, e os autores devem divulgar os sistemas de IA e prompts usados, e serem responsáveis pela precisão do conteúdo e possível plágio. A Nature exige que os pesquisadores registrem o uso de ferramentas de IA generativa na seção "Métodos de Pesquisa". Até outubro de 2023, 87 das 100 principais revistas classificadas haviam estabelecido diretrizes para o uso de ferramentas de IA generativa.
Adotar uma postura antagônica em relação às ferramentas de IA generativa na pesquisa acadêmica pode não resolver o problema em sua raiz. Estudiosos da Universidade de Ciências Aplicadas de Berlim enfatizaram que o uso indevido de IA na escrita acadêmica é difícil de abordar apenas através da detecção de IA. Ajustar o clima acadêmico que se concentra em artigos e resultados é fundamental para resolver esse problema.