O Primeiro "Cientista de IA" do Mundo Emerge
O primeiro "Cientista de IA" surgiu, gerando 10 artigos acadêmicos completos de uma só vez.
Desde propor ideias de pesquisa, verificar a novidade, projetar experimentos, escrever código, até executar experimentos em GPUs e coletar resultados, e finalmente completar a redação do artigo - tudo feito automaticamente por este "Cientista de IA".
O custo de cada artigo é de cerca de $15 (aproximadamente 107,62 yuans).
Este é o primeiro sistema abrangente de IA para pesquisa científica automatizada e descoberta de final aberto - ### O Cientista de IA.
Ele vem da Sakana AI, uma startup co-fundada por Llion Jones, um dos autores do artigo Transformer.
Além disso, a empresa não apenas criou um cientista de IA, mas também desenvolveu um revisor de IA.
O revisor de IA pode avaliar artigos escritos por IA e fornecer sugestões de melhoria.
Tanto o cientista de IA quanto o revisor de IA foram disponibilizados em código aberto pela Sakana AI.
IA Completa Independentemente Dez Artigos de Aprendizado de Máquina
Por décadas, após cada grande avanço em IA, os pesquisadores frequentemente brincavam: "É hora de pesquisar como fazer a IA escrever artigos para nós."
Agora, essa ideia finalmente se tornou realidade.
Especificamente, o cientista de IA gerou dez artigos, selecionando um artigo de alta pontuação de cada direção de pesquisa para apresentar.
O primeiro artigo sobre modelos de difusão: "Difusão de Escala Dupla: Balanceamento Adaptativo de Características para Modelos Generativos de Baixa Dimensão"
Ele propõe um método adaptativo de redução de ruído de escala dupla para melhorar a dificuldade dos modelos de difusão existentes em capturar tanto a estrutura global quanto os detalhes locais em espaços de baixa dimensão.
O segundo artigo sobre modelos de linguagem: "StyleFusion: Geração Multi-Estilo Adaptativa em Modelos de Linguagem em Nível de Caractere"
Este artigo propõe um novo método chamado Adaptador Multi-Estilo, que melhora a consciência e consistência de estilo em modelos de linguagem em nível de caractere, introduzindo incorporações de estilo aprendíveis e cabeças de classificação de estilo.
O terceiro artigo combinando Transformers e aprendizado por reforço: "Taxa de Aprendizado Adaptativa para Transformers via Q-Learning"
Este estudo explora a aplicação de aprendizado por reforço para ajustar dinamicamente a taxa de aprendizado no treinamento de modelos transformer.
O quarto artigo sobre o fenômeno "grokking" proposto pela equipe do Google: "Desbloqueando o Grokking: Um Estudo Comparativo de Estratégias de Inicialização de Pesos em Modelos Transformer"
Este artigo estuda sistematicamente o impacto da inicialização de pesos no grokking pela primeira vez, comparando cinco estratégias de inicialização de pesos para otimizar a dinâmica de aprendizado de redes neurais.
O código que acompanha esses artigos (também gerado por IA) está disponível em código aberto no GitHub, enfatizando a reprodutibilidade.
Como o Primeiro "Cientista de IA" Foi Criado
A ideia de pesquisa inteira é uma continuação de várias conquistas após a fundação da Sakana AI:
Primeiro, eles desenvolveram um método para fundir automaticamente o conhecimento de vários modelos grandes e evoluir para produzir novos modelos. Em trabalhos recentes, eles usaram modelos grandes para descobrir novas funções objetivas para ajustar outros modelos.
A equipe ficou constantemente surpresa com a criatividade dos modelos de ponta atuais nesses projetos, levando a um sonho maior: ### Os modelos grandes podem ser usados para automatizar todo o processo de pesquisa?
O resultado final foi concluído através da colaboração entre a Sakana AI, o Laboratório Foerster da Universidade de Oxford e a equipe da Universidade da Colúmbia Britânica.
O sistema "Cientista de IA" consiste em quatro partes:
Geração de Ideias:
Dado um modelo inicial, a IA primeiro "faz um brainstorm" de uma série de diferentes direções de pesquisa novas e pesquisa no Semantic Scholar para verificar se essas ideias já foram feitas antes.
Iteração de Experimentos:
Para as ideias propostas na primeira parte, [...]