Aqui está a tradução em português:
O professor assistente Chen Yubo do Departamento de Engenharia Elétrica e de Computação da Universidade da Califórnia em Davis realiza pesquisas relacionadas a "modelos de caixa branca". Além disso, ele também é pós-doutorando do ganhador do Prêmio Turing e cientista-chefe da Meta, Yann LeCun. Neste programa, ele conversou conosco sobre os mais recentes avanços na pesquisa de modelos de caixa branca e também compartilhou sua visão sobre Yann LeCun, o cientista que ele conhece bem e que passou por altos e baixos na indústria de IA, mas permanece puro e focado.
Aqui estão algumas seleções da entrevista
01 O cérebro humano e os grandes modelos
Silicon Valley 101: Você pode fazer uma breve introdução sobre sua pesquisa atual em "modelos de caixa branca"? Durante sua pesquisa, você descobriu como explicar os problemas de entrada e saída do GPT?
Chen Yubo: O objetivo maior dessa direção é realmente impulsionar o aprendizado profundo de uma disciplina puramente empírica para uma disciplina científica, ou transformar a engenharia em ciência, porque atualmente a engenharia está se desenvolvendo rapidamente, mas a ciência está relativamente lenta. Anteriormente, havia um modelo chamado incorporação de palavras (word embedding), que podia aprender algumas representações da linguagem.
Na época, todos tinham uma dúvida: o desempenho das nossas tarefas melhorou, mas o que exatamente levou a essa melhoria de desempenho? Então fizemos um trabalho muito inicial, que foi tentar abrir essas representações de vocabulário. Quando você as abre, descobre alguns fenômenos muito interessantes.
Por exemplo, para a palavra "maçã", você pode encontrar alguns significados elementares dentro dela. Um desses significados pode representar fruta, outro pode representar sobremesa, e se você cavar mais fundo, encontrará significados relacionados a tecnologia e produtos, referindo-se obviamente aos produtos da Apple. Então você descobre que seguindo uma palavra, você pode encontrar esses significados elementares, e então pode estender esse método para grandes modelos de linguagem.
Ou seja, depois de aprendermos um grande modelo de linguagem, podemos procurar dentro do modelo alguns significados elementares que ele carrega e tentar abri-los. Você descobrirá que um grande modelo de linguagem tem muitas camadas.
Nas camadas iniciais, ocorre um fenômeno chamado "desambiguação de palavras". Por exemplo, em inglês há uma palavra chamada "left", que tem tanto o significado de virar à esquerda quanto o passado do verbo deixar, e seu significado específico depende do contexto antes e depois. Então, o grande modelo de linguagem completa a desambiguação das palavras nas primeiras camadas.
No meio, você descobrirá que surgem alguns novos significados. Na época, achamos uma coisa muito interessante chamada "conversão de unidades", que é ativada quando é necessário converter quilômetros em milhas ou temperatura de Fahrenheit para Celsius. Esse significado é aberto, e você pode seguir esse caminho para encontrar muitos significados elementares de nível semelhante.
Quando você sobe mais, você até descobre que existe um padrão entre esses significados elementares. Esse padrão é que quando um significado repetido aparece no contexto, ele é ativado. Você pode usar esse método para abrir grandes e pequenos modelos de linguagem. Claro, essas ideias não são completamente novas, elas já têm uma história em modelos visuais, por exemplo, explorações semelhantes começaram com Matthew Zeiler.
Silicon Valley 101: Seguindo essa linha de pensamento, se soubermos como parte dele funciona, podemos otimizá-lo muito do ponto de vista da engenharia?
Chen Yubo: Sim, essa é uma ótima pergunta. Acho que um requisito bastante elevado para qualquer teoria é que ela possa orientar a prática, então quando estávamos trabalhando em modelos de linguagem e representações de vocabulário, um dos objetivos na época era, depois de entendermos, se poderíamos otimizar esses modelos em troca. Na verdade, é possível.
Por exemplo, se você encontrar um significado elementar em um grande modelo de linguagem que é ativado quando vê um certo tipo de significado elementar, então esse neurônio pode ser usado como um discriminador, e você pode usar isso para realizar algumas tarefas. Ao alterar esses significados elementares, você pode ajustar os vieses do modelo.
Ou seja, se eu puder descobri-lo, posso ajustá-lo. Recentemente, a Anthropic fez um trabalho semelhante, encontrando alguns possíveis vieses em modelos de linguagem e fazendo algumas alterações para tornar o modelo mais justo e seguro.
Silicon Valley 101: Vi que no ano passado a OpenAI também fez uma pesquisa usando o GPT-4 para explicar o GPT-2, para ver como o GPT-2 realmente funciona. Por exemplo, eles descobriram que quando o GPT-2 responde a qualquer coisa sobre a história americana por volta de 1800, o 12º neurônio na 5ª linha é ativado, e quando responde em chinês, é o 13º neurônio na 12ª linha que é ativado.
Se você desligar o neurônio que responde em chinês, sua capacidade de compreensão do chinês diminui significativamente. Mas quanto mais para trás estão os neurônios, por exemplo, quando chegam por volta da 2000ª linha, toda a credibilidade já diminuiu muito. Você notou essa pesquisa deles?
Chen Yubo: Eu ainda não li esse artigo, mas esse método é muito parecido com fazer cirurgia nos neurônios do cérebro. É como se agora, se houver uma rede neural, essa rede se refere a algo que pode encontrar uma existência local em vez de ser completamente dispersa, então você pode realizar algumas operações nela. Por exemplo, se você cortar um certo neurônio, então você pode considerar que uma certa parte de sua capacidade foi relativamente perdida.
Os humanos são realmente os mesmos. Por exemplo, uma pessoa com epilepsia pode desenvolver algumas deficiências de linguagem após a cirurgia, mas isso não afeta muito outras funções corporais. Isso parece ser semelhante em princípio.
Silicon Valley 101: OpenAI, Anthropic, todos eles estão pesquisando a interpretabilidade de grandes modelos agora. Qual é a diferença entre sua pesquisa e a deles?
Chen Yubo: Na verdade, ninguém sabe se a pesquisa de modelos de caixa branca será bem-sucedida no futuro. Eu também discuti isso com meu orientador antes, mas a opinião consensual é que vale a pena tentar. Se voltarmos a isso, o que nossa pesquisa quer fazer é realmente entender a inteligência artificial e reconstruí-la através de nossa compreensão, para fundamentalmente construir algo diferente. Então a observação, ou seja, a interpretabilidade, eu acho que é apenas um meio.
Ou seja, abrir esse tipo de modelo, fazer esses experimentos, fazer alguns ajustes no modelo, eu acho que todos esses são meios que tentamos no processo de compreensão, mas o que é realmente importante para os modelos de caixa branca é voltar ao próprio sinal. Porque seja o cérebro humano ou a máquina, a essência de sua aprendizagem é por causa do sinal.
Existem algumas estruturas em nosso mundo, e eles também precisam aprender através dessas estruturas, e o que eles aprendem são precisamente essas estruturas. Então, podemos encontrar as leis por trás dessas estruturas e algumas ferramentas matemáticas para representá-las, e então reorganizá-las para construir um modelo diferente? Se isso puder ser realizado, acho que pode trazer uma expectativa de melhorar a robustez, segurança e confiabilidade de nossos sistemas.
Além disso, sua eficiência também aumentará. É um pouco como a máquina a vapor ter surgido primeiro e depois a teoria da termodinâmica, apoiando sua transformação de uma disciplina puramente artesanal em uma ciência. Da mesma forma, hoje é como se tivéssemos a máquina a vapor pela primeira vez em dados, de não entender nossos dados antes para finalmente poder começar a fazer alguns algoritmos de IA para capturar as regularidades nos dados.
Silicon Valley 101: Então seria mais eficiente energeticamente.
Chen Yubo: Falando em eficiência energética, posso dar alguns exemplos interessantes. O primeiro ponto é definitivamente a eficiência energética, porque o cérebro é equivalente a uma lâmpada de 20 watts, enquanto os supercomputadores atuais podem exceder um milhão de watts.
O segundo ponto é que, se olharmos para a evolução de vários organismos na natureza, sua eficiência evolutiva é realmente muito alta. Por exemplo, há um tipo especial de aranha chamada Jumping Spider, que tem apenas alguns milhões de neurônios, mas pode fazer linhas tridimensionais muito complexas para capturar suas presas.
E acho que a coisa mais interessante é a eficiência do uso de dados pelos humanos. O volume de dados do Llama3 agora atingiu cerca de 13 trilhões de tokens. Mas quanto dados uma pessoa pode receber em sua vida? Supondo que possamos obter 30 quadros de imagem por segundo, 12 horas por dia, por 20 anos, obteríamos cerca de 10 bilhões de tokens, e a quantidade de texto que podemos obter é aproximadamente a mesma, muito menor que os grandes modelos.
Então a questão é, como os humanos conseguem obter uma capacidade de generalização tão forte com uma quantidade tão pequena de dados? Este é um ponto que acho muito incrível sobre o cérebro humano em termos de eficiência.
Silicon Valley 101: Qual é mais difícil, desvendar como os grandes modelos funcionam ou como o cérebro humano funciona? Para mim, ambos parecem muito difíceis.
Chen Yubo: Cada um tem suas próprias dificuldades, mas os métodos são semelhantes. Seja para o cérebro humano ou para grandes modelos de linguagem, estamos tentando observá-los e ver ao que eles respondem.
Este método pode ser visto na pesquisa sobre o córtex visual dos ganhadores do Prêmio Nobel de Fisiologia David Hubel e Torsten Weisel na década de 1980. Eles encontraram um tipo de célula simples e tentaram estudar quando esses neurônios produziriam impulsos quando as pessoas viam coisas, analisando os diferentes estados de resposta dos neurônios quando viam coisas diferentes, como quando não respondiam de todo e quando ficavam muito excitados, e então encontraram o campo receptivo dos neurônios.