Neste episódio do podcast da QuantaMagazine, o apresentador entrevistou a professora de ciência da computação da Universidade de Washington, Yejin Choi. Eles discutiram tópicos interessantes, como se a IA precisa adquirir corporificação e emoções para desenvolver senso comum como os humanos.
Atualmente, o GPT-4 já demonstrou uma impressionante "consciência humana". Neste podcast, Yejin Choi e o apresentador Steven Strogatz discutiram as capacidades e limitações dos chatbots e dos grandes modelos de linguagem (LLMs) que os constroem. Eles exploraram se a IA pode realmente entender o mundo e as perguntas que responde.
Já na década de 1960, cientistas da computação sonhavam com computadores inspirados no cérebro que pudessem exibir inteligência semelhante à humana. Com o surgimento da internet, grandes conjuntos de dados de texto e avanços significativos na capacidade computacional, parece que chegamos a um momento crucial. Os LLMs de hoje parecem possuir algo próximo à inteligência humana.
Teorias propostas por Sanjeev Arora, da Universidade de Princeton, e Anirudh Goyal, cientista de pesquisa do Google DeepMind, sugerem que os maiores LLMs de hoje não são papagaios aleatórios. À medida que os modelos se tornam maiores e são treinados em mais dados, suas habilidades linguísticas melhoram e combinam habilidades de maneiras que sugerem compreensão, desenvolvendo novas capacidades.
Choi explica que o que os LLMs fazem é ler uma grande quantidade de texto e aprender a prever a próxima palavra, mas em uma escala muito grande. Não necessariamente "rumina" palavra por palavra sobre os dados de treinamento, mas é capaz de generalizar até certo ponto. Se o texto for repetido com frequência suficiente nos dados da internet, ele realmente o memoriza palavra por palavra.
O processo de treinamento de LLMs pode ser resumido como a construção de uma rede neural muito grande, com camadas e camadas de neurônios empilhados, e então alimentando dados da internet em sequência. O objetivo do processo de aprendizagem é prever a próxima palavra com base na sequência de palavras anteriores.
Embora simples, este método de treinamento pode produzir resultados poderosos, permitindo que os LLMs respondam a vários tipos de perguntas em texto. No entanto, o processo de treinamento de LLMs é drasticamente diferente de como os humanos entendem o mundo. Os humanos aprendem através de currículos e curiosidade, fazendo suposições sobre o mundo.
Choi considera os LLMs uma "sopa de pensamentos e emoções". Eles imitam emoções e intenções humanas porque as pessoas realmente colocam emoções e intenções em sua escrita. Mas, no final, eles não possuem realmente o tipo de emoções genuínas que os humanos têm.