01 Treinar grandes modelos é caro, como a Meta vai recuperar o investimento?
O negócio de "máquina de fazer dinheiro" da Meta - feeds de informações e sistemas de recomendação - está sendo "abalado" pelos grandes modelos de linguagem
Jensen Huang: Mark, bem-vindo à sua primeira vez na SIGGRAPH. Você pode acreditar? Como um dos pioneiros da computação e impulsionador da computação moderna, eu tenho que convidá-lo para a SIGGRAPH. Estou muito feliz que você pôde vir.
Zuckerberg: Sim, deve ser interessante. Você já falou por cerca de cinco horas, certo?
Jensen Huang: Sim, é assim que é a SIGGRAPH, 90% aqui são doutores. A melhor coisa sobre a SIGGRAPH é que é uma feira que combina computação gráfica, processamento de imagem, inteligência artificial e robótica. Ao longo dos anos, muitas empresas mostraram e revelaram coisas incríveis aqui, como Disney, Pixar, Adobe, Epic Games e, claro, NVIDIA.
Fizemos muito trabalho aqui este ano: publicamos 20 artigos na interseção de IA e simulação; estamos usando IA para ajudar a simulação a funcionar em maior escala e mais rapidamente. Por exemplo, física diferenciável, estamos usando simulação para criar ambientes simulados para IA, para geração de dados sintéticos, essas duas áreas estão realmente convergindo.
Meta, na verdade, tem feito um trabalho incrível em IA. Acho interessante que quando a mídia escreve sobre a Meta de repente investindo em IA nos últimos anos, parece que não conhecem as realizações passadas do FAIR (Facebook AI Research, o departamento de pesquisa em IA da Meta, fundado em 2013). Na verdade, todos nós usamos o PyTorch, o framework de deep learning de código aberto da Meta (uma ferramenta indispensável para pesquisa e desenvolvimento em IA), e o trabalho da Meta em visão computacional, modelos de linguagem e tradução em tempo real tem sido pioneiro.
A primeira pergunta que quero fazer é como você vê o progresso da Meta em IA generativa? Como isso vai aprimorar seus negócios ou introduzir novas capacidades?
Zuckerberg: Comparado a vocês, ainda somos novatos. Mas a Meta já participa da SIGGRAPH há oito anos. Em 2018, fomos um dos primeiros a mostrar alguns trabalhos de rastreamento de mãos para nossos headsets de VR e realidade mista. Também discutimos muito sobre o progresso que fizemos em avatares codec, para avatares realistas exibidos em headsets de consumo.
Há também muito trabalho que fizemos em sistemas de exibição, alguns protótipos e pesquisas futuras, permitindo que os headsets de realidade mista se tornem muito finos. O que eu quero é uma pilha óptica muito avançada, sistemas de exibição e sistemas integrados.
Então, estou feliz em estar aqui este ano, não apenas para falar sobre o metaverso, mas sobre tudo relacionado à IA. Como você disse, começamos o FAIR antes de iniciar o Reality Labs (departamento de P&D de metaverso da Meta), quando ainda éramos chamados de Facebook, agora é claro que somos Meta. Então temos anos de acúmulo em IA.
Sobre IA generativa, é uma revolução interessante, acho que eventualmente vai transformar fundamentalmente todos os produtos que fazemos. ### Por exemplo, os feeds e sistemas de recomendação do Instagram e Facebook, que evoluímos por décadas, a IA vai mudar ainda mais.
Inicialmente, os feeds eram apenas sobre conexões com amigos, e nesse caso, a classificação do feed era crucial. Porque se alguém fez algo muito importante, como seu primo ter um bebê ou algo assim, você quer que apareça no topo. Se enterrássemos isso em algum canto do seu feed, você ficaria muito irritado.
Mas ### nos últimos anos, os feeds evoluíram para outro estágio, onde o conteúdo que você precisa mostrar é mais sobre conteúdo público. Nesse caso, os sistemas de recomendação se tornaram super importantes. Porque não são apenas algumas centenas ou milhares de postagens de amigos esperando para serem mostradas a você, mas milhões de conteúdos, o que se torna um problema de recomendação muito interessante.
E com a IA generativa, logo entraremos em uma nova fase. Hoje, a maior parte do conteúdo que você vê no Instagram é recomendado para você, escrito por alguém no mundo, correspondendo aos seus interesses, independentemente de você seguir essas pessoas ou não. Mas no futuro, ### parte disso será novo conteúdo criado por criadores usando ferramentas, e até mesmo algum conteúdo será criado instantaneamente para você, ou gerado sintetizando diferentes conteúdos existentes.
Este é apenas um exemplo de como nossos negócios principais evoluirão, já evoluíram por 20 anos, mas poucas pessoas percebem.
Revelando o Llama4, permitindo que assistentes de IA "desbloqueiem" agentes inteligentes em toda a família de produtos da Meta
Jensen Huang: No entanto, as pessoas percebem que um dos maiores sistemas de computação do mundo é o sistema de recomendação.
Zuckerberg: É um caminho completamente diferente, não é exatamente a IA generativa que as pessoas estão falando agora. Embora seja tudo arquitetura Transformer, tudo está construindo sistemas cada vez mais gerais, incorporando dados não estruturados em características.
Mas as duas abordagens produziram diferenças qualitativas, no passado treinávamos modelos diferentes para diferentes tipos de conteúdo, como um modelo para classificação e recomendação de Reels (app de vídeos curtos da Meta), outro modelo para classificação e recomendação de vídeos longos. Então, você precisa fazer algum trabalho de produto para fazer o sistema exibir qualquer conteúdo em linha.
À medida que você cria modelos de recomendação cada vez mais gerais, eles ficam cada vez melhores, porque você pode extrair de um pool de conteúdo mais amplo, em vez de extrair ineficientemente de pools diferentes.
Agora, à medida que os modelos se tornam maiores e mais gerais, eles ficarão cada vez melhores. ### Sonho que um dia, todo o conteúdo do Facebook ou Instagram será como um único modelo de IA impulsionando, unificando todos esses diferentes tipos de conteúdo e sistemas. Na realidade, o app tem diferentes objetivos de recomendação em diferentes períodos de tempo, alguns são apenas para mostrar conteúdo interessante que você quer ver hoje, mas alguns são para ajudar a construir sua rede de conexões de longo prazo, e nesse caso, esses modelos multimodais tendem a ser melhores em identificar padrões, sinais fracos, etc.
Jensen Huang: Então a IA é usada tão profundamente em sua empresa. Vocês têm construído infraestrutura de GPU para executar esses grandes sistemas de recomendação por muito tempo.
Zuckerberg: Na verdade, fomos um pouco lentos em usar GPUs.
Jensen Huang: Sim, você parece estar admitindo um erro, não precisa mencionar isso voluntariamente (risos).
Agora, a parte realmente legal de usar IA é que quando uso o WhatsApp, sinto que estou "colaborando" com o WhatsApp. Imagine que estou digitando e ele continua gerando imagens seguindo o que estou digitando. Quando mudo minhas palavras, ele gera outras imagens. Por exemplo, se eu digitar, um velho chinês desfrutando de um uísque ao pôr do sol com três cães ao lado; ele gera uma imagem bastante boa.
Zuckerberg: Por um lado, acho que a IA generativa será uma grande atualização para todos os nossos fluxos de trabalho e produtos de longa data.
Mas por outro lado, todas essas coisas totalmente novas podem ser criadas e geradas. Assim como assistentes de IA como o Meta AI, que podem ajudar você a realizar diferentes tarefas. Em nosso mundo, será muito criativo, será capaz de responder a qualquer pergunta ao longo do tempo.
No futuro, quando mudarmos dos modelos Llama 3 para o Llama 4 e versões posteriores, acho que o Meta AI não será mais apenas como um chatbot, você pergunta e ele responde. Em vez disso, depois de entender sua intenção, ele trabalhará autonomamente em vários quadros temporais. Por exemplo, você dá a ele uma intenção no início, ele inicia, depois de semanas ou meses de tarefas de computação, ele volta para lhe dizer o resultado, acho que isso será muito poderoso.
Jensen Huang: Como você disse, a IA de hoje é uma maneira de ida e volta, pergunta e resposta, mas obviamente, o pensamento humano não é assim. Quando nos é dada uma tarefa ou um problema, consideramos várias opções, podemos pensar em uma árvore de decisão, simulamos mentalmente, quais são os diferentes resultados de cada decisão. Esse tipo de planejamento e tomada de decisão, a IA do futuro também poderá fazer coisas semelhantes.
Quando você falou sobre sua visão para a IA dos criadores, fiquei muito empolgado ao ouvir, por que não conta a todos sobre seus planos.
Zuckerberg: Já falamos um pouco sobre isso, mas estamos lançando isso mais amplamente hoje. Não acho que haverá apenas um modelo de IA, essa é a abordagem de algumas outras empresas na indústria, construindo um agente centralizado de inteligência.
Nós somos diferentes, teremos o assistente Meta AI para você usar, mas ### queremos que todos que usam produtos Meta tenham a capacidade de criar seus próprios agentes. Seja para os milhões de criadores na plataforma, ou as centenas de milhões de pequenas empresas, todos poderão construir rapidamente um agente de negócios que possa interagir com seus clientes, como vendas e atendimento ao cliente, etc.
Então o que a Meta está começando a lançar agora é mais o que chamamos de ### AI Studio, que é um conjunto de ferramentas que eventualmente permitirá que cada criador construa algum tipo de versão de IA de si mesmo, como um agente ou assistente com o qual os membros da comunidade podem interagir.
Se você é um criador que quer ter mais interações com sua comunidade, na verdade você é limitado pelo tempo e energia. Uma opção melhor é permitir que as pessoas criem essas IAs, que podem ser treinadas com base no seu corpus da maneira que você deseja, para representá-lo. Você sabe muito bem que não está interagindo com o criador em pessoa, mas é outra maneira interessante, assim como os criadores humanos postam conteúdo nesses sistemas sociais, pode haver agentes para fazer isso.
Da mesma forma, acho que as pessoas criarão esses agentes para seus negócios.