Na madrugada de 24 de julho, a Meta lançou o Llama 3.1, atualmente o modelo de linguagem de código aberto mais poderoso. Simultaneamente, Zuckerberg concedeu uma entrevista a Rowan Cheung, fundador do "The Rundown AI", discutindo o Llama 3.1 e suas opiniões sobre o desenvolvimento da IA.
Zuckerberg acredita que, a longo prazo, o ecossistema criado por modelos de código aberto é mais seguro do que modelos fechados. Ele prevê que os agentes de IA eventualmente se tornarão ferramentas essenciais para as empresas, assim como e-mails e contas de redes sociais. Ele afirma: "No final, pode haver até mais agentes de IA do que humanos, e as pessoas interagirão com eles de várias maneiras. Obviamente, isso também é uma enorme oportunidade de negócios."
Aqui estão os principais pontos da entrevista:
Rowan Cheung: Mark, muito obrigado por fazer esta entrevista. A Meta lançou um importante modelo de IA hoje. Você pode resumir o que foi lançado e sua importância?
Mark Zuckerberg: Hoje lançamos o Llama 3.1, com três modelos. É a primeira vez que lançamos um modelo com 405 bilhões de parâmetros. É o modelo de código aberto mais complexo até agora. Ele é competitivo com alguns dos principais modelos fechados e até os supera em algumas áreas.
Estou muito ansioso para ver como as pessoas o utilizarão, especialmente agora que nossa política comunitária permite que as pessoas usem o Llama como modelo professor para destilação e ajuste fino, basicamente permitindo criar qualquer outro modelo a partir dele.
Além disso, destilamos o modelo de 405 bilhões de parâmetros em modelos mais novos e avançados de 70 bilhões e 8 bilhões de parâmetros. Esses modelos também têm um desempenho muito bom e oferecem ótimo custo-benefício. Estou ansioso para ver como as pessoas usarão esses modelos.
Acredito que este é um momento importante para a IA de código aberto. Pensei sobre isso por um bom tempo e acredito que a IA de código aberto se tornará o padrão da indústria, seguindo o caminho do Linux.
Antes do Linux se tornar popular, muitas empresas queriam ter sua própria versão fechada do Unix, e não havia projetos de código aberto complexos. As pessoas pensavam que o modelo de desenvolvimento fechado era a única maneira de criar produtos complexos.
Inicialmente, o Linux se estabeleceu por ser mais barato e personalizável pelos desenvolvedores. À medida que o ecossistema crescia, ele recebia mais escrutínio, tornando-se mais seguro e sofisticado. Mais parceiros construíram funcionalidades adicionais sobre o Linux, tornando-o tão bom quanto outros Unix fechados.
Agora, acredito que o Llama 3.1 tem a oportunidade de se tornar o padrão de IA de código aberto, tornando o código aberto o padrão da indústria de IA. Mesmo que ainda não supere os modelos fechados em desempenho, tem grandes vantagens em termos de custo e personalização. Acredito que essas são vantagens que os desenvolvedores aproveitarão.
Estamos focados em construir um ecossistema de parceiros ao seu redor, e veremos muitas funcionalidades diferentes sendo construídas sobre ele.
Rowan Cheung: Vi todos os benchmarks e os resultados são incríveis. Obviamente, este é o primeiro modelo de ponta de código aberto com 405 bilhões de parâmetros. Há casos de uso específicos que você está particularmente animado para ver as pessoas construírem com este modelo?
Mark Zuckerberg: O que mais me anima é ver as pessoas usarem-no para destilar e ajustar seus próprios modelos. Como você disse, este é o primeiro modelo de ponta de código aberto, mas não é o primeiro modelo de ponta. Já existiam outros modelos com essa capacidade.
As pessoas vão querer fazer inferência diretamente no modelo de 405 bilhões de parâmetros porque estimamos que seja 50% mais barato que o GPT-4. Isso fará diferença para muitas pessoas.
No entanto, acho que o que é realmente novo sobre este modelo é que ele tem pesos de código aberto, permitindo destilá-lo para qualquer tamanho desejado, usá-lo para geração de dados sintéticos e como modelo professor.
Para o futuro, não acreditamos que será uma coisa única. A visão da OpenAI é construir uma "grande IA", e a Anthropic e o Google têm visões semelhantes.
Mas essa nunca foi nossa visão. Nossa visão é que o futuro deveria ter muitos modelos diferentes. Acredito que cada startup, grande empresa e cada governo vai querer ter seu próprio modelo personalizado.
Quando os sistemas fechados eram muito melhores que os de código aberto, fazia sentido usar modelos fechados. Embora os modelos de código aberto pudessem ser personalizados, ainda havia uma lacuna de desempenho.
Agora é diferente. A lacuna de desempenho dos modelos de código aberto basicamente se fechou. Você verá mais pessoas motivadas a personalizar e construir modelos que atendam às suas necessidades, treinados com seus próprios dados, em escala apropriada para elas.
Elas também terão as ferramentas para fazer isso, porque empresas como Amazon AWS e Databricks estão construindo suítes completas de serviços para destilação e ajuste fino de modelos de código aberto.
Na minha opinião, esta é a nova situação agora. Estamos ansiosos para ver até onde essa tendência pode ir. É uma nova capacidade no mundo porque nunca houve um modelo de código aberto ou com pesos abertos tão complexo antes.
Rowan Cheung: Isso é realmente algo grande. Como vocês vão educar os desenvolvedores para usar essas ferramentas? De forma mais ampla, a Meta tem planos ou estratégias para educar o mundo sobre modelos de código aberto e sua importância?
Mark Zuckerberg: Antes do Llama 3.1, a razão fundamental pela qual a Meta investiu nisso era garantir que tivéssemos acesso aos modelos de ponta. Devido à nossa história, especialmente no mobile, não queríamos depender da tecnologia fundamental de um concorrente. Então construímos modelos para nós mesmos.
Antes do Llama 3.1, instintivamente sentíamos que, se o tornássemos de código aberto, atrairia uma comunidade para crescer ao seu redor, expandindo suas capacidades e tornando-o mais valioso para todos, incluindo nós mesmos. Porque no final, não é apenas uma tecnologia, é um ecossistema. Para que seja mais útil para nós, precisa de um ecossistema amplo.
Uma grande mudança com o Llama 3.1 é que não estamos mais apenas construindo para nós mesmos e depois lançando para os desenvolvedores usarem, mas estamos ativamente construindo parcerias para garantir que haja todo um ecossistema de empresas que possam fazer coisas interessantes com este modelo e servir os desenvolvedores de maneiras que não podemos.
Não somos um provedor de serviços em nuvem, não somos AWS, Google ou Azure, então os desenvolvedores não virão até nós para construir suas coisas, mas queremos garantir que todos esses provedores de nuvem possam usar bem este modelo.
Isso não envolve apenas hospedagem e inferência, mas também alguns novos recursos como destilação e ajuste fino, que não são tão fáceis de fazer com modelos fechados, então tivemos que trabalhar especificamente com parceiros para habilitar essas capacidades.
Ao mesmo tempo, haverá empresas como a Groq que se concentram em inferência de latência ultra baixa. Estou feliz em colocar isso nas mãos da Groq, que agora está construindo coisas novas com isso.
Há também uma série de empresas como Dell, Scale AI, Deloitte ou Accenture que trabalham com empresas globais na implantação de tecnologia. Acho que essas empresas ajudarão a construir modelos personalizados.
Sejam grandes empresas ou governos, muitas organizações querem ter seus próprios modelos e poder treinar seus próprios dados. Muitas empresas não querem passar seus dados através de uma API para o Google ou OpenAI, não porque essas empresas tenham problemas de privacidade.
É mais como as pessoas gostam da criptografia de ponta a ponta do WhatsApp, elas querem que seja estruturalmente seguro e que possam manter seus dados para si mesmas.
Acho que haverá um mercado que se formará em torno disso também. Estou muito animado com isso.
Desta vez, adotamos uma abordagem mais proativa na construção do ecossistema, porque acredito que é assim que ele crescerá e criará mais valor para todos.
Rowan Cheung: Adoro a conexão próxima com a comunidade de desenvolvedores. Eu mesmo faço parte da comunidade e sei que as pessoas realmente precisam desses modelos privados e locais. Falando sobre sua carta aberta, além do anúncio da Meta, você publicou uma carta cuja primeira parte se concentra nos benefícios do código aberto para os desenvolvedores, o que parece muito preciso. Você pode falar mais sobre o impacto mais amplo da IA de código aberto na sociedade?
Mark Zuckerberg: Minha visão é que o código aberto é uma parte importante para alcançar um bom futuro com IA. A IA trará muitos ganhos em produtividade e criatividade, e esperamos que também nos ajude a fazer pesquisas e outras coisas.
Acredito que o código aberto é uma parte importante para garantir que a IA possa beneficiar a todos e que todos possam usá-la, em vez de ter a IA trancada nas mãos de algumas grandes empresas.
Ao mesmo tempo, acredito que o código aberto será uma maneira mais segura e confiável de desenvolver IA.
Há um debate atual sobre a segurança do código aberto - "O código aberto é realmente seguro?"
Minha visão é diferente. Acredito que o código aberto não é apenas seguro, mas mais seguro do que o desenvolvimento fechado.
Podemos dividir os riscos em "não intencionais" e "intencionais". Os riscos "não intencionais" são quando o sistema sai de controle de alguma forma, que é o cenário de IA fora de controle na maioria dos filmes de ficção científica.
Acredito que o código aberto é mais seguro nesse aspecto porque há mais escrutínio, mais transparência. Todos os desenvolvedores que o usam também terão diretrizes e ferramentas de segurança, e haverá muita pressão de escrutínio e teste, assim como no software de código aberto tradicional. Os problemas serão descobertos e resolvidos mais rapidamente em comparação com modelos fechados.