01 Entrenar grandes modelos es caro, ¿cómo recuperará Meta su inversión?
El negocio que imprime dinero para Meta - los feeds de información y sistemas de recomendación, están siendo "sacudidos" por los grandes modelos de lenguaje
Jensen Huang: Mark, bienvenido a tu primera vez en SIGGRAPH. ¿Puedes creerlo? Como uno de los pioneros en el campo de la computación y impulsor de la computación moderna, tengo que invitarte a SIGGRAPH. Me alegro de que hayas venido.
Zuckerberg: Sí, debería ser interesante. ¿Has estado hablando durante unas cinco horas ya?
Jensen Huang: Sí, así es SIGGRAPH, el 90% aquí son doctores. Lo mejor de SIGGRAPH es que es una feria que combina gráficos por computadora, procesamiento de imágenes, inteligencia artificial y robótica. A lo largo de los años, muchas empresas han mostrado y revelado cosas asombrosas aquí, como Disney, Pixar, Adobe, Epic Games y, por supuesto, NVIDIA.
Este año hemos hecho mucho trabajo aquí: hemos publicado 20 artículos en la intersección de la IA y la simulación; estamos utilizando la IA para ayudar a que la simulación funcione a mayor escala y más rápido. Por ejemplo, la física diferenciable, estamos utilizando la simulación para crear entornos simulados para la IA, para la generación de datos sintéticos, estas dos áreas realmente se están fusionando.
Meta, de hecho, ha hecho un trabajo asombroso en IA. Me parece interesante que cuando los medios escriben sobre Meta invirtiendo repentinamente en IA en los últimos años, parece que no conocen los logros pasados de FAIR (Facebook AI Research, el departamento de investigación de inteligencia artificial de Meta, fundado en 2013). De hecho, todos estamos usando PyTorch, el marco de aprendizaje profundo de código abierto de Meta (una herramienta indispensable en la investigación y desarrollo de IA), y el trabajo de Meta en visión por computadora, modelos de lenguaje y traducción en tiempo real ha sido pionero.
La primera pregunta que quiero hacerte es, ¿cómo ves el progreso de Meta en IA generativa? ¿Cómo mejorará vuestro negocio o introducirá nuevas capacidades?
Zuckerberg: Comparados con vosotros, somos novatos. Pero Meta ha estado asistiendo a SIGGRAPH durante ocho años. En 2018, fuimos de los primeros en mostrar algunos trabajos de seguimiento de manos para nuestros visores de VR y realidad mixta. También hemos discutido mucho sobre los avances logrados en avatares codec, para mostrar avatares realistas en visores de consumo.
También hemos hecho mucho trabajo en sistemas de visualización, algunos prototipos y investigaciones futuras, para hacer que los visores de realidad mixta sean muy delgados. Lo que quiero es una pila óptica muy avanzada, sistemas de visualización y sistemas integrados.
Así que es genial estar aquí, este año, no solo hablando del metaverso, sino de todo lo relacionado con la IA. Como dijiste, fundamos FAIR antes de comenzar Reality Labs (la división de desarrollo del metaverso de Meta), cuando todavía nos llamábamos Facebook, ahora por supuesto Meta. Así que en IA, tenemos años de acumulación.
En cuanto a la IA generativa, es una revolución interesante, creo que eventualmente transformará fundamentalmente todos los productos que hacemos. ### Por ejemplo, los feeds de información y sistemas de recomendación de Instagram y Facebook, que hemos evolucionado durante décadas, la IA los cambiará aún más.
Originalmente, los feeds eran solo sobre conexiones con amigos, en cuyo caso la clasificación del feed era clave. Porque si alguien hizo algo muy importante, como que tu primo tuvo un bebé o algo así, quieres que aparezca en la parte superior. Si lo enterramos en algún rincón de tu feed, te enojarías mucho.
Pero ### en los últimos años, los feeds han evolucionado a otra etapa, donde la exhibición del contenido que necesitas es más sobre contenido público. En este caso, el sistema de recomendación se vuelve súper importante. Porque ya no son solo unos cientos o miles de publicaciones de amigos esperando ser mostradas, sino millones de contenidos, lo que se convierte en un problema de recomendación muy interesante.
Y con la IA generativa, pronto entraremos en una nueva etapa. Hoy, la mayor parte del contenido que ves en Instagram es recomendado para ti, escrito por alguien en el mundo, que coincide con tus intereses, ya sea que sigas a esas personas o no. Pero en el futuro, ### parte de esto será nuevo contenido creado por creadores usando herramientas, e incluso algo de contenido será creado instantáneamente para ti, o generado sintetizando diferentes contenidos existentes.
Este es solo un ejemplo de cómo evolucionará el negocio central que estamos haciendo, que ya ha evolucionado durante 20 años, pero poca gente se da cuenta.
Revelando Llama4, permitiendo que los asistentes de IA "desbloqueen" agentes inteligentes en toda la familia de productos de Meta
Jensen Huang: Sin embargo, la gente se da cuenta de que uno de los sistemas de computación más grandes del mundo es el sistema de recomendación.
Zuckerberg: Es un camino completamente diferente, no es exactamente la IA generativa de la que la gente habla ahora. Aunque todo es arquitectura Transformer, todo está construyendo sistemas cada vez más generales, incrustando datos no estructurados en características.
Pero las dos formas producen una diferencia cualitativa, en el pasado entrenábamos diferentes modelos para diferentes tipos de contenido, como un modelo para la clasificación y recomendación de Reels, la app de videos cortos de Meta, y otro modelo para la clasificación y recomendación de videos largos. Luego, necesitabas hacer algo de trabajo de producto para que el sistema pudiera mostrar cualquier contenido en línea.
A medida que creas modelos de recomendación más y más generales, se vuelve cada vez mejor, porque puedes extraer de un grupo de contenido más amplio, en lugar de extraer ineficientemente de diferentes grupos.
Ahora, a medida que los modelos se vuelven más grandes y generales, se volverán cada vez mejores. ### Sueño con que algún día, todo el contenido de Facebook o Instagram sea impulsado por un solo modelo de IA, que unifique todos estos diferentes tipos de contenido y sistemas. En realidad, la app tiene diferentes objetivos de recomendación en diferentes momentos, algunos son solo para mostrarte contenido interesante que quieres ver hoy, pero algunos son para ayudarte a construir tu red de conexiones a largo plazo, en cuyo caso estos modelos multimodales tienden a ser mejores en identificar patrones, señales débiles, etc.
Jensen Huang: Resulta que la IA se usa tan profundamente en tu empresa. Habéis estado construyendo infraestructura GPU para ejecutar estos grandes sistemas de recomendación durante mucho tiempo.
Zuckerberg: En realidad fuimos un poco lentos en el uso de GPUs.
Jensen Huang: Sí, parece que admites el error, no necesitas mencionarlo voluntariamente (jaja).
Ahora, lo realmente genial de usar IA es que cuando uso WhatsApp, siento que estoy "colaborando" con WhatsApp. Imagina que estoy escribiendo y genera imágenes siguiendo lo que escribo. Cuando cambio mis palabras, genera otras imágenes. Por ejemplo, si escribo, un anciano chino disfrutando de un whisky al atardecer con tres perros a su lado; genera una imagen bastante buena.
Zuckerberg: Por un lado, creo que la IA generativa será una gran mejora para todos nuestros flujos de trabajo y productos a largo plazo.
Pero por otro lado, todas estas cosas completamente nuevas pueden ser creadas y generadas. Al igual que asistentes de IA como Meta AI, pueden ayudarte a realizar diferentes tareas. En nuestro mundo, será muy creativo, podrá responder cualquier pregunta con el tiempo.
En el futuro, cuando pasemos de los modelos Llama 3 a Llama 4 y versiones posteriores, creo que Meta AI ya no será solo como un chatbot, donde preguntas y responde. En su lugar, después de entender tu intención, trabajará de forma autónoma en múltiples marcos temporales. Por ejemplo, le das una intención al principio, se inicia, y después de semanas o meses de tareas de cálculo, vuelve y te dice los resultados, creo que esto será muy poderoso.
Jensen Huang: Como dijiste, la IA de hoy es de ida y vuelta, pregunta y respuesta, pero obviamente, el pensamiento humano no es así. Cuando se nos da una tarea o un problema, consideramos múltiples opciones, podríamos pensar en un árbol de decisiones, lo simulamos en nuestra mente, cuáles son los diferentes resultados de cada decisión. Este tipo de planificación y toma de decisiones, la IA futura también podrá hacer cosas similares.
Cuando hablaste sobre tu visión de la IA para creadores, me emocioné mucho al escucharlo, ¿por qué no le cuentas a todos tus planes?
Zuckerberg: Ya hemos hablado un poco, pero hoy lo estamos lanzando más ampliamente. No creo que solo haya un modelo de IA, esa es la forma en que algunas otras empresas en la industria lo están haciendo, construyendo un agente centralizado inteligente.
Somos diferentes, tendremos el asistente Meta AI para que lo uses, pero ### queremos que todos los que usan productos de Meta tengan la capacidad de crear sus propios agentes. Ya sean ### los millones de creadores en la plataforma, o los cientos de millones de pequeñas empresas, todos podrán construir rápidamente un agente de negocio inteligente que pueda interactuar con tus clientes, como vender y atender a los clientes, etc.
Así que Meta ahora está comenzando a lanzar más lo que llamamos ### AI Studio, que es un conjunto de herramientas que eventualmente permitirán a cada creador construir algún tipo de versión de IA de sí mismos, como un agente o asistente con el que los miembros de la comunidad pueden interactuar.
Si eres un creador y quieres tener más interacción con tu comunidad, en realidad estás limitado por el tiempo y la energía. Una mejor opción es permitir que las personas creen estas IAs, que pueden ser entrenadas basándose en tu corpus de la manera que quieras, para representarte. Está muy claro que no estás interactuando con el creador en persona, pero es otra forma interesante, al igual que los creadores humanos publican contenido en estos sistemas sociales, de tener agentes que hagan esto.
De la misma manera, creo que la gente creará estos agentes para sus negocios.