En este episodio del podcast de QuantaMagazine, el presentador entrevistó a Yejin Choi, profesora de informática de la Universidad de Washington. Ambos exploraron temas interesantes, como si la IA necesita adquirir corporeidad y emociones para desarrollar sentido común como los humanos.
Actualmente, GPT-4 ya ha mostrado una impresionante "conciencia humana". En este podcast, Yejin Choi y el presentador Steven Strogatz discutieron las capacidades y limitaciones de los chatbots y los modelos de lenguaje grande (LLM) que los construyen. Exploraron si la IA puede realmente entender el mundo y las preguntas que responde.
Ya en los años 60, los informáticos soñaban con computadoras inspiradas en el cerebro que mostraran inteligencia similar a la humana. Con el auge de Internet, la aparición de grandes conjuntos de datos de texto y los avances significativos en la capacidad de cómputo, parece que hemos llegado a un momento crucial. Los LLM actuales parecen tener algo cercano a la inteligencia humana.
Las teorías propuestas por Sanjeev Arora de la Universidad de Princeton y Anirudh Goyal, científico investigador de Google DeepMind, sugieren que los LLM más grandes de hoy no son loros aleatorios. A medida que los modelos se hacen más grandes y se entrenan con más datos, sus habilidades lingüísticas mejoran y combinan habilidades de una manera que sugiere comprensión, desarrollando nuevas capacidades.
Choi explica que lo que hacen los LLM es leer una gran cantidad de texto y aprender a predecir la siguiente palabra, pero a una escala muy grande. No necesariamente "reflexiona palabra por palabra" sobre los datos de entrenamiento, sino que puede generalizar hasta cierto punto. Si el texto se repite con suficiente frecuencia en los datos de Internet, ciertamente lo memorizará palabra por palabra.
El proceso de entrenamiento de un LLM se reduce a construir una red neuronal muy grande con capas y capas de neuronas apiladas, y luego alimentarla con datos de Internet en secuencia. El objetivo del proceso de aprendizaje es predecir la siguiente palabra basándose en la secuencia de palabras anteriores.
Aunque simple, este método de entrenamiento puede producir resultados poderosos, permitiendo a los LLM responder a una variedad de preguntas en texto. Sin embargo, el proceso de entrenamiento de los LLM es radicalmente diferente de la forma en que los humanos aprenden sobre el mundo. Los humanos aprenden a través de lecciones y curiosidad, haciendo suposiciones sobre el mundo.
Choi considera que los LLM son una especie de "sopa de pensamientos y emociones". Imitan las emociones e intenciones humanas porque las personas realmente ponen emociones e intenciones en su escritura. Pero en última instancia, no poseen realmente el tipo de emociones genuinas que tienen los humanos.