El profesor asistente Yubo Chen del Departamento de Ingeniería Eléctrica y Computación de la Universidad de California en Davis, su investigación está relacionada con los "modelos de caja blanca". Además, es postdoctorado del ganador del Premio Turing y científico jefe de Meta, Yann LeCun. En este programa, habló con nosotros sobre los últimos avances en la investigación de modelos de caja blanca, y también compartió su experiencia con el científico Yann LeCun, que ha experimentado los altibajos de la industria de la IA pero sigue siendo puro y enfocado.
A continuación se presentan extractos seleccionados de la entrevista
01 El cerebro humano y los grandes modelos
Silicon Valley 101: ¿Puedes presentar brevemente la investigación sobre "modelos de caja blanca" que estás realizando? ¿Has descubierto alguna forma de explicar los problemas de entrada y salida de GPT en tu proceso de investigación?
Yubo Chen: El objetivo principal de esta dirección es en realidad impulsar el aprendizaje profundo de una disciplina puramente empírica a una disciplina científica, o convertir la ingeniería en ciencia, porque actualmente la ingeniería se está desarrollando bastante rápido pero la ciencia es relativamente lenta. Antes había un modelo llamado incrustación de palabras (embedding), que podía aprender algunas representaciones del lenguaje.
En ese momento, la gente tenía una pregunta: el rendimiento de nuestras tareas mejoró, pero ¿qué causó exactamente esta mejora en el rendimiento? Así que hicimos un trabajo muy temprano, que fue intentar abrir estas representaciones de vocabulario. Cuando lo abres, descubres algunos fenómenos muy interesantes.
Por ejemplo, para la palabra "manzana", puedes encontrar algunos significados elementales dentro de ella. Por ejemplo, uno de los significados puede representar fruta, otro puede representar postre, y si profundizas más, encontrarás significados de tecnología y productos, que por supuesto se refieren a los productos de Apple. Así que descubrirás que siguiendo una palabra puedes encontrar estos significados elementales, y luego puedes extender este método a los grandes modelos de lenguaje.
Es decir, después de aprender un gran modelo de lenguaje, podemos buscar algunos significados elementales que contiene dentro del modelo, y luego intentar abrirlos. Descubrirás que un gran modelo de lenguaje en realidad tiene muchas capas.
En las capas iniciales, aparece un fenómeno llamado "desambiguación de palabras". Por ejemplo, en inglés hay una palabra llamada "left", que tiene tanto el significado de girar a la izquierda como el pasado del verbo dejar, y su significado específico depende del contexto anterior y posterior, por lo que el gran modelo de lenguaje completa la desambiguación de palabras en las primeras capas.
En las capas intermedias, descubrirás que surgen algunos nuevos significados. En ese momento, pensamos que algo divertido se llamaba "conversión de unidades", que se activaba cuando había que convertir kilómetros a millas o temperaturas de Fahrenheit a Celsius, este significado se abría y podías encontrar muchos significados elementales similares siguiendo este camino.
Cuando subes aún más, incluso descubrirás que existe un patrón en estos significados elementales, este patrón es que cuando aparece un significado repetido en el contexto, se activa, y puedes usar este método para abrir grandes y pequeños modelos de lenguaje. Por supuesto, estas ideas no son completamente nuevas, de hecho ya tienen una historia en los modelos visuales, por ejemplo, ha habido exploraciones similares desde Matthew Zeiler.
Silicon Valley 101: Siguiendo esta línea de pensamiento, ¿significa que si sabemos cómo funciona parcialmente, podemos optimizarlo mucho desde el punto de vista de la ingeniería?
Yubo Chen: Sí, esta es una muy buena pregunta. Creo que un requisito bastante alto para hacer cualquier teoría es que pueda guiar la práctica, así que cuando estábamos trabajando en modelos de lenguaje y representaciones de vocabulario en ese momento, uno de los objetivos era ver si podíamos optimizar estos modelos después de entenderlos. De hecho, es posible.
Por ejemplo, si encuentras un significado elemental en un gran modelo de lenguaje que se activa cuando ve cierto tipo de significado elemental, entonces esta neurona puede usarse como un discriminador, y puedes usar esto para hacer algunas tareas. Al cambiar estos significados elementales, puedes ajustar los sesgos del modelo.
Es decir, si puedo descubrirlo, puedo ajustarlo. Recientemente, Anthropic hizo un trabajo similar, encontrando algunos posibles sesgos en los modelos de lenguaje y luego haciendo algunos cambios para hacer que el modelo sea más justo y seguro.
Silicon Valley 101: Vi que el año pasado OpenAI también tenía una investigación que usaba GPT4 para explicar GPT2, para ver cómo funciona GPT2 exactamente. Por ejemplo, descubrieron que cuando GPT2 responde a todas las cosas sobre la historia de Estados Unidos alrededor de 1800, la neurona 12 en la fila 5 se activa, y cuando responde en chino, es la neurona 13 en la fila 12 la que se activa.
Si apagas esta neurona que responde en chino, su capacidad de comprensión del chino disminuirá significativamente. Pero cuanto más atrás están las neuronas, por ejemplo, cuando las neuronas llegan alrededor de la fila 2000, toda su credibilidad ya ha disminuido mucho. ¿Has notado esta investigación?
Yubo Chen: No he leído este artículo todavía, pero este método se parece mucho a realizar cirugía en las neuronas del cerebro. Es como si ahora tuviéramos una red neuronal, y esta red puede encontrar una existencia local en cierto sentido en lugar de estar completamente dispersa, entonces puedes realizar algunas operaciones en ella. Por ejemplo, si cortas una cierta neurona, entonces puedes considerar que ha perdido relativamente cierta capacidad en esa área.
Los humanos son en realidad lo mismo, por ejemplo, una persona con epilepsia puede tener algunos impedimentos del lenguaje después de la cirugía, pero no afecta mucho otras funciones corporales, lo cual parece similar en principio.
Silicon Valley 101: OpenAI y Anthropic ahora están investigando la interpretabilidad de los grandes modelos, ¿hay alguna diferencia entre tu investigación y la de ellos?
Yubo Chen: En realidad nadie sabe si la investigación de modelos de caja blanca tendrá éxito en el futuro, también lo discutí con mi supervisor antes, pero la opinión unánime es que vale la pena intentarlo. Si volvemos a este punto, lo que nuestra investigación quiere hacer es en realidad entender la inteligencia artificial y reconstruirla a través de nuestro entendimiento, para construir algo fundamentalmente diferente. Entonces, la observación, es decir, la interpretabilidad, creo que es solo un medio.
Es decir, ya sea abrir este tipo de modelos, hacer estos experimentos, o hacer algunos ajustes al modelo, creo que todos estos son medios que intentamos en el proceso de comprensión, pero lo realmente importante para los modelos de caja blanca es volver a la señal misma. Porque ya sea el cerebro humano o las máquinas, la esencia de su aprendizaje se debe a la señal.
Existen algunas estructuras en nuestro mundo, y tienen que aprender a través de estas estructuras, y lo que aprenden son precisamente estas estructuras. Entonces, ¿podemos encontrar las leyes detrás de estas estructuras, así como algunas herramientas matemáticas para representarlas y luego reorganizarlas para construir un modelo diferente? Si esto se puede lograr, creo que podría traer una expectativa de mejorar la robustez, seguridad y credibilidad de nuestros sistemas.
Además, su eficiencia también mejoraría. Es como si la termodinámica apareciera después de que surgiera la máquina de vapor, apoyando su transformación de una disciplina puramente artesanal a una ciencia. De la misma manera, hoy es como si tuviéramos la máquina de vapor en los datos por primera vez, pasando de no entender nuestros datos a finalmente poder comenzar a hacer algunos algoritmos de IA para capturar las regularidades en los datos.
Silicon Valley 101: Así que sería más eficiente energéticamente.
Yubo Chen: Hablando de eficiencia energética, puedo dar algunos ejemplos interesantes. El primer punto definitivamente es la eficiencia energética, porque el cerebro es equivalente a una bombilla de 20 vatios, mientras que las supercomputadoras actuales pueden superar el millón de vatios.
El segundo punto es que si miramos la evolución de varios organismos en la naturaleza, su eficiencia evolutiva es en realidad muy alta. Por ejemplo, hay un tipo especial de araña llamada Araña Saltadora, que solo tiene unos pocos millones de neuronas, pero puede hacer líneas tridimensionales muy complejas para capturar a sus presas.
Y creo que lo más interesante es la eficiencia del uso de datos por parte de los humanos. La cantidad de datos de Llama3 ahora ha alcanzado aproximadamente 13 billones de tokens. Pero, ¿cuántos datos puede recibir una persona en su vida? Suponiendo que podemos obtener 30 cuadros de imagen por segundo, 12 horas de adquisición por día, durante 20 años, obtendremos aproximadamente 10 mil millones de tokens, y la cantidad de texto que podemos obtener es aproximadamente la misma, mucho menos que los grandes modelos.
Entonces, la pregunta es, ¿cómo logran los humanos obtener una capacidad de generalización tan fuerte con una cantidad de datos tan pequeña? Este es un punto que me parece muy asombroso sobre el cerebro humano en términos de eficiencia.
Silicon Valley 101: ¿Qué es más difícil, descubrir cómo funcionan los grandes modelos o cómo funciona el cerebro humano? Ambos me suenan muy difíciles.
Yubo Chen: Cada uno tiene sus propias dificultades, pero son similares en método. Ya sea el cerebro humano o los grandes modelos de lenguaje, estamos tratando de observarlos y ver a qué responden.
Este método en realidad se puede ver desde la investigación de David Hubel y Torsten Weisel sobre la corteza visual, ganadores del Premio Nobel de Fisiología en la década de 1980. Encontraron un tipo de Célula Simple, intentaron estudiar qué neuronas producirían impulsos cuando las personas ven ciertas cosas, analizando los diferentes estados de respuesta de las neuronas cuando ven cosas diferentes, por ejemplo, cuándo no responden en absoluto y cuándo están muy excitadas, y luego encontraron el campo receptivo de las neuronas.