Investigaciones de instituciones como Oxford y Cambridge han descubierto que entrenar grandes modelos de lenguaje utilizando datos sintéticos puede llevar al colapso del modelo. Este hallazgo apareció en la portada de Nature.
Los investigadores probaron el modelo OPT-125m de Meta, preguntándole sobre arquitectura medieval. Aunque las primeras rondas de respuestas fueron razonables, en la novena iteración el modelo comenzó a producir resultados sin sentido.
El autor principal del estudio señaló que habían considerado que los datos sintéticos podrían introducir algunos errores, pero se sorprendieron por la rapidez con la que el modelo se degradó.
Tres tipos de errores contribuyen al colapso del modelo:
- Error de aproximación estadística - Debido a tamaños de muestra limitados
- Error de expresividad de función - Por limitaciones en las capacidades de aproximación del modelo
- Error de aproximación de función - Causado por limitaciones en el proceso de aprendizaje
Para evaluar el impacto en los modelos de lenguaje, los investigadores ajustaron el modelo OPT-125m de Meta con datos de WikiText-2. Generaron datos de entrenamiento sintéticos a partir del modelo ajustado y los utilizaron para entrenar generaciones subsiguientes.
Los resultados mostraron errores crecientes con el tiempo, con modelos olvidando eventos de baja probabilidad y produciendo resultados más homogéneos antes del colapso completo. Se observaron fenómenos similares en modelos VAE y GMM.
Mitigar este problema es un desafío. Algunas empresas están explorando "marcar" el contenido generado por IA para excluirlo de los datos de entrenamiento, pero esto requiere coordinación entre empresas.
Esto sugiere que los modelos entrenados con datos de internet más antiguos pueden representar mejor el mundo real, potencialmente dando una ventaja a la primera ola de grandes modelos de lenguaje.