牛津和剑桥等机构的研究发现，使用合成数据训练大型语言模型可能导致模型崩溃。这一发现登上了《自然》杂志的封面。
研究人员测试了Meta的OPT-125m模型，询问它关于中世纪建筑的问题。虽然最初几轮回答还算合理，但到第九次迭代时，模型开始产生毫无意义的输出。
论文的主要作者指出，他们曾考虑过合成数据可能会引入一些错误，但对模型如此快速地退化感到惊讶。
三种类型的错误导致模型崩溃：
- 统计近似误差 - 由于样本量有限
- 函数表达性误差 - 源于模型近似能力的局限性
- 函数近似误差 - 由学习过程的局限性造成
为评估对语言模型的影响，研究人员在WikiText-2数据上微调了Meta的OPT-125m模型。他们从微调后的模型生成合成训练数据，并用它来训练后续几代模型。
结果显示，随着时间推移，错误不断增加，模型忘记了低概率事件，在完全崩溃前产生更加同质化的输出。在VAE和GMM模型中也观察到类似现象。
缓解这个问题具有挑战性。一些公司正在探索对AI生成的内容进行"水印"处理，以将其排除在训练数据之外，但这需要公司之间的协调。
这表明，使用较早的互联网数据训练的模型可能更好地代表真实世界，这可能使第一波大型语言模型具有优势。