在QuantaMagazine的这期播客中,主持人采访了华盛顿大学计算机教授Yejin Choi。两人探讨了一些有趣的话题,比如AI是否必须获得具身和情感,才能发展出像人类一样的常识。
目前GPT-4已经表现出了一些令人印象深刻的"人性意识"。在这期播客中,Yejin Choi和主持人Steven Strogatz讨论了聊天机器人以及构建它们的大语言模型(LLM)的功能和局限性。他们探讨了AI是否有可能真正理解世界以及它们回答的问题。
早在20世纪60年代,计算机科学家就梦想着受大脑启发的计算机能表现出类人智能。随着互联网兴起、大量文本数据集出现以及计算能力显著进步,我们似乎已经到达了一个重要时刻。如今的LLM看起来已经拥有了接近人类智能的东西。
普林斯顿大学的Sanjeev Arora和谷歌DeepMind的研究科学家Anirudh Goyal提出的理论表明,今天最大的LLM并不是随机鹦鹉。随着模型变得越来越大,在更多数据上训练,它们的语言能力提高了,并以一种暗示理解的方式组合技能,发展出了新的能力。
Choi解释说,LLM所做的就是阅读大量文本并学会预测下一个单词,但规模非常大。它不一定对训练数据进行"逐字反省",而是能进行一定程度的泛化。如果文本在互联网数据上重复得足够频繁,它的确就会逐字记住。
训练LLM的过程可以归结为构建一个非常大的神经网络,其中有一层又一层的神经元堆积起来,然后按顺序输入互联网数据。学习过程的目标就是根据前面单词的顺序来预测下一个单词。
这种训练方法虽然简单,却可以产生强大的成果,让LLM在文本中回答各种问题。但训练LLM的过程和人类了解世界的方式是截然不同的。人类是通过课程和好奇心来学习的,会对世界做出假设。
Choi认为,LLM是一种"思想情感汤"。它模仿了人类的情感和意图,因为人们在写作中确实投入了情感和意图。但归根结底,它并不真正具有人类所拥有的那种真实情感。