在 QuantaMagazine 的這期播客中,主持人採訪了華盛頓大學計算機教授 Yejin Choi。兩人探討了一些有趣的話題,比如 AI 是否必須獲得具身和情感,才能發展出像人類一樣的常識。
目前 GPT-4 已經表現出了一些令人印象深刻的"人性意識"。在這期播客中,Yejin Choi 和主持人 Steven Strogatz 討論了聊天機器人以及構建它們的大語言模型(LLM)的功能和局限性。他們探討了 AI 是否有可能真正理解世界以及它們回答的問題。
早在 20 世紀 60 年代,計算機科學家就夢想著受大腦啟發的計算機能表現出類人智能。隨著互聯網興起、大量文本數據集出現以及計算能力顯著進步,我們似乎已經到達了一個重要時刻。如今的 LLM 看起來已經擁有了接近人類智能的東西。
普林斯頓大學的 Sanjeev Arora 和谷歌 DeepMind 的研究科學家 Anirudh Goyal 提出的理論表明,今天最大的 LLM 並不是隨機鸚鵡。隨著模型變得越來越大,在更多數據上訓練,它們的語言能力提高了,並以一種暗示理解的方式組合技能,發展出了新的能力。
Choi 解釋說,LLM 所做的就是閱讀大量文本並學會預測下一個單詞,但規模非常大。它不一定對訓練數據進行"逐字反省",而是能進行一定程度的泛化。如果文本在互聯網數據上重複得足夠頻繁,它的確就會逐字記住。
訓練 LLM 的過程可以歸結為構建一個非常大的神經網絡,其中有一層又一層的神經元堆積起來,然後按順序輸入互聯網數據。學習過程的目標就是根據前面單詞的順序來預測下一個單詞。
這種訓練方法雖然簡單,卻可以產生強大的成果,讓 LLM 在文本中回答各種問題。但訓練 LLM 的過程和人類了解世界的方式是截然不同的。人類是通過課程和好奇心來學習的,會對世界做出假設。
Choi 認為,LLM 是一種"思想情感湯"。它模仿了人類的情感和意圖,因為人們在寫作中確實投入了情感和意圖。但歸根結底,它並不真正具有人類所擁有的那種真實情感。