QuantaMagazine のこのポッドキャストで、司会者はワシントン大学のコンピューターサイエンス教授である Yejin Choi にインタビューしました。二人は、AI が人間のような常識を発達させるためには、身体性と感情を獲得する必要があるかどうかなど、興味深いトピックについて議論しました。
現在、GPT-4 はすでにいくつかの印象的な「人間らしさ」を示しています。このポッドキャストで、Yejin Choi と司会者の Steven Strogatz は、チャットボットとそれらを構築する大規模言語モデル（LLM）の機能と限界について議論しました。彼らは、AI が本当に世界と自分が答える質問を理解できるかどうかを探りました。
1960年代から、コンピューターサイエンティストは脳にインスパイアされたコンピューターが人間のような知能を示すことを夢見てきました。インターネットの台頭、大量のテキストデータセットの出現、そして計算能力の著しい進歩により、我々は重要な時点に到達したように見えます。今日の LLM は、人間の知能に近いものを持っているように見えます。
プリンストン大学の Sanjeev Arora と Google DeepMind の研究科学者 Anirudh Goyal が提案した理論によると、今日の最大の LLM はただのランダムなオウムではありません。モデルがより大きくなり、より多くのデータで訓練されるにつれて、言語能力が向上し、理解を示唆するような方法でスキルを組み合わせ、新しい能力を発展させています。
Choi は、LLM が行っているのは大量のテキストを読み、次の単語を予測することを学ぶことだが、それが非常に大規模に行われていると説明しています。必ずしも訓練データを「逐語的に内省」するわけではなく、ある程度の一般化を行うことができます。テキストがインターネットデータ上で十分な頻度で繰り返されれば、確かに逐語的に記憶します。
LLM の訓練プロセスは、非常に大きなニューラルネットワークを構築し、層状に積み重ねられたニューロンを持ち、インターネットデータを順番に入力することに帰結します。学習プロセスの目標は、前の単語の順序に基づいて次の単語を予測することです。
この訓練方法は単純ですが、強力な結果を生み出し、LLM がテキスト内のさまざまな質問に答えることを可能にします。しかし、LLM の訓練プロセスは、人間が世界を理解する方法とは全く異なります。人間は授業や好奇心を通じて学び、世界について仮説を立てます。
Choi は、LLM を「思考と感情のスープ」のようなものだと考えています。人々が書く際に実際に感情や意図を込めているため、LLM は人間の感情や意図を模倣しています。しかし、結局のところ、人間が持つような本当の感情を持っているわけではありません。