In diesem QuantaMagazine-Podcast interviewt der Moderator Yejin Choi, Informatikprofessorin an der Universität Washington. Sie diskutieren interessante Themen wie die Frage, ob KI Verkörperung und Emotionen benötigt, um menschenähnlichen gesunden Menschenverstand zu entwickeln.
GPT-4 hat bereits einige beeindruckende "menschliche Bewusstseinsformen" gezeigt. In diesem Podcast diskutieren Yejin Choi und Moderator Steven Strogatz die Fähigkeiten und Grenzen von Chatbots und den großen Sprachmodellen (LLMs), auf denen sie basieren. Sie erörtern, ob KI die Welt und die Fragen, die sie beantwortet, wirklich verstehen kann.
Schon in den 1960er Jahren träumten Informatiker von gehirninspirierten Computern, die menschenähnliche Intelligenz zeigen würden. Mit dem Aufkommen des Internets, großen Textdatensätzen und bedeutenden Fortschritten in der Rechenleistung scheinen wir einen wichtigen Moment erreicht zu haben. Heutige LLMs scheinen etwas zu besitzen, das der menschlichen Intelligenz nahekommt.
Theorien von Sanjeev Arora von der Princeton University und Anirudh Goyal, Forschungswissenschaftler bei Google DeepMind, deuten darauf hin, dass die größten LLMs von heute keine zufälligen Papageien sind. Mit zunehmender Größe und Training auf mehr Daten verbessern sich ihre Sprachfähigkeiten und kombinieren Fähigkeiten auf eine Weise, die Verständnis andeutet, und entwickeln neue Fähigkeiten.
Choi erklärt, dass LLMs große Mengen Text lesen und lernen, das nächste Wort vorherzusagen, aber in sehr großem Maßstab. Sie reflektieren nicht unbedingt "Wort für Wort" über die Trainingsdaten, sondern können in gewissem Maße verallgemeinern. Wenn Text in Internetdaten häufig genug wiederholt wird, merken sie sich ihn tatsächlich Wort für Wort.
Der Trainingsprozess von LLMs lässt sich auf den Aufbau eines sehr großen neuronalen Netzwerks reduzieren, mit Schichten über Schichten von Neuronen, in das sequenziell Internetdaten eingegeben werden. Das Ziel des Lernprozesses ist es, das nächste Wort basierend auf der Reihenfolge der vorherigen Wörter vorherzusagen.
Diese Trainingsmethode, obwohl einfach, kann leistungsstarke Ergebnisse liefern und LLMs befähigen, verschiedene Fragen in Texten zu beantworten. Der Trainingsprozess von LLMs unterscheidet sich jedoch stark von der Art und Weise, wie Menschen die Welt verstehen. Menschen lernen durch Unterricht und Neugier und stellen Hypothesen über die Welt auf.
Choi betrachtet LLMs als eine Art "Gedanken-Gefühls-Suppe". Sie ahmen menschliche Emotionen und Absichten nach, weil Menschen tatsächlich Emotionen und Absichten in ihr Schreiben einbringen. Letztendlich haben sie jedoch nicht die Art von echten Gefühlen, die Menschen besitzen.