В этом подкасте QuantaMagazine ведущий берет интервью у Йеджин Чой, профессора компьютерных наук Вашингтонского университета. Они обсуждают интересные темы, например, должен ли ИИ обладать воплощением и эмоциями, чтобы развить здравый смысл, подобный человеческому.
В настоящее время GPT-4 уже демонстрирует впечатляющее "человеческое сознание". В этом подкасте Йеджин Чой и ведущий Стивен Строгац обсуждают возможности и ограничения чат-ботов и больших языковых моделей (LLM), на которых они основаны. Они рассматривают вопрос о том, могут ли ИИ действительно понимать мир и вопросы, на которые они отвечают.
Еще в 1960-х годах специалисты по информатике мечтали о компьютерах, вдохновленных мозгом, которые могли бы проявлять человекоподобный интеллект. С появлением интернета, огромных текстовых наборов данных и значительным прогрессом в вычислительных мощностях мы, похоже, достигли важного момента. Сегодняшние LLM, кажется, обладают чем-то близким к человеческому интеллекту.
Теория, предложенная Сандживом Аророй из Принстонского университета и Анирудхом Гоялом, научным сотрудником Google DeepMind, предполагает, что крупнейшие LLM сегодня не являются случайными попугаями. По мере того как модели становятся больше и обучаются на большем количестве данных, их языковые способности улучшаются, и они комбинируют навыки способом, предполагающим понимание, развивая новые способности.
Чой объясняет, что LLM просто читают огромное количество текста и учатся предсказывать следующее слово, но в очень большом масштабе. Они не обязательно "дословно размышляют" над обучающими данными, но способны к определенной степени обобщения. Если текст достаточно часто повторяется в интернет-данных, они действительно запоминают его дословно.
Процесс обучения LLM сводится к построению очень большой нейронной сети с множеством слоев нейронов, а затем последовательной подаче интернет-данных. Цель процесса обучения - предсказать следующее слово на основе последовательности предыдущих слов.
Хотя этот метод обучения прост, он может давать мощные результаты, позволяя LLM отвечать на различные вопросы в тексте. Однако процесс обучения LLM радикально отличается от того, как люди познают мир. Люди учатся через уроки и любопытство, делая предположения о мире.
Чой считает, что LLM - это своего рода "суп мыслей и эмоций". Он имитирует человеческие эмоции и намерения, потому что люди действительно вкладывают эмоции и намерения в свои тексты. Но в конечном итоге, у него нет настоящих эмоций, которыми обладают люди.