01 Возникающий интеллект: просто "импровизация"?
Чтобы разгадать тайну возникающих способностей больших языковых моделей (LLM), исследователи проанализировали модели без инструктивной настройки, такие как GPT, и модели с инструктивной настройкой, такие как Flan-T5-large, на 22 задачах (17 известных возникающих задач и 7 базовых задач) в различных условиях.
Они использовали точность точного совпадения, точность BERTScore и расстояние редактирования строк в качестве метрик оценки. Для повышения экспериментальной точности они контролировали смещения путем корректировки подсказок и форматов вывода.
Эксперименты были сосредоточены на анализе производительности GPT в условиях нулевого и малого количества примеров.
Удивительно, но несмотря на то, что ранее считалось, что GPT обладает возникающими способностями, эти способности были очень ограничены в условиях нулевого количества примеров.
В частности, только две задачи продемонстрировали возникающие способности без опоры на обучение в контексте (ICL). Эти задачи в основном зависели от навыков формального языка или поиска информации, а не от сложных рассуждений. Это предполагает, что возникающие способности GPT сильно ограничены без обучения в контексте.
Затем исследователи обратились к моделям с инструктивной настройкой, предполагая, что инструктивная настройка - это не простая адаптация к задаче, а активация потенциала модели через неявное обучение в контексте.
Сравнивая GPT-J (без инструктивной настройки) и Flan-T5-large (с инструктивной настройкой), они обнаружили удивительно стабильную производительность на некоторых задачах, несмотря на значительные различия в параметрах, архитектуре и данных предварительного обучения.
Это явление предполагает, что модели с инструктивной настройкой могут не демонстрировать полностью новые способности к рассуждению, а умело использовать существующие возможности обучения в контексте через неявное обучение в контексте.
Дальнейшие эксперименты показали, что даже при увеличении размера модели или объема обучающих данных, модели с инструктивной настройкой все равно демонстрировали схожие способности решения задач с моделями без инструктивной настройки в условиях нулевого количества примеров. Это снова подчеркивает тесную связь между инструктивной настройкой и неявным обучением в контексте.
02 Угроза ИИ для выживания человечества: реальная или преувеличенная?
Хотя LLM демонстрируют экстраординарную производительность в задачах, результаты исследования предполагают, что эти способности не представляют существенной угрозы для выживания человечества.
Во-первых, возникающие способности LLM в основном происходят из обучения в контексте и инструктивной настройки, которые можно предсказать и контролировать при проектировании и обучении модели. Они не показали тенденций к полностью автономному развитию или независимым намерениям/мотивациям.
Например, в тесте Social IQA модели могли правильно отвечать на вопросы, связанные с эмоциями и социальными ситуациями, например: "Карсон проснулся в восторге от того, что идет в школу. Почему он мог это сделать?"
Здесь модель использует обучение в контексте и инструктивную настройку, чтобы превзойти случайный базовый уровень и выбрать разумные ответы. Это показывает, что модель не спонтанно генерирует "интеллект", а демонстрирует продвинутое распознавание паттернов при определенных условиях ввода и проектирования.
Во-вторых, хотя эти способности становятся более выраженными по мере увеличения масштаба LLM, они не вышли из-под контроля разработчиков. С помощью тонкой настройки модели LLM можно направить на лучшее понимание и выполнение сложных задач. Эта улучшенная способность не означает, что модели разовьют автономное сознание или будут представлять угрозу для людей.
В экспериментах LLM значительно превзошли случайные базовые уровни на конкретных задачах, особенно требующих рассуждений и суждений. Однако эта производительность по-прежнему зависит от больших обучающих наборов данных и тщательно разработанных входных подсказок, а не от спонтанного интеллектуального пробуждения модели.
Это дополнительно подтверждает, что возникающие способности LLM развиваются в контролируемом диапазоне. Хотя эта гипотеза все еще нуждается в дальнейшей экспериментальной проверке, она предоставляет новую перспективу для понимания возникающих способностей в больших моделях.
Исследование показывает, что хотя ИИ может в будущем дальше развивать функциональные языковые способности, его потенциальные опасности остаются контролируемыми. Существующие доказательства не поддерживают опасения по поводу экзистенциальных рисков ИИ. Напротив, развитие технологий ИИ постепенно движется в более безопасных и контролируемых направлениях.
03 Ограничения и перспективы на будущее
Предоставляя важные сведения о возникающих способностях LLM, исследователи также отметили ограничения исследования.
Текущие эксперименты в основном сосредоточены на конкретных задачах и сценариях, в то время как производительность LLM в более сложных и разнообразных контекстах требует дальнейших исследований.
Исследователи утверждают, что данные для обучения модели и масштаб остаются ключевыми факторами, влияющими на возникающие способности. Будущие исследования должны дальше изучать оптимизацию этих факторов для повышения безопасности и контролируемости модели.
Они планируют дальше изучать производительность LLM в более широких языковых и задачных средах, особенно то, как улучшить возможности модели, обеспечивая безопасность через улучшенные методы обучения в контексте и инструктивной настройки.
Кроме того, они будут исследовать максимизацию возникающих способностей без увеличения размера модели путем оптимизации методов обучения и выбора данных.