Появляется первый в мире "ИИ-ученый"
Появился первый "ИИ-ученый", сгенерировавший 10 полных академических статей за один раз.
От предложения идей исследования, проверки новизны, разработки экспериментов, написания кода до выполнения экспериментов на GPU и сбора результатов, и наконец, завершения написания статьи - все это выполняется автоматически этим "ИИ-ученым".
Стоимость каждой статьи составляет около $15 (примерно 107,62 юаня).
Это первая комплексная система ИИ для автоматизированных научных исследований и открытых открытий - ### ИИ-ученый.
Она создана Sakana AI, стартапом, соучредителем которого является Ллион Джонс, один из авторов статьи о Transformer.
Более того, компания не только создала ИИ-ученого, но и разработала ИИ-рецензента.
ИИ-рецензент может оценивать статьи, написанные ИИ, и предлагать улучшения.
И ИИ-ученый, и ИИ-рецензент были открыты Sakana AI.
ИИ самостоятельно завершает десять статей по машинному обучению
На протяжении десятилетий после каждого крупного прорыва в ИИ исследователи часто шутили: "Пора исследовать, как заставить ИИ писать статьи за нас".
Теперь эта идея наконец стала реальностью.
В частности, ИИ-ученый сгенерировал десять статей, выбрав одну высокооцененную статью из каждого направления исследований для представления.
Первая статья о диффузионных моделях: "Двухмасштабная диффузия: адаптивное балансирование признаков для низкоразмерных генеративных моделей"
Она предлагает адаптивный метод двухмасштабного шумоподавления для улучшения существующих диффузионных моделей, испытывающих трудности с захватом как глобальной структуры, так и локальных деталей в низкоразмерных пространствах.
Вторая статья о языковых моделях: "StyleFusion: адаптивная мультистилевая генерация в языковых моделях на уровне символов"
Эта статья предлагает новый метод, называемый Multi-Style Adapter, который улучшает осведомленность о стиле и согласованность в языковых моделях на уровне символов путем введения обучаемых стилевых вложений и классификационных головок стиля.
Третья статья, объединяющая трансформеры и обучение с подкреплением: "Адаптивная скорость обучения для трансформеров с помощью Q-обучения"
Это исследование изучает применение обучения с подкреплением для динамической корректировки скорости обучения при обучении модели трансформера.
Четвертая статья о феномене "грокинга", предложенном командой Google: "Раскрытие грокинга: сравнительное исследование стратегий инициализации весов в моделях трансформеров"
Эта статья впервые систематически изучает влияние инициализации весов на грокинг, сравнивая пять стратегий инициализации весов для оптимизации динамики обучения нейронных сетей.
Код, сопровождающий эти статьи (также сгенерированный ИИ), открыт на GitHub, подчеркивая воспроизводимость.
Как был создан первый "ИИ-ученый"
Вся идея исследования является продолжением нескольких достижений после создания Sakana AI:
Во-первых, они разработали метод автоматического объединения знаний из нескольких больших моделей и эволюции для создания новых моделей. В недавней работе они использовали большие модели для обнаружения новых целевых функций для тонкой настройки других моделей.
Команда постоянно удивлялась креативности современных передовых моделей в этих проектах, что привело к более масштабной мечте: ### Можно ли использовать большие модели для автоматизации всего процесса исследования?
Окончательный результат был достигнут благодаря сотрудничеству между Sakana AI, лабораторией Foerster Оксфордского университета и командой Университета Британской Колумбии.
Система "ИИ-ученый" состоит из четырех частей:
Генерация идей:
Получив начальный шаблон, ИИ сначала "мозговым штурмом" создает ряд различных новых направлений исследований и ищет в Semantic Scholar, чтобы проверить, не были ли эти идеи уже реализованы.
Итерация экспериментов:
Для идей, предложенных в первой части, [...]