世界初の「AIサイエンティスト」が登場
世界初の「AIサイエンティスト」が登場し、一度に10本の完全な学術論文を生成しました。
研究アイデアの提案、新規性のチェック、実験設計、コード作成、GPUでの実験実行と結果収集、そして最終的な論文執筆まで - すべてがこの「AIサイエンティスト」によって自動的に行われました。
各論文のコストは約15ドル（約107.62元）です。
これは、自動化された科学研究とオープンエンドな発見のための初めての包括的AIシステムです - ### AIサイエンティスト。
これは、Transformerの論文の著者の一人であるLlion Jonesが共同設立したスタートアップ、Sakana AIから生まれました。
さらに、同社はAIサイエンティストを作っただけでなく、AIレビュアーも開発しました。
AIレビュアーは、AIが書いた論文を評価し、改善の提案を行うことができます。
AIサイエンティストとAIレビュアーの両方が、Sakana AIによってオープンソース化されています。
AIが独立して10本の機械学習論文を完成
数十年にわたり、AIの大きなブレークスルーの後、研究者たちはよく冗談で「AIに論文を書かせる研究をする時期が来た」と言っていました。
今、この考えがついに現実となりました。
具体的には、AIサイエンティストは10本の論文を生成し、各研究方向から1本の高得点論文を選んで紹介しています。
拡散モデルに関する最初の論文：「Dual-Scale Diffusion: 低次元生成モデルのための適応的特徴バランシング」
既存の拡散モデルが低次元空間でグローバル構造とローカルな詳細の両方を捉えることが難しい問題を改善するため、適応的な二重スケールのデノイジング方法を提案しています。
言語モデルに関する2番目の論文：「StyleFusion: 文字レベル言語モデルにおける適応的マルチスタイル生成」
この論文は、学習可能なスタイル埋め込みとスタイル分類ヘッドを導入することで、文字レベルの言語モデルのスタイル認識と一貫性を向上させる新しい方法「マルチスタイルアダプター」を提案しています。
TransformerとRL（強化学習）を組み合わせた3番目の論文：「Q学習によるTransformerの適応的学習率」
この研究は、Transformerモデルのトレーニングにおいて学習率を動的に調整するために強化学習を適用することを探求しています。
Googleチームが提案した「grokking」現象に関する4番目の論文：「Grokkingの解明：Transformerモデルにおける重み初期化戦略の比較研究」
この論文は、grokkingに対する重み初期化の影響を初めて体系的に研究し、ニューラルネットワークの学習ダイナミクスを最適化するために5つの重み初期化戦略を比較しています。
これらの論文に付随するコード（これもAIによって生成された）はGitHubでオープンソース化されており、再現性が強調されています。
最初の「AIサイエンティスト」はどのように作られたか
全体の研究アイデアは、Sakana AI設立後のいくつかの成果の延長線上にあります：
まず、彼らは複数の大規模モデルから知識を自動的にマージし、進化させて新しいモデルを生成する方法を開発しました。最近の研究では、大規模モデルを使用して他のモデルを微調整するための新しい目的関数を発見しました。
これらのプロジェクトにおいて、チームは現在の最先端モデルの創造性に常に驚かされ、より大きな夢につながりました：### 大規模モデルを使用して研究プロセス全体を自動化できるか？
最終的な結果は、Sakana AI、オックスフォード大学のFoersterラボ、ブリティッシュコロンビア大学チームの協力によって完成しました。
「AIサイエンティスト」システムは4つの部分で構成されています：
アイデア生成：
与えられた開始テンプレートに基づき、AIはまず一連の異なる新しい研究方向について「ブレインストーミング」を行い、Semantic Scholarで検索してこれらのアイデアが以前に行われたかどうかを確認します。
実験の反復：
最初の部分で提案されたアイデアに対して、[...]