世界首個「AI 科學家」誕生
首個「AI 科學家」已經誕生，一次性生成 10 篇完整的學術論文。
從提出研究想法、檢查新穎性、設計實驗、編寫代碼，到在 GPU 上執行實驗並收集結果，最後完成論文寫作 - 這一切都由這個「AI 科學家」自動完成。
每篇論文的成本約為 15 美元（約 107.62 元人民幣）。
這是首個用於自動化科學研究和開放式發現的綜合 AI 系統 - ### AI 科學家。
它來自 Sakana AI，這是一家由 Transformer 論文作者之一 Llion Jones 共同創立的初創公司。
此外，該公司不僅創造了 AI 科學家，還開發了 AI 審稿人。
AI 審稿人可以評估 AI 撰寫的論文並提供改進建議。
Sakana AI 已經開源了 AI 科學家和 AI 審稿人。
AI 獨立完成十篇機器學習論文
幾十年來，每次 AI 取得重大突破後，研究人員常常開玩笑說：「是時候研究如何讓 AI 為我們寫論文了。」
現在，這個想法終於成為現實。
具體來說，AI 科學家生成了十篇論文，從每個研究方向選擇一篇高分論文進行介紹。
第一篇關於擴散模型的論文：「雙尺度擴散：低維生成模型的自適應特徵平衡」
它提出了一種自適應雙尺度去噪方法，以改善現有擴散模型在低維空間中難以同時捕捉全局結構和局部細節的問題。
第二篇關於語言模型的論文：「StyleFusion：字符級語言模型中的自適應多風格生成」
這篇論文提出了一種名為多風格適配器的新方法，通過引入可學習的風格嵌入和風格分類頭，增強字符級語言模型的風格意識和一致性。
第三篇結合 Transformer 和強化學習的論文：「通過 Q-Learning 實現 Transformer 的自適應學習率」
這項研究探索了將強化學習應用於動態調整 transformer 模型訓練中的學習率。
第四篇關於 Google 團隊提出的「頓悟」現象的論文：「解鎖頓悟：Transformer 模型權重初始化策略的比較研究」
這篇論文首次系統地研究了權重初始化對頓悟的影響，比較了五種權重初始化策略以優化神經網絡學習動態。
這些論文附帶的代碼（也由 AI 生成）在 GitHub 上開源，強調可重複性。
首個「AI 科學家」是如何誕生的
整個研究想法是 Sakana AI 成立後幾項成果的延續：
首先，他們開發了一種方法，可以自動合併多個大型模型的知識並進化產生新模型。在最近的工作中，他們使用大型模型發現新的目標函數來微調其他模型。
團隊在這些項目中不斷被當前尖端模型的創造力所驚喜，這導致了一個更大的夢想：### 能否利用大型模型來自動化整個研究過程？
最終結果是通過 Sakana AI、牛津大學 Foerster 實驗室和不列顛哥倫比亞大學團隊的合作完成的。
「AI 科學家」系統由四個部分組成：
想法生成：
給定一個起始模板，AI 首先「頭腦風暴」一系列不同的新穎研究方向，並在 Semantic Scholar 上搜索以驗證這些想法是否已經被研究過。
實驗迭代：
對於第一部分提出的想法，[...]