世界首个"AI科学家"诞生
首个"AI科学家"已经诞生，一次性生成了10篇完整的学术论文。
从提出研究想法、检查新颖性、设计实验、编写代码，到在GPU上执行实验并收集结果，最后完成论文写作 - 这一切都由这个"AI科学家"自动完成。
每篇论文的成本约为15美元（约107.62元人民币）。
这是第一个用于自动化科学研究和开放式发现的综合AI系统 - ### AI科学家。
它来自Sakana AI，这是一家由Transformer论文作者之一Llion Jones共同创立的初创公司。
此外，该公司不仅创造了AI科学家，还开发了AI审稿人。
AI审稿人可以评估AI撰写的论文并提供改进建议。
Sakana AI已经开源了AI科学家和AI审稿人。
AI独立完成十篇机器学习论文
几十年来，每次AI取得重大突破后，研究人员常常开玩笑说："是时候研究如何让AI为我们写论文了。"
现在，这个想法终于成为现实。
具体来说，AI科学家生成了十篇论文，从每个研究方向选择一篇高分论文进行介绍。
第一篇关于扩散模型的论文："双尺度扩散：低维生成模型的自适应特征平衡"
它提出了一种自适应双尺度去噪方法，以改善现有扩散模型在低维空间中难以同时捕捉全局结构和局部细节的问题。
第二篇关于语言模型的论文："StyleFusion：字符级语言模型中的自适应多风格生成"
这篇论文提出了一种名为多风格适配器的新方法，通过引入可学习的风格嵌入和风格分类头，增强字符级语言模型的风格意识和一致性。
第三篇结合Transformer和强化学习的论文："基于Q学习的Transformer自适应学习率"
这项研究探索了将强化学习应用于动态调整Transformer模型训练中的学习率。
第四篇关于Google团队提出的"顿悟"现象的论文："解锁顿悟：Transformer模型权重初始化策略的比较研究"
这篇论文首次系统地研究了权重初始化对顿悟的影响，比较了五种权重初始化策略以优化神经网络学习动态。
这些论文附带的代码（也由AI生成）已在GitHub上开源，强调可重复性。
第一个"AI科学家"是如何诞生的
整个研究思路是Sakana AI成立后几项成果的延续：
首先，他们开发了一种方法，可以自动合并多个大型模型的知识并进化产生新模型。在最近的工作中，他们使用大型模型发现新的目标函数来微调其他模型。
团队在这些项目中不断被当前最先进模型的创造力所惊讶，从而产生了一个更大的梦想：### 能否利用大型模型来自动化整个研究过程？
最终结果是通过Sakana AI、牛津大学Foerster实验室和不列颠哥伦比亚大学团队的合作完成的。
"AI科学家"系统由四个部分组成：
想法生成：
给定一个起始模板，AI首先"头脑风暴"一系列不同的新颖研究方向，并在Semantic Scholar上搜索以验证这些想法是否已经被研究过。
实验迭代：
对于第一部分提出的想法，[...]