Der weltweit erste "KI-Wissenschaftler" entsteht
Der erste "KI-Wissenschaftler" ist entstanden und hat auf einen Schlag 10 vollständige akademische Arbeiten generiert.
Von der Entwicklung von Forschungsideen, der Überprüfung auf Neuartigkeit, dem Entwerfen von Experimenten, dem Schreiben von Code bis hin zur Durchführung von Experimenten auf GPUs und dem Sammeln von Ergebnissen sowie schließlich dem Verfassen der Arbeit - alles wird automatisch von diesem "KI-Wissenschaftler" erledigt.
Die Kosten für jede Arbeit betragen etwa 15 $ (ungefähr 107,62 Yuan).
Dies ist das erste umfassende KI-System für automatisierte wissenschaftliche Forschung und offene Entdeckungen - ### Der KI-Wissenschaftler.
Es stammt von Sakana AI, einem Startup, das von Llion Jones, einem der Autoren des Transformer-Papers, mitbegründet wurde.
Darüber hinaus hat das Unternehmen nicht nur einen KI-Wissenschaftler erschaffen, sondern auch einen KI-Gutachter entwickelt.
Der KI-Gutachter kann von KI geschriebene Arbeiten bewerten und Verbesserungsvorschläge machen.
Sowohl der KI-Wissenschaftler als auch der KI-Gutachter wurden von Sakana AI als Open Source veröffentlicht.
KI erstellt selbstständig zehn Arbeiten zum maschinellen Lernen
Seit Jahrzehnten scherzten Forscher nach jedem großen KI-Durchbruch oft: "Es ist an der Zeit zu erforschen, wie man KI dazu bringt, Arbeiten für uns zu schreiben."
Jetzt ist diese Idee endlich Wirklichkeit geworden.
Konkret hat der KI-Wissenschaftler zehn Arbeiten generiert und aus jeder Forschungsrichtung eine hochbewertete Arbeit zur Vorstellung ausgewählt.
Die erste Arbeit über Diffusionsmodelle: "Dual-Scale Diffusion: Adaptive Feature Balancing for Low-Dimensional Generative Models"
Sie schlägt eine adaptive Dual-Scale-Entrauschungsmethode vor, um die Schwierigkeit bestehender Diffusionsmodelle zu verbessern, sowohl globale Strukturen als auch lokale Details in niedrigdimensionalen Räumen zu erfassen.
Die zweite Arbeit über Sprachmodelle: "StyleFusion: Adaptive Multi-Style Generation in Character-Level Language Models"
Diese Arbeit schlägt eine neue Methode namens Multi-Style Adapter vor, die das Stilbewusstsein und die Konsistenz in zeichenbasierten Sprachmodellen verbessert, indem lernbare Stil-Embeddings und Stil-Klassifizierungsköpfe eingeführt werden.
Die dritte Arbeit, die Transformers und Reinforcement Learning kombiniert: "Adaptive Learning Rate for Transformers via Q-Learning"
Diese Studie untersucht die Anwendung von Reinforcement Learning zur dynamischen Anpassung der Lernrate beim Training von Transformer-Modellen.
Die vierte Arbeit über das von Googles Team vorgeschlagene "Grokking"-Phänomen: "Unlocking Grokking: A Comparative Study of Weight Initialization Strategies in Transformer Models"
Diese Arbeit untersucht erstmals systematisch die Auswirkungen der Gewichtsinitialisierung auf das Grokking und vergleicht fünf Strategien zur Gewichtsinitialisierung, um die Lerndynamik neuronaler Netze zu optimieren.
Der Code zu diesen Arbeiten (ebenfalls von KI generiert) ist auf GitHub als Open Source verfügbar, wobei die Reproduzierbarkeit betont wird.
Wie der erste "KI-Wissenschaftler" erschaffen wurde
Die gesamte Forschungsidee ist eine Fortsetzung mehrerer Errungenschaften nach der Gründung von Sakana AI:
Zunächst entwickelten sie eine Methode, um Wissen aus mehreren großen Modellen automatisch zu verschmelzen und zu entwickeln, um neue Modelle zu erzeugen. In jüngsten Arbeiten verwendeten sie große Modelle, um neue Zielfunktionen zur Feinabstimmung anderer Modelle zu entdecken.
Das Team war ständig überrascht von der Kreativität aktueller Spitzenmodelle in diesen Projekten, was zu einem größeren Traum führte: ### Können große Modelle verwendet werden, um den gesamten Forschungsprozess zu automatisieren?
Das Endergebnis wurde durch die Zusammenarbeit zwischen Sakana AI, dem Foerster Lab der Universität Oxford und dem Team der University of British Columbia erreicht.
Das "KI-Wissenschaftler"-System besteht aus vier Teilen:
Ideengenerierung:
Ausgehend von einer Startvorlage "brainstormt" die KI zunächst eine Reihe verschiedener neuartiger Forschungsrichtungen und sucht auf Semantic Scholar, um zu überprüfen, ob diese Ideen bereits umgesetzt wurden.
Experimentelle Iteration:
Für die im ersten Teil vorgeschlagenen Ideen [...]