Meta hat das bisher leistungsstärkste Open-Source-Großmodell Llama 3.1 405B veröffentlicht, das eine Kontextlänge von 128K Tokens unterstützt und auf 15 Billionen Tokens trainiert wurde. Die Llama-Modelle wurden insgesamt über 300 Millionen Mal heruntergeladen und können mit Spitzenmodellen wie GPT-4 mithalten.
Metas Schritt wird als Wendepunkt im Streit zwischen Open Source und Closed Source angesehen. Zuckerberg betont die Bedeutung von Open-Source-KI und glaubt, dass dies zum Industriestandard werden wird. Im Gegensatz zu OpenAIs Geheimhaltung technischer Details hat Meta detaillierte technische Papiere veröffentlicht.
OpenAI reagierte darauf mit der Einführung einer kostengünstigen GPT-4o Mini-Version. Dies markiert eine Eskalation des KI-Preiskriegs im Silicon Valley, wobei viele große Unternehmen Modelle einführen, die günstiger als GPT-4 sind.
Kleine Modelle werden zu einem wichtigen Instrument für KI-Unternehmen, um Kosten zu senken und die Effizienz zu steigern. Sie sind schneller bei der Bearbeitung einfacher Aufgaben, benötigen weniger Speicher und Energie und sind preiswerter. Für normale Nutzer sind kleine Modelle eine kostengünstige Alternative zu großen Modellen.
Die niedrigen Preise resultieren aus Kostensenkungen. Durch eine deutliche Senkung der KI-Nutzungskosten hoffen Unternehmen wie OpenAI, den Einsatzbereich von KI zu erweitern. Kleine Modelle könnten der neue Trend in der KI-Branche werden.