OpenAI hat kürzlich als Reaktion auf die Nachfrage der Nutzer eine bedeutende neue Funktion veröffentlicht: strukturierte Ausgabe für ihre API. Diese Funktionalität zielt darauf ab, Probleme mit großen Sprachmodellen (LLMs) bei der Generierung von JSON-Inhalten zu beheben, wie etwa Halluzinationen oder unvollständiges Parsing.
Die neue Funktion für strukturierte Ausgabe stellt sicher, dass die vom Modell generierte Ausgabe einem spezifizierten JSON-Schema entspricht. Dies ist entscheidend für die Aufrechterhaltung der Konsistenz über Anwendungen hinweg und war eine der am häufigsten gewünschten Funktionen von Entwicklern. OpenAI-CEO Sam Altman merkte an, dass diese Veröffentlichung "einem dringenden Bedürfnis vieler Nutzer entspricht".
Wichtige Punkte zur Funktion der strukturierten Ausgabe:
- Verfügbar für GPT-4o-mini, GPT-4o und deren feinabgestimmte Versionen
- Kompatibel mit Chat Completions API, Assistant API, Batch API und visuellen Eingaben
- Ermöglicht Entwicklern, OpenAI-Modelle auf Datenschemata zu beschränken
- Verbessert das Modellverständnis komplexer Datenschemata
- Gewährleistet die Einhaltung von Datenschemata, verhindert fehlende Schlüssel oder ungültige Enum-Werte
- Unterstützt schrittweise Antwortgenerierung
- Vereinfacht Prompts und liefert klare Ablehnungsaussagen
- Folgt bestehenden OpenAI-Sicherheitsrichtlinien
OpenAI behauptet, ihr neuestes GPT-4o-Modell habe bei der Evaluierung der strukturierten Ausgabe eine "100% perfekte" Bewertung erreicht.
Das Unternehmen erkennt an, dass es sich von Open-Source-Projekten wie outlines, jsonformer, instructor, guidance und lark-Bibliotheken inspirieren ließ.
Während diese Funktion einen bedeutenden Bedarf deckt, weisen einige Entwickler auf potenzielle Einschränkungen hin:
- Langsame Generierung des ersten Tokens aufgrund der Schema-Kompilierung
- Begrenzte Akzeptanz von JSON-Schemata in der API
- Unvollständige Implementierung der angekündigten Änderungen im Python SDK
Einige Entwickler schlagen vor, dass Kombinationen wie Instructor + Pydantic möglicherweise immer noch die einfachste Methode zur Erzielung strukturierter Ausgaben mit OpenAI und anderen LLM-Lösungen sein könnten.
Insgesamt stellt die Einführung der nativen Unterstützung für strukturierte Ausgaben in OpenAIs API einen bedeutenden Fortschritt dar, obwohl sie möglicherweise weitere Verfeinerungen benötigt, bevor sie in Produktionsumgebungen weit verbreitet eingesetzt wird.
[OpenAI Strukturierte Ausgabe Ankündigung]
[Analyse der Funktion für strukturierte Ausgaben]