Studien zeigen, dass Formatbeschränkungen die Schlussfolgerungsfähigkeit großer Sprachmodelle (LLMs) beeinträchtigen, insbesondere im JSON-Format. Die Hauptergebnisse umfassen:
-
Je strenger die Formatbeschränkungen, desto schlechter die Schlussfolgerungsfähigkeit des Modells. JSON-Schemata schnitten am schlechtesten ab, gefolgt von Format-Restriktions-Anweisungen (FRI), dann natürliche Sprache zu Format-Konvertierung und schließlich natürlichsprachliche Prompts.
-
Verschiedene Modelle haben unterschiedliche Formatpräferenzen: GPT bevorzugt YAML, Claude bevorzugt XML, Gemini/Gemma bevorzugt JSON.
-
Gründe für die Beeinträchtigung der Schlussfolgerungsfähigkeit durch Formatbeschränkungen:
- Einschränkung der Fähigkeit, Zwischenschritte bei der Schlussfolgerung zu generieren
- Erzwungene Formate sind nicht mit der natürlichen Generierungsweise des Modells kompatibel
- Formatfehler können dazu führen, dass korrekte Schlussfolgerungen als falsch bewertet werden
-
Lösungsansätze:
- Die beste Option ist "natürliche Sprache zu Format-Konvertierung", zuerst in natürlicher Sprache antworten, dann in das Zielformat konvertieren
- Beachtung der Reihenfolge der Schlüssel in strukturierten Ausgaben
- Reduzierung von Parsing-Fehlern durch Korrektur-Prompts
-
Es ist ein Gleichgewicht zwischen leicht zu parsendem Format und Erhaltung der Schlussfolgerungsfähigkeit erforderlich.
-
LLMs als Antwort-Parser verstehen die Bedeutung und den Kontext von Antworten besser als reguläre Ausdrücke.
Die Forschung zeigt, dass bei der Anwendung von LLMs ein Kompromiss zwischen Formatbeschränkungen und Schlussfolgerungsfähigkeit gefunden werden muss, um die beste Leistung zu erzielen.