Un estudio encontró que las restricciones de formato reducen la capacidad de razonamiento de los grandes modelos de lenguaje (LLMs), especialmente en formato JSON. Las principales conclusiones incluyen:
-
Cuanto más estrictas son las restricciones de formato, peor es la capacidad de razonamiento del modelo. El esquema JSON tuvo el peor desempeño, seguido por las instrucciones de restricción de formato (FRI), luego la conversión de lenguaje natural a formato, y finalmente las indicaciones en lenguaje natural.
-
Diferentes modelos tienen preferencias de formato distintas: GPT prefiere YAML, Claude prefiere XML, Gemini/Gemma prefiere JSON.
-
Razones por las que las restricciones de formato reducen la capacidad de razonamiento:
- Limitan la capacidad de generar pasos de razonamiento intermedios
- Fuerzan un formato incompatible con la forma natural de generación del modelo
- Los errores de formato pueden hacer que un razonamiento correcto sea juzgado como incorrecto
-
Soluciones:
- La mejor opción es la "conversión de lenguaje natural a formato", respondiendo primero en lenguaje natural y luego convirtiendo al formato objetivo
- Prestar atención al orden de las claves en la salida estructurada
- Reducir errores de análisis mediante indicaciones correctivas
-
Se necesita un equilibrio entre formatos fáciles de analizar y preservar la capacidad de razonamiento.
-
Los LLMs como analizadores de respuestas comprenden mejor el significado y contexto de las respuestas que las expresiones regulares.
El estudio sugiere que al aplicar LLMs, es necesario equilibrar las restricciones de formato y la capacidad de razonamiento para obtener el mejor rendimiento.