Pesquisas descobriram que restrições de formato reduzem a capacidade de raciocínio dos grandes modelos de linguagem (LLMs), especialmente no formato JSON. As principais conclusões incluem:
-
Quanto mais rigorosas as restrições de formato, pior a capacidade de raciocínio do modelo. O esquema JSON teve o pior desempenho, seguido pelas instruções de restrição de formato (FRI), depois pela conversão de linguagem natural para formato e, por último, pelas sugestões em linguagem natural.
-
Diferentes modelos têm preferências diferentes por formatos: GPT prefere YAML, Claude prefere XML, Gemini/Gemma prefere JSON.
-
Razões pelas quais as restrições de formato reduzem a capacidade de raciocínio:
- Limitam a capacidade de gerar etapas intermediárias de raciocínio
- Forçam formatos incompatíveis com o modo natural de geração do modelo
- Erros de formato podem levar a raciocínios corretos serem julgados incorretamente
-
Soluções:
- A melhor abordagem é a "conversão de linguagem natural para formato", respondendo primeiro em linguagem natural e depois convertendo para o formato alvo
- Atenção à ordem das chaves na saída estruturada
- Reduzir erros de análise através de sugestões corretivas
-
É necessário um equilíbrio entre formatos facilmente analisáveis e preservação da capacidade de raciocínio.
-
LLMs como analisadores de respostas são melhores que expressões regulares para entender o significado e contexto das respostas.
A pesquisa mostra que ao aplicar LLMs, é necessário equilibrar restrições de formato e capacidade de raciocínio para obter o melhor desempenho.