Lógica de Ciclo Automatizada
Em 19 de agosto, três pesquisadores da Universidade da Colúmbia Britânica publicaram um artigo intitulado "Projeto Automatizado de Sistemas de Agentes". Neste artigo, eles projetaram um sistema que permite que a IA descubra e construa agentes por conta própria, e também possa se iterar.
Relembrando a definição clássica de agente da OpenAI, um agente é um produto capaz de armazenar conhecimento, fazer planos e aplicar ferramentas.
Quando construímos agentes usando fluxos de trabalho, também utilizamos o conhecimento existente (conhecimento sobre formas de agentes), fazemos nossos próprios planos (construindo processos) e utilizamos ferramentas (conectando APIs) para executar e produzir, sem exceder as capacidades do próprio agente.
Então, por que não construir um agente que possa descobrir e projetar agentes automaticamente?
Os autores do artigo seguiram essa linha de pensamento, chamando o projetista de meta-agente, fazendo-o projetar novos agentes. Os agentes projetados são adicionados ao banco de dados como material, iterando continuamente para criar versões novas e mais poderosas de agentes.
Todo este conjunto de métodos é chamado de ADAS (Automated Design of Agentific Systems).
Fazendo a Cadeia Girar
O processo de geração de novos agentes no sistema ADAS pode ser dividido em três partes:
A primeira parte estabelece o espaço de busca, que pode ser entendido como o potencial para projetar novos agentes através de algumas ferramentas e regras básicas.
A segunda parte é executar o algoritmo de busca, que define como o meta-agente usa o espaço de busca para selecionar elementos e construir concretamente novos agentes.
A última parte é executar a função de avaliação, que avaliará os agentes construídos com base em objetivos como desempenho.
Os pesquisadores explicaram passo a passo no artigo como construir essas três partes centrais.
Primeiro, é necessário determinar os elementos básicos para construir o espaço de busca. Os pesquisadores acreditam que o melhor método é o código.
Isso porque o código tem completude de Turing e pode expressar todas as possibilidades. Portanto, teoricamente, o meta-agente pode descobrir quaisquer blocos de construção possíveis (como prompts, uso de ferramentas, fluxos de controle) e sistemas de agentes que combinam esses blocos de construção de qualquer maneira.
Mais importante ainda, vários fluxos de trabalho existentes em sites como Langchain, usados para construir agentes, já foram codificados. Portanto, os dados relevantes estão prontamente disponíveis, sem necessidade de conversão. E as chamadas de ferramentas, como componentes de capacidade como RAG (geração aumentada por recuperação), já têm uma base de código muito sólida.
Usar código para construir o espaço de busca também significa que os agentes gerados pelo ADAS podem ser executados diretamente, usados para correção de erros e pontuação, sem necessidade de intervenção humana.
Com o espaço de busca definido, os pesquisadores começaram a projetar o algoritmo de busca, ou seja, fazer o meta-agente explorar métodos possíveis para completar tarefas. Este processo é basicamente realizado através de engenharia de prompts.
Primeiro, é dado a ele uma série de prompts do sistema.
Em seguida, o material mencionado no prompt básico é fornecido ao meta-agente, incluindo:
-
Descrição básica da tarefa.
-
Código de estrutura mais básico, como nomes de operações para formatação de prompts, encapsulamento, e a capacidade de chamar outros modelos fundamentais (FM) e APIs.
-
Formato e exemplos de entrada e saída da tarefa.
-
Uma biblioteca de exemplos formada por alguns agentes gerados em iterações anteriores, incluindo seus resultados de testes de linha de base.
Com base nesses prompts básicos, o ADAS pode começar a operar, gerando um agente para resolver um problema específico.
Neste processo, o meta-agente realiza duas rodadas de reflexão para garantir que o agente gerado seja novo e correto. Ele verifica se há erros no novo framework de código gerado e se há inovação suficiente em relação aos resultados anteriores na biblioteca de exemplos de agentes.
O meta-agente também precisa realizar uma avaliação preliminar do agente gerado com base em sua "compreensão" da capacidade de desempenho prático, julgando se é melhor do que os agentes anteriores.
Quando algumas dessas condições não são atendidas, o meta-agente precisa modificar o agente gerado ou até mesmo recomeçar do zero.
Após duas rodadas de reflexão e modificação, o meta-agente enviará o novo agente gerado que considera novo e bom para o sistema de avaliação na terceira etapa.
O sistema de avaliação dará uma pontuação objetiva à capacidade deste agente com base em testes de linha de base e, em seguida, o devolverá à biblioteca de exemplos de agentes.
O meta-agente então continuará a próxima iteração de otimização com base nos resultados de pontuação anteriores e exemplos passados na biblioteca de exemplos, a fim de alcançar uma pontuação de desempenho de tarefa mais alta.
Uma cadeia totalmente automatizada nasce neste processo. E para gerar um agente com excelente efeito, pode ser necessário realizar um número de iterações de dois dígitos ou mais.
Superando Agentes Feitos à Mão
Quão complexo pode ser um agente obtido através do método ADAS de processo automatizado? A figura abaixo mostra a estrutura de um agente gerado após 14 iterações.
Na estrutura deste agente, há cinco cadeias de pensamento que fornecem respostas preliminares. Três modelos de especialistas e um modelo que imita a avaliação humana fornecem feedback sobre essas respostas, que são então modificadas e reforçadas três vezes durante a fase de otimização. Finalmente, três resultados são selecionados após avaliação e combinados para dar a resposta final.