自動化の循環論理
8月19日、ブリティッシュコロンビア大学の3人の研究者が「自動化された知的エージェントシステムの設計」という論文を発表しました。この論文では、AIが自ら知的エージェントを発見し構築し、さらに自己反復できるシステムを設計しています。
OpenAIによる知的エージェントの古典的定義を思い出してみましょう。知的エージェントとは、知識を蓄積し、計画を立て、ツールを適用できる製品です。
私たちがワークフローを使って知的エージェントを構築する際も、既存の知識（知的エージェントの形式に関する知識）を利用し、自ら計画を立て（プロセスの構築）、ツールを使用して（APIを接続して）最終的に実行し成果を出しています。これは知的エージェント自身の能力範囲を超えるものではありません。
では、知的エージェントを自動的に発見し設計できる知的エージェントを構築するのはどうでしょうか？
論文の著者はこのアイデアに基づき、設計者をメタエージェントと呼び、新しい知的エージェントを設計させました。設計された知的エージェントをデータベースに資料として追加し、新しい、より強力なバージョンの知的エージェントを絶えず反復して生成します。
この一連の方法を、彼らはADAS（Automated Design of Agentaic Systems）と呼んでいます。
チェーンを回す
ADASシステムにおける新しい知的エージェントの生成プロセスは3つの部分に分けられます：
第一部分は検索空間の確立で、基本的なツールとルールを通じて潜在的な新しい知的エージェントを設計できると理解できます。
第二部分は検索アルゴリズムの実行で、メタエージェントが検索空間をどのように利用し、その中の要素を取り出して具体的に新しい知的エージェントを構築するかを規定します。
最後の部分は評価関数の実行で、構築された知的エージェントをパフォーマンスなどの目標に基づいて評価します。
研究者たちは論文の中で、これら3つの核心部分の構築方法を段階的に説明しています。
まず、検索空間を構築する基本要素を決定する必要があります。研究者たちは、最良の方法はコードだと考えています。
これは、コードがチューリング完全性を持ち、あらゆる可能性を表現できるからです。したがって、理論的にはメタエージェントは、あらゆる可能な構築ブロック（プロンプト、ツールの使用、制御フローなど）と、これらの構築ブロックを任意の方法で組み合わせた知的エージェントシステムを発見できます。
さらに重要なのは、Langchainのような知的エージェントを構築するウェブサイトに既に存在する様々なワークフローがすでにコード化されていることです。したがって、関連データは手に入りやすく、変換する必要もありません。また、RAG（retrieval augmented generation）のようなツール呼び出しや能力コンポーネントにも、すでに非常に充実したコード基盤があります。
コードを使用して検索空間を構築することは、ADASが生成する知的エージェントが直接実行でき、エラー修正やスコアリングに使用でき、人間の介入が不要であることも意味します。
検索空間を定義した後、研究者たちは検索アルゴリズムの設計を開始しました。つまり、メタエージェントにタスクを完了する可能性のある方法を探索させます。このプロセスは基本的にプロンプトエンジニアリングに依存しています。
まず、一連のシステムプロンプトを与えます。
次に、基本的なプロンプトで言及されたリソースをメタエージェントに提供します。これには以下が含まれます：
-
タスクの基本的な説明。
-
最も基本的なフレームワークコード。例えば、プロンプトのフォーマット化、カプセル化などの操作名、他の基礎モデル（FM）やAPIを呼び出す能力など。
-
タスクの入力と出力の形式と例。
-
以前の反復で生成された一部の知的エージェントから形成された例のライブラリ。これにはそのベースラインテスト結果も含まれます。
これらの基本的なプロンプトに基づいて、ADASは特定の問題を解決するための知的エージェントの生成を開始できます。
このプロセスで、メタエージェントは生成された知的エージェントの新規性と正確性を確保するために2回の反省を行います。新しく生成されたコードフレームワークにエラーがないか、知的エージェントの例のライブラリにある過去の結果と比較して十分な革新性があるかをチェックします。
メタエージェントはまた、実用的なパフォーマンス能力に対する「理解」に基づいて、生成された知的エージェントの予備評価を行い、それが以前の知的エージェントよりもパフォーマンスが優れているかどうかを判断する必要があります。
これらの条件のいくつかが満たされない場合、メタエージェントは生成された知的エージェントを修正するか、完全にやり直す必要があります。
2回の反省と修正の後、メタエージェントは新しくて良いと思われる新しく生成された知的エージェントを第3ステップの評価システムに送ります。
評価システムはベースラインテストに基づいてこの知的エージェントの能力に客観的なスコアを付け、それを知的エージェントの例のライブラリに返します。
メタエージェントは、以前の評価結果と例のライブラリにある過去の例に基づいて、次の反復最適化を続け、より高いタスクパフォーマンススコアを達成します。
完全に自動化されたチェーンがこのプロセスで誕生します。そして、非常に効果的な知的エージェントを生成するには、2桁以上の反復が必要かもしれません。
手作りの知的エージェントを超える
ADASメソッドによる自動化プロセスで得られた知的エージェントはどれほど複雑になり得るでしょうか？以下の図は、14回の反復後に生成された知的エージェントのフレームワークです。
この知的エージェントの構造には、5つの思考チェーンが初期回答を提供します。3つの専門家モデルと1つの人間の評価を模倣するモデルがこれらの回答にフィードバックを与えた後、これらの回答は最適化プロセス段階で3回の修正と強化が行われます。最後に、評価によって3つの結果が選別され、統合されて最終回答が提供されます。