モデル概要
技術報告書によると、Hermes 3モデルの能力の2つの側面が特に注目に値します。
優れた会話パフォーマンス
Hermes 3は、Llama 3.1の8B、70B、405Bをファインチューニングして作成され、システムプロンプトで示される世界観を取り入れながら、ユーザーの要求に忠実に応答しようとしています。そのため、これらのモデルはシステムプロンプトに非常に敏感です。
この感度は、最大のパラメータ数を持つ405Bバージョンで特に顕著です。システムプロンプトが空の場合、モデルは地球に着陸したばかりの宇宙人のように振る舞い、「ドラマチック」な属性を示し、自分自身にドラマを付け加え始めます -
まず混乱して周りを見回し、次に「私は誰？ ここはどこ？ 何が起こったの？」という実存的な質問をします。
システムプロンプトが「詳細に注意を払う有用なアシスタントでありながらシェイクスピアとして振る舞う」になると、Hermes 3は再び自慢し始めます。
ご覧のように、Hermes 3のプロンプトへの感度とそれを正確に追従する能力は、ロールプレイング型のアプリケーションに非常に適しており、様々な対話シナリオで言語、知識ベース、行動パターンを動的に調整して、選択された役割に適応することができます。
さらに、Llama 3.1の128Kコンテキストウィンドウにより、Hermes 3は一貫性のある文脈に関連した複数ターンの会話を維持する上でも優れたパフォーマンスを発揮します。
優れたエージェント
標準的な「有用なアシスタント」の役割に加えて、Hermesは従来の言語モデリングタスクを超えた一連の高度な能力を示し、判断力と報酬モデリングに大きな改善が見られます。
このモデルは、生成されたテキストの品質を細かく微妙な方法で理解し評価することができ、言語モデルの効果的なファインチューニングと反復的な改善に役立ちます。
さらに、Hermes 3は、複数のステップを要する問題解決の解釈可能性を向上させることを目的とした、いくつかのエージェント機能を組み込んでいます：
- 構造化された出力のためのXMLタグの使用
- 中間ステップの出力
- 透明性のための内部モノローグの生成