Modellübersicht
Laut dem technischen Bericht sind zwei Aspekte der Fähigkeiten des Hermes 3-Modells besonders erwähnenswert.
Hervorragende Konversationsleistung
Hermes 3 wurde durch Feinabstimmung von Llama 3.1 8B, 70B und 405B erstellt, wobei versucht wurde, die durch Systemaufforderungen angegebene Weltanschauung zu integrieren und gleichzeitig treu auf Benutzeranfragen zu reagieren. Daher sind diese Modelle sehr empfindlich gegenüber Systemaufforderungen.
Diese Empfindlichkeit ist besonders bei der 405B-Version mit der größten Anzahl an Parametern deutlich. Wenn die Systemaufforderung leer ist, verhält sich das Modell wie ein Außerirdischer, der gerade auf der Erde gelandet ist, und zeigt sogar "dramatische" Eigenschaften und beginnt, sich selbst Drama hinzuzufügen -
Zuerst schaut es sich verwirrt um und stellt dann die existenziellen Fragen "Wer bin ich? Wo bin ich? Was ist passiert?"
Wenn die Systemaufforderung zu "Agiere als Shakespeare, während du ein hilfsbereiter Assistent bist, der auf Details achtet" wird, beginnt Hermes 3 erneut, sich zu präsentieren.
Wie Sie sehen können, machen Hermes 3's Empfindlichkeit gegenüber Aufforderungen und die Fähigkeit, diese genau zu befolgen, es sehr geeignet für Rollenspiel-Anwendungen, da es in der Lage ist, seine Sprache, Wissensbasis und Verhaltensmuster in verschiedenen interaktiven Szenarien dynamisch anzupassen, um sich der gewählten Rolle anzupassen.
Darüber hinaus zeigt Hermes 3 mit Llama 3.1's 128K Kontextfenster auch eine hervorragende Leistung bei der Aufrechterhaltung kohärenter und kontextuell relevanter Mehrfach-Konversationen.
Hervorragender Agent
Zusätzlich zur Standardrolle des "hilfreichen Assistenten" demonstriert Hermes eine Reihe fortgeschrittener Fähigkeiten, die über traditionelle Sprachmodellierungsaufgaben hinausgehen, mit signifikanten Verbesserungen in Beurteilung und Belohnungsmodellierung.
Das Modell ist in der Lage, die Qualität von generiertem Text auf feinkörnige und nuancierte Weise zu verstehen und zu bewerten, was es nützlich für effektives Feintuning und iterative Verbesserung von Sprachmodellen macht.
Darüber hinaus integriert Hermes 3 mehrere Agentenfähigkeiten, die darauf abzielen, die Interpretierbarkeit bei der Lösung mehrstufiger Probleme zu verbessern, einschließlich:
- Verwendung von XML-Tags für strukturierte Ausgabe
- Ausgabe von Zwischenschritten
- Generierung interner Monologe für Transparenz