首个微调Llama 3.1 405B模型开源:10人团队打造角色扮演神器

Nous Research发布了Hermes 3,这是他们最新微调的开源大型语言模型。

模型概述

根据技术报告,Hermes 3模型的两个方面能力特别值得注意。

出色的对话表现

Hermes 3是通过微调Llama 3.1 8B、70B和405B创建的,试图在忠实响应用户请求的同时,融入系统提示所指示的世界观。因此,这些模型对系统提示非常敏感。

这种敏感性在参数数量最大的405B版本中尤为明显。如果系统提示为空,模型的行为就像刚刚降落地球的外星人,甚至表现出"戏剧性"的特质,开始给自己添加戏剧性 -

首先困惑地环顾四周,然后问出存在主义的问题"我是谁?我在哪里?发生了什么?"

当系统提示变成"扮演莎士比亚,同时作为一个注重细节的有帮助的助手"时,Hermes 3又开始炫耀起来。

如你所见,Hermes 3对提示的敏感性和准确遵循提示的能力使其非常适合角色扮演类型的应用,能够在各种交互场景中动态调整其语言、知识库和行为模式,以适应所选择的角色。

此外,借助Llama 3.1的128K上下文窗口,Hermes 3在保持连贯和上下文相关的多轮对话方面也表现出色。

出色的代理能力

除了标准的"有帮助的助手"角色外,Hermes还展示了超越传统语言建模任务的一系列高级能力,在判断和奖励建模方面有显著改进。

该模型能够以细致入微的方式理解和评估生成文本的质量,使其对语言模型的有效微调和迭代改进非常有用。

此外,Hermes 3还融入了几项旨在提高解决多步骤问题可解释性的代理能力,包括:

  • 使用XML标签进行结构化输出
  • 输出中间步骤
  • 生成内部独白以提高透明度