Mamba挑战Transformer霸主地位：首个通用开源大模型惊艳亮相

Falcon Mamba 7B是一款创新型语言模型,融合了Falcon和Mamba架构的优势。它采用状态空间模型,具备出色的长文本处理能力,同时保持了较小的参数规模,实现了高效推理。该模型在多项基准测试中表现优异,展现了强大的性能和潜力。

inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

使用流式生成 for output in model.generate(inputs, max_new_tokens=50, streamer=True): print(tokenizer.decode(output, skip_special_tokens=True), end="")

使用顺序预填充 model = AutoModelForCausalLM.from_pretrained(model_id, use_sequential_prefill=True)

处理长序列 long_prompt = "..." 非常长的提示词 inputs = tokenizer(long_prompt, return_tensors="pt") outputs = model.generate(inputs, max_new_tokens=50) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Falcon Mamba 7B将根据TII Falcon License 2.0发布，这是一个基于Apache 2.0的许可证，其中包括促进负责任地使用人工智能的使用政策。

该模型在不损失性能的前提下，可以突破序列扩展限制。它可以在不增加任何内存存储的情况下处理任意长度的序列，特别是可以在单张A10 24GB GPU上运行。无论上下文大小，生成新token所需的时间恒定。

在多个基准测试上，Falcon Mamba 7B的性能超越了同尺寸级别的领先模型，如Llama 3.1 8B和Mistral 7B。它是首个通用的大规模Mamba模型，能够处理各种文本生成任务。

这个开源模型为研究人员和开发者提供了探索和利用SSLM架构潜力的机会，有望在处理长文本序列和提高生成效率方面带来突破。