LongLLaMA
国外
编程AI模型代码辅助

LongLLaMA翻译站点

LongLLaMA 是一个大型语言模型,能够处理长篇文本。它基于 OpenLLaMA,并使用 Focused Transformer (FoT) 方法进行了微调。它能够处理长达 256k 标记甚至更多的文本。我们提供了一...

标签:
LongLLaMA 是一个大型语言模型,能够处理长篇文本。它基于 OpenLLaMA,并使用 Focused Transformer (FoT) 方法进行了微调。它能够处理长达 256k 标记甚至更多的文本。我们提供了一个较小的 3B 基础模型(未经过指令调整),并在 Hugging Face 上提供了支持更长上下文的推断代码。我们的模型权重可以作为现有实现中 LLaMA 的替代品(适用于最多 2048 个标记的短上下文)。此外,我们还提供了评估结果和与原始 OpenLLaMA 模型的比较。

数据统计

相关导航

暂无评论

暂无评论...