TinyLlama
国外
写作AI智能写作聊天AI

TinyLlama翻译站点

TinyLlama项目旨在在3万亿令牌上预训练一个1.1B Llama模型。通过一些适当的优化,我们可以在“仅”90天内使用16个A100-40G GPU完成。训练已于2023-09-01开始。我们采用了与Llama 2完...

标签:
TinyLlama项目旨在在3万亿令牌上预训练一个1.1B Llama模型。通过一些适当的优化,我们可以在“仅”90天内使用16个A100-40G GPU完成。训练已于2023-09-01开始。我们采用了与Llama 2完全相同的架构和分词器。这意味着TinyLlama可以在许多建立在Llama基础上的开源项目中使用。此外,TinyLlama只有1.1B个参数,紧凑性使其能够满足许多对计算和内存占用有限的应用需求。

数据统计

相关导航

暂无评论

暂无评论...