这是一个130亿参数的预训练双语大型语言模型,支持阿拉伯语和英语,在720亿阿拉伯语标记和2790亿英语/代码标记的数据集上进行训练。阿拉伯语数据迭代了1.6个时代(相比英语/代码的1个时代),总计3950亿个标记进行训练。该模型基于Transformer解码器专用架构(GPT-3),使用SwiGLU非线性激活函数。它实现了ALiBi位置嵌入,可以外推到长序列长度,提供改进的上下文处理和模型精度。

Araby.AI是一个集合了多个领域的人工智能工具的平台，旨在为阿拉伯语用户提供最佳的人工智能应用。无论是写作、图像处理还是其他创意领域，我们都提供最好的人工智能工具和资源。我们的产品适用于各种规模的机构，从大型企业到小型企业。我们的人工智能技术能够帮助您快速实现业绩目标，并以最少的时间和精力提高工作效率和质量。