Patchscope翻译站点

LLM Augmented LLMs通过将现有基础模型与更具体的模型进行组合，实现新的能力。CALM（Composition to Augment Language Models）引入模型之间的交叉注意力，以组合它们的表示并实现新的能力。其显著特点包括：（i）通过“重用”现有LLMs以及少量额外参数和数据，在新任务上扩展LLMs的规模；（ii）保持现有模型权重不变，因此保留现有的能力；（iii）适用于不同的领域和设置。实验证明，将PaLM2-S与在低资源语言上训练的较小模型进行增强，在诸如翻译成英语和低资源语言的算术推理等任务上，结果绝对改善了高达13%。类似地，当PaLM2-S与特定于代码的模型进行增强时，在代码生成和解释任务上，相对于基础模型，我们看到了高达40%的改进，与完全微调的对应模型不相上下。

Moonvalley 是一款突破性的文本到视频生成 AI 模型，可以从简单的文本提示中创建出令人惊叹的高清视频和动画。它采用先进的机器学习技术，能够根据用户输入的文本提示，生成逼真、精美的影片和动画。无论是制作电影、广告、动画短片还是个人创作，Moonvalley 都能帮助用户快速将想法转化为视觉作品。

Wiseses AI是一款智能内容创作平台，提供智能写作、智能编辑等功能。它能够帮助用户高效地生成优质的文章、博客、广告文案等内容，大大提升写作效率。Wiseses AI拥有强大的语言模型和自然语言处理技术，能够根据用户的需求自动生成与之匹配的内容。用户可以根据自己的需要定制内容的风格、主题和长度，并进行实时编辑和修改。Wiseses AI还提供多种语言和领域的内容创作模板，方便用户快速生成专业的文案。平台定价灵活，用户可以根据自己的使用情况选择不同的套餐。Wiseses AI适用于个人写作、企业广告文案、新闻报道、博客撰写等各种场景。

Stable LM 2 1.6B是一个1.6亿参数的小型多语言稳定语言模型,支持英语、西班牙语、德语、意大利语、法语、葡萄牙语和荷兰语。该模型体积小、速度快,降低了硬件门槛,让更多开发者参与生成式AI生态系统。我们不仅发布预训练及调参版本,还首次发布预训练冷却前的最后检查点,包括优化器状态,以帮助开发者顺利进行微调和实验。

Llemma是一个开放的数学语言模型，提供数据和训练代码。它可以用于数学相关的任务，如定理证明、数学文本生成等。Llemma具有高质量的数学训练数据，可以帮助用户进行数学研究和应用开发。Llemma的优势在于其开放性和灵活性，用户可以根据自己的需求进行定制和扩展。Llemma的定价信息请参考官方网站。

LongLLaMA 是一个大型语言模型，能够处理长篇文本。它基于 OpenLLaMA，并使用 Focused Transformer (FoT) 方法进行了微调。它能够处理长达 256k 标记甚至更多的文本。我们提供了一个较小的 3B 基础模型（未经过指令调整），并在 Hugging Face 上提供了支持更长上下文的推断代码。我们的模型权重可以作为现有实现中 LLaMA 的替代品（适用于最多 2048 个标记的短上下文）。此外，我们还提供了评估结果和与原始 OpenLLaMA 模型的比较。