Pile-T5是EleutherAI推出的一款自然语言处理模型，它在原有的T5模型基础上，采用了Pile数据集和LLAMA分词器进行训练，以改善对代码任务的理解能力。该模型经过了2万亿个token的训练，是原T5模型训练量的两倍。Pile-T5在多项下游任务中表现出色，尤其是在代码相关任务上。此外，EleutherAI还提供了中间检查点，以便研究人员研究模型随时间的演变。

LEO是一个基于大型语言模型的多模态、多任务全能代理人，能够在3D世界中感知、定位、推理、规划和执行任务。LEO通过两个阶段的训练实现：（i）3D视觉语言对齐和（ii）3D视觉语言动作指令调整。我们精心策划和生成了一个包含物体级和场景级多模态任务的大规模数据集，需要对3D世界进行深入的理解和交互。通过严格的实验，我们展示了LEO在3D字幕、问答、推理、导航和机器人操作等广泛任务中的出色表现。

Emu Edit是一款多任务图像编辑模型，通过识别和生成任务完成精准图像编辑，并在此领域内取得了最新的技术突破。Emu Edit的架构针对多任务学习进行了优化，并在众多任务上进行训练，包括基于区域的编辑、自由形式的编辑以及检测和分割等计算机视觉任务。除此之外，为了更有效地处理这多种任务，我们引入了学习到的任务嵌入概念，用于指导生成过程以正确执行编辑指令。我们的模型经过多任务训练和使用学习到的任务嵌入都能显著提升准确执行编辑指令的能力。 Emu Edit还支持对未见任务的快速适应，通过任务倒转实现少样本学习。在这个过程中，我们保持模型权重不变，仅更新任务嵌入来适应新任务。我们的实验证明，Emu Edit能够迅速适应新任务，如超分辨率、轮廓检测等。这使得在标注样本有限或计算预算有限的情况下，使用Emu Edit进行任务倒转特别有优势。 为了支持对基于指令的图像编辑模型的严格且有根据的评估，我们还收集并公开发布了一个新的基准数据集，其中包含七种不同的图像编辑任务：背景修改（background）、综合图像变化（global）、风格修改（style）、对象移除（remove）、对象添加（add）、局部修改（local）以及颜色/纹理修改（texture）。此外，为了与Emu Edit进行正确比较，我们还分享了Emu Edit在数据集上的生成结果。 Emu Edit 2023 Meta保留所有版权

「书生·浦语2.0」InternLM2是一个面向中文和英文的大型多语言预训练语言模型。它具有语言理解、自然语言生成、多模式推理、代码理解等强大的能力。模型采用Transformer架构并进行海量数据的预训练,在长文本理解、对话、数学运算等多个方向上都达到了业界领先水平。该系列模型包含多种规模,用户可以选择合适的模型进行下游任务微调或构建聊天机器人等应用。

VSP-LLM是一个结合视觉语音处理（Visual Speech Processing）与大型语言模型（LLMs）的框架，旨在通过LLMs的强大能力最大化上下文建模能力。VSP-LLM设计用于执行视觉语音识别和翻译的多任务，通过自监督视觉语音模型将输入视频映射到LLM的输入潜在空间。该框架通过提出一种新颖的去重方法和低秩适配器（LoRA），可以高效地进行训练。