Google Gemini翻译站点

怪兽智能全息舱是一个专业的AI数字人平台，致力于通过融合唤醒、语音识别、自然语音理解、虚拟人合成等AI核心技术，为用户提供多模态互动、业务办理、问题咨询、资讯播放、服务导览等服务。该平台提供智能硬件，包括业内领先的智能全息屏，以及虚拟人制作服务，帮助用户快速构建虚拟人应用产品。此外，怪兽智能全息舱还提供用户行为分析和AI多模态交互功能，以提升用户体验。该平台广泛应用于零售、文旅景区、服务型机构、政府和事业单位等场景。

M2UGen是一个结合大语言模型的多模态音乐理解和生成框架,旨在帮助用户进行音乐创作。它能同时完成音乐理解和多模态音乐生成任务。

LEO是一个基于大型语言模型的多模态、多任务全能代理人，能够在3D世界中感知、定位、推理、规划和执行任务。LEO通过两个阶段的训练实现：（i）3D视觉语言对齐和（ii）3D视觉语言动作指令调整。我们精心策划和生成了一个包含物体级和场景级多模态任务的大规模数据集，需要对3D世界进行深入的理解和交互。通过严格的实验，我们展示了LEO在3D字幕、问答、推理、导航和机器人操作等广泛任务中的出色表现。

MMStar是一个旨在评估大型视觉语言模型多模态能力的基准测试集。它包含1500个精心挑选的视觉语言样本,涵盖6个核心能力和18个细分维度。每个样本都经过了人工审查,确保具有视觉依赖性,最小化数据泄露,并需要高级多模态能力来解决。除了传统的准确性指标外,MMStar还提出了两个新的指标来衡量数据泄露和多模态训练的实际性能增益。研究人员可以使用MMStar评估视觉语言模型在多个任务上的多模态能力,并借助新的指标发现模型中存在的潜在问题。

OpenDiT是一个开源项目，提供了一个基于Colossal-AI的Diffusion Transformer(DiT)的高性能实现，专为增强DiT应用（包括文本到视频生成和文本到图像生成）的训练和推理效率而设计。OpenDiT通过以下技术提升性能：在GPU上高达80%的加速和50%的内存减少；包括FlashAttention、Fused AdaLN和Fused layernorm核心优化；包括ZeRO、Gemini和DDP的混合并行方法，还有对ema模型进行分片进一步降低内存成本；FastSeq：一种新颖的序列并行方法，特别适用于DiT等工作负载，其中激活大小较大但参数大小较小；单节点序列并行可以节省高达48%的通信成本；突破单个GPU的内存限制，减少整体训练和推理时间；通过少量代码修改获得巨大性能改进；用户无需了解分布式训练的实现细节；完整的文本到图像和文本到视频生成流程；研究人员和工程师可以轻松使用和调整我们的流程到实际应用中，无需修改并行部分；在ImageNet上进行文本到图像训练并发布检查点。

Reka Core是一个GPT-4级别的多模态大型语言模型（LLM），具备图像、视频和音频的强大上下文理解能力。它是目前市场上仅有的两个商用综合多模态解决方案之一。Core在多模态理解、推理能力、编码和Agent工作流程、多语言支持以及部署灵活性方面表现出色。