魔珐星云

魔珐星云是什么

魔珐星云（Xingyun3D）是魔珐科技推出的具身交互智能体开放平台，面向 AI 应用开发者、企业及智能终端厂商，提供 3D 数字人实时驱动、多模态交互、AI 视频生成、语音合成和终端集成等能力。平台将数字人形象、语音、表情、手势、智能体知识与业务执行能力结合，使 AI 不再局限于文本对话框，而是能够以具有视觉形象的数字人形式与用户实时交流。

魔珐星云的核心特色是将数字人表达能力与 AI 智能体相结合，并通过 SDK 和 API 接入现有业务系统。开发者可以创建数字人应用，配置角色、音色、知识和任务，再将其部署到手机、电脑、商显大屏、自助终端、机器人等设备中。平台还采用 AI 端侧渲染技术，减少对云端视频推流和高性能 GPU 的依赖，适用于智能客服、政务导办、数字导购、教育培训、文旅讲解及具身智能交互等场景。

魔珐星云核心功能

1. 3D数字人实时驱动

通过实时驱动 SDK，将文本或语音输入转化为数字人的语音、口型、表情和身体动作。开发者可以将数字人接入网页、移动应用和智能终端，实现更自然的实时交互体验。

2. 海量3D数字人形象

平台提供超写实、二次元、卡通等多种风格的数字人形象，并支持角色外观编辑和定制。用户可以根据业务场景选择合适的角色，调整服装、发型、面容等视觉元素，打造具有品牌特色的数字人形象。

3. 数字人形象定制与克隆

支持通过人物照片等参考素材定制数字人形象，帮助企业构建专属虚拟员工、品牌代言人或数字服务人员。具体定制方式、形象授权及可用范围需要根据产品方案确认。

4. AI语音合成与多音色输出

通过文本生成自然语音，支持多语言和多种音色，适用于数字人播报、客服问答、产品介绍和知识讲解等场景。开发者可以根据角色定位选择合适的声音风格。

5. 口型、表情与动作同步

在数字人表达过程中，同步生成语音口型、面部表情、眼神和身体动作，使角色的视觉表现与语义内容相匹配。该能力适用于实时对话、数字人讲解和虚拟角色互动。

6. AI端侧实时渲染

平台将数字人渲染能力部署在终端侧，减少持续传输高清视频流的需求，有助于降低带宽和云端渲染成本，并改善网络波动情况下的交互体验。

7. 多模态感知

平台的技术架构涵盖语音和视觉等多模态感知能力，可结合用户语音、人物信息和现场状态辅助判断交互对象及需求。实际可用的感知能力取决于接入设备、SDK 版本和具体产品配置。

8. 专属智脑与知识库接入

开发者可以为数字人配置身份、角色、知识和任务，并结合知识图谱、检索增强生成（RAG）等技术组织企业知识，构建面向具体业务的问答与服务能力。

9. 大语言模型接入

平台支持结合自研模型或接入第三方大语言模型，为数字人提供对话理解、内容生成和任务处理能力。开发者可以根据业务需求设计智能体的知识范围、对话逻辑和业务流程。

10. 文本转数字人视频

平台提供基于 API 的数字人视频生成能力，可将文本转化为带有数字人形象和语音表达的视频内容，适用于企业宣传、产品介绍、培训课件和知识讲解。

11. PPT转数字人视频

支持将 PPT 等演示内容用于数字人视频生成，帮助用户把演示材料转化为具有数字人讲解的视频内容，减少录制讲解和后期制作的工作量。具体输入格式和输出能力以当前 API 说明为准。

12. 多语言与声音克隆

平台提供多语言语音合成，并支持声音克隆相关能力，可用于制作多语言数字人内容和统一角色声音。使用声音克隆时，需要确保拥有相应的声音授权及合法使用依据。

13. 实时交互Runtime

通过统一的实时交互运行时管理感知、认知、表达和行动之间的事件流转，支持会话状态管理、音画同步、交互打断和异常恢复等能力，帮助开发者构建持续、连贯的数字人对话体验。

14. 数字行动与业务系统集成

数字人不仅能够回答问题，还可以通过界面交互、内容调用和业务回调触发相关操作。企业可以将其与现有业务系统对接，用于信息查询、业务引导和流程办理等任务。

15. 机器人与多终端适配

平台面向手机、PC、Pad、商显屏、自助终端及机器人等载体提供相关接入能力，使同一个智能体能够在不同设备中复用身份、知识和业务能力。具体系统与硬件兼容范围以 SDK 文档为准。

16. 开发者SDK与API

提供 JS SDK、Android SDK 及相关 API 接入能力，开发者可以创建应用、配置角色和音色，并将数字人驱动功能嵌入现有产品。平台提供开发文档，便于完成初始化、参数配置和业务回调集成。

魔珐星云产品优势

1. 从数字人形象升级为交互智能体

平台不只是生成数字人形象或视频，还将语音、表情、动作、知识和业务执行能力结合，使数字人能够承担客服、导办、导购和知识讲解等实际任务。

2. 实时生成语音与动作

通过实时驱动技术，让数字人的口型、表情和动作与对话内容协同呈现，适合需要即时反馈和自然交流的交互应用。

3. 降低终端部署成本

AI 端侧渲染减少对云端实时视频推流和持续 GPU 渲染的依赖，有助于降低带宽与算力成本，并拓展数字人在普通屏幕和低成本终端上的应用范围。

4. 支持多种终端形态

同一套数字人和智能体能力可以根据产品方案部署到网页、移动设备、商用显示屏及机器人等载体，便于企业建设统一的数字服务入口。

5. 提供灵活的开发接入方式

通过 SDK、API 和业务回调机制，开发者可以将数字人嵌入已有应用，配置专属角色、知识和任务，而不必完全从零开发数字人驱动系统。

6. 兼顾企业知识与业务流程

平台可以结合企业知识库和大语言模型，让数字人回答业务问题，并通过业务接口辅助完成信息查询和操作引导，拓展传统数字展示设备的服务能力。

魔珐星云应用场景

1. AI数字人智能客服

将数字人接入企业官网、App 或自助服务终端，为用户提供产品咨询、业务问答、服务指引和常见问题解答，并根据业务系统能力衔接后续操作。

2. 政务服务与办事导引

在政务大厅、自助终端和公共服务屏幕中部署数字人导办员，帮助用户了解办事流程、所需材料和服务窗口信息，降低重复性咨询压力。

3. 商场与零售智能导购

将数字人部署在商显屏或智能终端中，提供商品介绍、促销信息、门店导航和购物咨询，帮助线下零售场景建立交互式服务入口。

4. 教育培训与数字讲师

将课程内容、企业培训资料和知识库接入数字人，制作数字讲师、课程讲解视频和交互式培训应用，辅助开展员工培训与知识传播。

5. 文旅展馆与智能讲解

在博物馆、展馆、旅游景区和文化活动中部署数字人讲解员，提供展项介绍、文化知识问答和多语言讲解，增强参观过程中的互动体验。

6. 企业品牌数字人

为企业打造具有统一形象和声音风格的数字员工或品牌 IP，用于官网介绍、产品演示、展会互动、品牌宣传及客户服务。

7. AI陪伴与虚拟角色

利用数字人形象、语音和表情动作构建互动陪伴角色，应用于情感陪伴、生活娱乐、虚拟角色和互动游戏等场景。

8. 智能机器人交互

将数字人表达能力与机器人控制系统结合，使机器人能够以更自然的语音、表情或动作与用户交流。具体物理行动能力需要由机器人硬件和控制系统配合实现。

9. 金融与数据分析助手

将企业知识和业务查询能力接入数字人，为用户提供金融产品说明、数据报表解读和业务信息查询。涉及金融建议或重要决策时，应配置适当的业务规则和风险控制机制。

10. 企业宣传视频制作

通过文本或 PPT 生成数字人讲解视频，用于企业介绍、产品功能说明、操作教程和培训内容，减少重复录制和基础视频制作成本。

魔珐星云使用教程

第一步：注册账号并创建应用

进入魔珐星云平台，注册账号并进入应用中心，创建需要使用的数字人应用。平台提供免费试用积分，便于开发者体验部分能力。

第二步：选择数字人角色

从可用角色中选择适合业务的数字人形象，并根据需要调整外观、音色和表演风格。如果需要企业专属形象，可进一步了解形象定制服务及授权要求。

第三步：配置角色与知识

设置数字人的身份、角色定位、知识内容和任务范围。若需要回答企业业务问题，可结合企业知识库和大语言模型配置相应的问答能力。

第四步：选择驱动与生成能力

根据需求选择实时驱动 SDK、文本转视频、PPT 转视频或语音合成等能力。不同能力的接入方式、输入格式和积分消耗可能不同。

第五步：申请应用凭证并接入SDK

在应用中心获取相应的 App ID、App Secret 等凭证，参考开发文档完成 SDK 初始化、角色配置、音色设置和必要的业务回调。敏感凭证应妥善保管，避免直接暴露在公开前端代码中。

第六步：预览并测试交互效果

先在测试环境中验证数字人的语音、口型、表情和动作是否协调，再测试多轮对话、打断、网络波动和异常恢复等场景，确认交互流程满足业务要求。

第七步：集成业务系统与终端

根据应用场景，将数字人接入网站、App、商显屏或自助终端，并对接需要的知识库、查询接口和业务系统。部署前应确认设备性能、系统版本及 SDK 兼容性。

第八步：申请商业授权并正式上线

平台定价说明明确，未经书面授权，相关服务仅供个人学习、试用体验和代码调试等非商业用途。正式商用前应联系平台确认商业授权、并发额度、服务范围及部署方案。

魔珐星云收费标准

魔珐星云采用积分作为主要计费单位，不同能力和选项消耗的积分不同。平台提供注册试用积分，实时驱动 SDK 则根据数字人实际交互时长计费。

以上为平台公开计费说明中的参考规则。实时驱动 SDK 的积分消耗以数字人实际交互时长为依据，长时间没有人与数字人互动时不消耗该项积分。

使用限制： 平台开发者调试方案存在并发限制，公开说明中实时驱动 SDK 共计限制为3路。需要更高并发或规模化部署时，应联系平台确认相应方案。

商业授权： 公开定价说明明确，未经书面授权不得将相关服务用于商业用途。企业在将数字人用于客服、营销、展会、零售或其他生产环境前，应确认授权范围、服务期限和费用。

魔珐星云常见问题（FAQ）

1. 魔珐星云是什么平台？

魔珐星云是面向开发者和企业的具身交互智能体开放平台，将 3D 数字人、实时语音与动作驱动、知识能力及业务集成结合，用于构建能够自然交流并执行相关任务的 AI 应用。

2. 魔珐星云与普通数字人视频工具有什么区别？

普通数字人视频工具通常以生成预先制作的视频为主，而魔珐星云还支持实时数字人驱动、交互式对话、知识接入和业务回调，更适合构建实时互动应用。

3. 魔珐星云可以免费试用吗？

可以。平台公开说明提供注册试用积分，注册可获得100积分。具体可体验的功能、额度及使用限制以当前账号页面为准。

4. 魔珐星云支持哪些开发语言和终端？

平台提供 JS SDK、Android SDK 等接入能力，并面向网页、移动应用、PC、商显屏、自助终端和机器人等载体提供适配方案。具体系统版本和硬件要求应以开发文档为准。

5. 魔珐星云可以生成数字人视频吗？

可以。平台提供基于 API 的文本转数字人视频能力，并支持将 PPT 等演示内容用于视频生成，适合制作企业介绍、培训课程和产品讲解内容。

6. 魔珐星云支持自定义数字人吗？

支持数字人角色选择、外观编辑和形象定制等能力。具体定制方式、所需素材和授权范围应根据平台当前服务方案确认。

7. 魔珐星云能否接入企业知识库？

可以结合企业知识内容和大语言模型构建业务问答能力。实际接入方式取决于知识来源、系统接口、数据安全要求和具体应用架构。

8. 魔珐星云可以部署到机器人吗？

平台支持面向机器人等载体的具身交互能力接入，但数字人表达与机器人的物理行动需要相应硬件、控制系统和接口配合。具体兼容性应与平台和设备供应商共同确认。

9. 魔珐星云如何收费？

平台主要使用积分计费，实时驱动 SDK 基础音色版为0.5积分/分钟，Pro音色版为2积分/分钟。其他能力根据具体选项消耗积分，企业商用授权和高并发需求需要另行咨询。

10. 魔珐星云可以直接用于商业项目吗？

不能默认直接商用。平台公开说明要求，未经书面授权，相关服务仅用于学习、试用和代码调试等非商业目的。正式上线前应取得书面商业授权并确认服务条款。