所属公司:商汤科技(SenseTime)
概述:
Seko是商汤科技推出的行业首个创编一体、多剧集生成智能体(AI Video Agent)。其定位是为短剧、漫剧等领域的个人创作者与工作室提供一站式AI视频生成解决方案,旨在显著降低视频创作的技术门槛与时间成本。该平台集成了从剧本生成、分镜设计、角色与场景一致性控制、对口型同步到最终成片输出的全流程能力,致力于实现“一人剧组”的高效内容生产模式。

技术特点:
Seko的核心技术优势体现在其对视频生成过程中关键挑战的针对性突破,具体包括:
-
角色一致性技术(SekoIDX):针对多剧集、跨分镜中角色形象易失真的行业痛点,SekoIDX通过在扩散模型的高噪阶段引入“负参考图”等创新方法,在确保角色形象高度稳定的同时,避免生成效果过于呆板或“面目全非”,并能灵活响应不同表情、姿态与场景的指令。
-
多人多语言对口型方案(SekoTalk):作为业内首个支持超过2人实时对口型的解决方案,SekoTalk实现了在多人对话、连续切换说话人等复杂场景下的精准音画同步,支持多语言并保证了超长时生成的稳定性,显著提升了对话场景的自然度。
-
高效生成与成本控制技术:
-
Phased DMD蒸馏技术:该技术将分阶段蒸馏思想与专家混合模型(MoE)架构结合,使不同模型专精于生成流程的不同阶段,在不增加推理成本的前提下,大幅提升了生成效率与模型整体能力,有效降低了长视频、多剧集生成的综合成本。
-
LightX2V推理框架:商汤开源的高效视频生成推理框架,通过DiT蒸馏加速、轻量化VAE(LightVAE)及稀疏注意力等优化,实现了低成本、强实时的视频生成。该框架显著降低了显存需求,并在消费级显卡上达到了生成5秒视频耗时不足5秒的准实时性能。同时,该框架已完成对寒武纪、沐曦等国产芯片的深度适配,支持全国产化部署。
-
-
Agent智能调度与超长上下文管理:Seko 2.0内置的智能体(Agent)具备超长上下文管理能力,可自动解析剧本,构建并管理角色、场景、道具等视觉资产库,支持长达100集剧本的连续创作,确保了多剧集间元素的前后关联与一致性。
主要功能:
Seko平台集成了以下关键功能,覆盖创作全链路:
-
全流程自动化生成:用户通过自然语言描述创意或直接输入剧本,系统可自动完成剧本撰写、视觉风格定调、分镜拆分、角色与场景生成。
-
交互式编辑与精准控制:提供“画布编辑”功能,支持用户对生成的分镜进行局部重绘、元素修改(如替换角色、调整背景)或台词调整,实现对创作细节的精准控制。
-
多剧集连续创作与管理:支持百集以内的长剧集项目创建,智能体能够维持跨剧集的人物形象、场景风格和叙事逻辑的一致性,并提供项目管理界面。
-
专业级成片输出:集成配音、音效、配乐自动匹配与合成能力,可导出可直接用于发布的成片。
适用场景:
Seko的能力使其广泛应用于以下业务场景:
-
AI短剧与漫剧创作:为个人创作者、MCN机构或小型工作室提供核心工具,用于快速量产剧情连贯、角色一致的短剧/漫剧内容。其孵化的作品如《婉心计》已成为平台爆款。
-
教育科普与知识传播:教育工作者或科普内容创作者可利用其将文本知识(如学生作文、历史故事、科学原理)快速转化为生动易懂的动画视频,降低内容制作门槛。
-
电商营销与产品宣传:帮助电商运营者快速生成产品介绍、卖点展示或品牌宣传视频,支持多版本测试与快速迭代。
-
专业影视制作探索:平台正与头部影视公司(如长江电影集团)合作,探索在专业影视流程中应用AIGC技术,用于前期概念预览、部分镜头生成乃至联合孵化院线电影。
-
IP二创与同人作品制作:确保原创或二创角色在系列作品中的形象高度统一,满足粉丝群体对角色一致性的高要求。
