倒映有声AI数字分身亮相2022中国新媒体技术展

Xsens动作捕捉 2022-10-26 11745

以“新主流 新征程”为主题的2022中国新媒体大会,于2022年8月30日至31日在湖南长沙成功举办。本届大会由中央宣传部、中央网信办、国家广播电视总局、湖南省人民政府指导,中国记协、湖南省委宣传部联合主办。大会特设2022中国新媒体技术展,杭州倒映有声科技有限公司即【倒映有声】,携智慧广电AI数字人解决方案、无人驱动数字分身技术解决方案和【一视同人】数字分身内容创作平台亮相大会。【倒映有声】带来的高度拟人AI数字分身、情感充沛的AI主播及其背后的神经渲染、数字孪生、TTSA等技术实力破圈。

倒映有声AI数字分身亮相2022中国新媒体技术展  第1张

杭州倒映有声科技有限公司即【倒映有声】现场展出的AI数字分身吸引各融媒体和相关领域负责人驻足观看

AI数字分身落地融媒体场景,为融媒体发展注入AI动能

展会现场,【倒映有声】打造的AI数字分身高度复刻真人声音和形象,在进行融媒体内容播报时,发音清晰且充满情感,肢体动作、表情、口型等表现自然。若非现场工作人员讲解,观众很难分辨画面里的主播是真人还是AI驱动的数字分身。

早在去年10月,国家广播电视总局发布的《广播电视和网络视听“十四五”科技发展规划》(以下简称《规划》)中指出:“面向新闻、综艺、体育、财经、气象等电视节目研究虚拟形象合成技术,包括2D虚拟形象的合成,3D虚拟形象的驱动,虚拟引擎构建、语音驱动、动作捕捉、面部表情捕捉等技术,提升节目制作效率及质量;同时探索短视频主播、数字网红、直播带货等虚拟形象在节目互动环节中的应用,增加个性化和趣味性。”AI数字分身的出现,为融媒体规模化启用AI主播奠定了技术基础,并打造了成功的技术落地样板;不仅带来了全新的内容生产方式和传播形式,更有助于实现融媒体智能制播,提升制作效率,降低时间与财务成本。

【倒映有声】创始人兼CEO肖朔表示,AI数字分身内容播报在融媒体场景规模化落地,具有匹配的基因;通过打造AI数字分身/AI主播,加大高质量技术解决方案供给,实现以技术创新转变内容生产方式,升级节目内容形态,是以技术为驱动的科创企业和以内容为主导的融媒体携手向前的动力。

仅需10分钟音画采集,即可快速构建AI数字分身

经了解,【倒映有声】致力于打造AIGC神经渲染引擎,通过自研的神经渲染(Neural Rendering)技术、数字孪生(Digital Twin)技术,TTSA(Text to Speech & Animation)技术即基于文本和语音合成实时生成音频和视频,率先布局AI数字分身IP生态,并通过数字分身IP输出AIGC(AI Generated Content人工智能自主生成内容)能力。

倒映有声AI数字分身亮相2022中国新媒体技术展  第2张

【倒映有声】致力于打造AIGC神经渲染引擎

深挖【倒映有声】所采用的AI数字分身打造技术,一个由AI驱动的虚拟世界跃然眼前:拟真、高效、低成本的AI数字分身,充分解放真人劳动力,24小时不知疲倦的工作,内容源源不断产生和输出。

【倒映有声】通过自研神经渲染(Neural Rendering)技术,利用深度神经网络进行图像合成,不需要3D建模,就可以快速复刻真人形象,高度还原人物表情和行为。加上【倒映有声】在ETTS(富情感语音合成)技术上独创的情绪风格表达、控制模块,保留类似真人的音调和韵律,让音色听起来更加饱满自然,充满感情;甚至不需要看字幕,依然可以听清AI数字分身的吐字。

除了可以高效快速创建AI数字分身,其落地使用环节的便捷智能也令人叹为观止。幕后技术是【倒映有声】自研的TTSA(Text to Speech & Animation)技术即基于文本和语音合成实时生成音频和视频,轻松实现一键文字转音频和视频。只需要上传提前准备好的播报稿件(或其他类型文字),就可以生成以AI数字分身为主讲人的视频,实现新闻播报、知识科普、演讲分享、品牌宣传、商品介绍等内容输出。不再需要像传统视频内容制作一样,配备团队来完成编导、拍摄、剪辑等繁琐环节,大大提升内容制作效率。

过往需要三四个月甚至更长时间才能制作出来的数字人,经由【倒映有声】的神经渲染、数字孪生等技术,以及10分钟有效音画素材采集,仅需两三周就可以快速构建AI数字分身,适应企业快速交付应用,更匹配市场上对于数字人规模化落地的需求,让更多企业或者用户拥有属于自己的数字人。在实际使用过程中,输入文字一键生成AI数字分身视频,既节约了企业在内容制作上的时间成本,也减少了财务成本的支出。

诸多落地场景与案例频验证,【倒映有声】AIGC神经渲染引擎领跑行业

据了解,中国新媒体大会是中国新媒体领域最具权威性、标志性、专业性的年度盛会,大会紧紧围绕中央关于媒体融合发展战略部署,设置了4场专题论坛。其中“科技赋新能 融媒向未来”技术应用论坛,对先进技术与解决方案进行了深入交流探讨,以夯实技术底层逻辑对行业发展方向进行引领。


【倒映有声】在AIGC神经渲染引擎方面拥有独特的技术优势,并已在音频客户端【云听】APP、河南广播电视台等融媒体实现落地应用;通过独家技术将头部酷潮IP魔鬼猫从平面2D IP变成3D数字分身IP,甚至实现出海首唱人工智能作曲歌曲等突破;以及,打造眼科医生陶勇AI数字分身公益科普IP,以科技向善的发心,落地健康科普场景等。

【倒映有声】创始人兼CEO肖朔认为,AI数字分身的AIGC能力,使其拥有“降本增效”的天然优势。从技术驱动角度来看,融媒体通过AI数字分身可以创建一个新视听应用场景,从而为融媒体内容生产方式带来全新的变革。从商业价值落地角度来看,AI数字分身除了落地融媒体内容播报场景,在广告营销、品牌宣传、自媒体内容制作等场景依然拥有更具想象的空间。

独家无人驱动数字分身技术解决方案,助力实现“数字人自由”

【倒映有声】的无人驱动数字分身技术解决方案,仅需少量定制化数据,以行业领先的神经网络设计和先进的深度学习合成器为依托,通过Digital Twin(数字孪生)和TTSA技术(基于文本和语音合成实时生成音频和视频),让AI数字分身在理解对话语义的基础上做出符合场景的拟人反馈,最终为客户提供无人驱动数字分身技术全链路解决方案。该方案可以降低AI数字分身应用门槛,实现规模化落地,助力机构和企业实现“数字人自由”,快速接轨数字经济。

【一视同人】数字分身内容创作平台线下首发,一键实现文字转音频和视频

【一视同人】数字分身内容创作平台,作为一款智能化、标准化工具产品,可以一键生成和输出音/视频,本次大会上众多观众进行了现场体验。平台既有知名人士数字分身IP、也有通用服务型数字分身IP以及动漫类数字分身IP供用户选择,用户无需拍摄、录制、剪辑,就可以在平台上一键实现文字到音频和视频内容的转化。

传统的音视频内容制作,需要涉及脚本撰写、录音或摄像设备支持、配音员或演员参与录制、专业人员现场拍摄、音视频剪辑等环节,至少需要一个团队配合来完成,制作单支音频或视频的时间成本与财务成本均较高。在【一视同人】数字分身内容创作平台,只需上传文字,选择风格匹配的数字分身IP,就可以生成带有生动形象的视频,覆盖内容播讲、直播带货、品牌宣传等诸多场景。一个运营者就可以完成从音视频策划到输出的环节,既提高了内容制作效率,又降低了制作成本,充分满足互联网时代对内容制作时效性的高频需求。同时,用户可以在线完成支付流程,智能便捷化操作更进一步将平台属性放大。

随着新技术成熟以及市场接受度拓展,各行业对于虚拟数字人的态度从观望迅速转变为了下场实践,陆续布局虚拟人相关应用和服务。根据产业服务平台量子位发布的《虚拟数字人深度产业报告》,到2030年我国虚拟数字人整体市场规模将达到2700亿元。

面对蓬勃的市场,【倒映有声】也将开放与电台主播、知名IP、机构等合作,打造高度拟人的AI数字分身IP,共同构建AI数字分身IP生态;同时持续输出AIGC神经渲染引擎技术能力,推动AI数字分身与各行业的联动融合,与产业链上下游伙伴企业共同繁荣互联网3.0时代。



The End