伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来

Xsens动作捕捉 2023-05-02 8030

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第1张

一直以来,伏羲AI实验室致力于打造AI智能动画创作产品矩阵。经过团队的努力,1项成果已商用:AI表情捕捉;2项成果已上线:AI音乐舞蹈、AI视频动捕;4项成果即将上线:AI造型师、AI视频剪辑、AI手势迁移、AI智能镜头。

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第2张

而这次,让我们将目光聚焦到网易伏羲AI实验室历时3年打造,基于海量数据和AI研发突破完成的业界领先的AI视频动捕技术!该技术降低了动作制作的成本,提升了动作制作的效率和自由度,只需输入视频,即可得到还原度超高的3D动作!

一、AI加盟动画制作:高效与便捷

在AI加盟动画制作之前,传统动画制作流程已经持续十多年之久,普遍具有成本投入高、制作周期长、人力投入大等问题特点。在传统动画制作过程中,动画制作人员常常遇到制作周期被压缩、产能效率低,导致经常需要加班赶进度的困境。

随着动捕技术不断发展成熟,业界开始尝试使用动捕技术来提高动画生产的效率,然而结果依旧不尽人意,主要原因有以下三点:

1.工作量大:表情动画、摄像机动画等仍然需要手动K帧进行调整。

2.反复性高:部分分部动作不能完全同步,仍需后期重新匹配。

3.设备使用受限:动捕设备往往比较昂贵且复杂,一般制作方无法发挥其全部性能。

面对种种行业瓶颈,伏羲再次精准出击,尝试AI加盟动画制作,以达到高效与便捷的效果目的。加入AI技术之后,动画制作无需再受专业设备和场地限制,也不再需要特定演员,仅仅通过视频的上传或使用普通摄像头便可完成表情或动作的捕捉,形成动作文件。对于动画师来说,工作着实实现了减负:只需导入编辑器完成模型的绑定即可。

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第3张

然而,AI加盟的惊喜远不止于此。从角色模型的建立角度举例,传统的工具蒙皮对一个角色进行蒙皮大致需要120分钟,而基于AI的智能蒙皮技术仅需3分钟就能完成一次操作,整整提高了97%的效率!这种效率上的飞跃无疑是颠覆性的,它将助力实现“人的解放”,推进迎接动画制作高效便捷的未来!

二、智能视频动捕:开创动画制作新模式

网易伏羲AI实验室推出的智能视频动捕技术不仅仅只是一项新技术,还是一种动画制作的新模式。它具有三大技术特色:一键生成动作、入门级门槛、广泛的动作支持。三大特色的结合大幅提升了工作效率,节省相关适合动作的70%制作成本、80%工作时间:

(1)摄像捕捉、视频输入,一键生成动作:无需专业动捕设备,仅需普通摄像头或上传视频,即可完成用户动作的制作。

(2)动作细节深度还原,体现真正黑科技:在伏羲强大的AI算法团队和雷火游戏团队的专业动画能力加持下,AI视频动捕可以基于视频高精度的还原人体动作的细节,同时保持动作的美观和流畅度,同时适合各种人物骨骼的输出,把游戏对接的成本降到了最低。

(3)动作支持广泛,支持各种类型动作:不仅仅支持抬手、抬脚等简单动作的迁移,对于舞蹈、武术等动作衔接连续的复杂动作也提供了强大的支撑。

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第4张

受广泛关注的该项技术目前也已应用落地场景,在游戏短视频生产与游戏动画制作领域、玩家UGC创作领域上“大展身手”。

1、游戏短视频生产与游戏动画制作领域

应用场景1:抖音&快手等游戏短视频内容制作

游戏营销往往能从抖音、快手等短视频APP上捕捉到有非常有趣的热点内容,希望可以加入到游戏中,但是游戏中本不具有这样的动作,如果人工从零制作,产能将被受限。而使用AI视频动捕,动画师只需要输入指定的视频,便可以快速得到还原度超高的3D动作文件,再集成至游戏编辑器中,完成营销动画内容创作,大大提升游戏短视频营销产能,让游戏热点营销日更不是梦!

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第5张

应用场景2:游戏NPC休闲、表演等动作制作

为了让游戏世界更加真实,NPC行为成为了关键所在,更高动作自由度的NPC可以让玩家有更加真实的沉浸式游戏体验感。但与此同时,游戏工作室的工作内容和成本也大幅度增加了。

而有AI视频动捕的加盟后,只需要策划指定视频动作,自行拍摄或者让演员拍摄一段视频,用AI视频动捕就可以得到高还原度的3D动作,大幅提升动画师完成动作制作的效率!

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第6张

2、玩家UGC创作领域

应用场景:同人内容创作

近年来,网络视频与小说创作大热,同人主题的作品遍地开花,越来越多的用户希望依托游戏素材、角色与剧情等,参与到同人主题创作中来——这引发了玩家UGC(用户生成内容)创作热潮。同时,UGC创作将反哺游戏,UGC作品的创作与推广实际上是用户对游戏内容的延伸与自发宣传,玩家在获得创作满足的同时,游戏也通过该渠道收获更多的关注。因此,推动玩家UGC创作可以打造游戏双方双赢局面。

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第7张

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第8张

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第9张

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第10张

目前常见的动画UGC内容包括MMO动作剧情、舞蹈动画视频、对白动作视频等,被创作的虚拟角色成为了创作者想法、心情的独白。而UGC作品的成功与否与作品中人物动作、表情表达息息相关,因为动画的逼真程度是作品传播效果的关键影响因素。

但与此同时,动画制作技术却成了玩家UGC创作的门槛。普通用户空有创作热情,却受限于专业技术,而使作品中的虚拟人物无法呈现生动形象的效果,影响作品的完成度与传播度。

在传统的创作中,动作的创建是依靠“动捕设备+人工K帧”的形式完成的,这不仅需要依靠大量昂贵和笨重的硬件,同时需要经验丰富的专业人员进行操作捕捉。因此,传统的UGC创作从某种程度上说并不是属于大众的,而是属于专业人员的。

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第11张

基于该现状,伏羲AI实验室致力于用AI技术降低UGC创作的门槛,使有创作兴趣的普通大众都可以参与到同人创作中来!伏羲团队打造的智能动作、表情捕捉技术仅需普通摄像头或者上传动作视频,便可完成动作、表情的捕捉,为用户提供便捷易用、无需昂贵硬件成本的人姿捕捉。让动作表情捕捉走出制作难、硬件昂过、环境复杂的困境。

目前伏羲团队已和“大宋映画”、“创幻科技”进行深度合作,为玩家和短视频内容赛道的创作者提供优质的UGC创作工具。如伏羲智能动捕技术&“大宋映画”依托于《逆水寒》端游的资源,深度结合伏羲AI技术,助力用户更加便捷快速地创作剧本,拍摄专业的动画视频,给予用户超高自由度的自主编辑,让用户的创意不再受限于产能。

伏羲AI动画创作矩阵再添大将:视频动捕迎高效未来  第12张

此前,伏羲AI音乐舞蹈玩法上线“大宋映画”平台后,充分降低了玩家舞蹈内容制作的门槛,收获玩家累计近百万次的请求,受到大量玩家的好评,基于该能力创作的内容也大受欢迎,成为“大宋映画”内容创作者制作舞蹈相关内容的智能帮手!而这次,伏羲AI视频动捕将再一次突破UGC内容制作门槛,赋予玩家更高的创作自由度,助力玩家更高效地创作更佳的作品。

高质量且丰富的UGC内容是游戏社区繁荣的前提,此前“大宋映画”成功举办的“逆水寒·大宋映画首届电影节”便是一个很好的证明,该电影节引起玩家强烈反响,涌现出不少精美的UGC作品。此外,玩家通过“大宋映画”视频编辑器制作的多个同人视频在抖音平台点赞数突破百万。下面是玩家“卿沫如归”用“大宋映画”编辑器还原的电视剧《招摇》片段,收获近30W的点赞:

这类高质量的内容,往往需要需要耗费大量的人力物力,但是在AI视频动捕加盟之后,可以快速地完成翻拍需要的动作制作,极大缩减创作时间;拥有了智能动画能力矩阵,UGC的自由度将让玩家创作出更多更好玩有趣的视频以表达自己的想法!

秉承为动画创作提供更好的体验服务的理念,伏羲AI实验室一直在路上!团队规划的AI能力矩阵不仅是业界领先的创新之作,更将服务万千动画创作工作者,开启智能个性的动画时代!

同时,伏羲也将一如既往陪伴每个需要伏羲合作支持的你,欢迎联系 fuxi@service.netease.com,进行项目单独对接。而后续,我们也将继续上线AI造型师、AI视频剪辑、AI手势迁移与AI智能镜头。伏羲创新,敬请期待!

招贤纳士:号外号外,网易伏羲游戏AI实验室诚招有志之士!目前开放AI研究员,AI系统开发,web前后端开发,游戏AI产品策划等各个职位,更多职位欢迎关注实验室官网:fuxi.163.com。加入伏羲,一起用AI点亮游戏未来。欢迎投递gameailab@163.com!

The End