动作捕捉行业落地应用

Xsens动作捕捉 2023-05-08 5750

随着在行业里面的逐渐深耕,笔者发现目前国内的动捕市场发展瓶颈最大的问题出现在认知上。尤其一些甚至是相关行业的从业者,竟然对动捕完全没有听说或者听过但是从未使用过。动捕行业是少数可以让国人感到自豪的科技行业之一,因为我们拥有自己的公司,自己的独立专利和算法,领先于世界的性价比和销售量(没错,这是在下公司的硬广,但谁让这是事实呢)。

动作捕捉行业落地应用  第1张

因此为了让大家更深入地认识动作捕捉,我希望这篇帖子能让动捕不仅仅存在于高校的实验室、业内人士的开发工作室或者展会之类的地方。而是进一步普及到线下甚至有一天变成我们的日用品之一(例如动捕+VR)。

动作捕捉行业落地应用  第2张

动作捕捉被定义为“The creation of a 3D representation of a live performance.”,(大致的意思我的水平有限,无法用中文描述,见谅。)这可不是我瞎掰的,在Alberto Menache(动捕先驱,创建了第一家动捕公司Three Space Imagery,Inc。)的著作《Understanding Motion Capture for Computer Animation and Video Games》里面,作者对手K关键帧动画和动捕做了详细地描述和对比,感兴趣的小伙伴可以自行亚马逊这本书。

在动作捕捉技术早期普及的时候,曾经受到比较大的争议(包括现在也是)。因为一方面动作捕捉设备的精度是和设备价格成正比的,如果产品不够好,那么捕捉出来的数据可能技术美术处理的过程不下于手动重新做一遍;其次,动作捕捉在“艺术领域”上不那么被认可,有些从业人士认为一样完美的艺术品不应该是靠着机械工具和其他方式“取巧”出来的,例如奥斯卡学院奖在大量纯CG电影出现的时候,为了区分动捕技术明确表示了如果主角和主要角色的大部分动画如果是动捕出来的话,就不被看作动画电影。动画电影强调的是夸张的人物表演和超出现实所能达到的表现力和创作力,而动捕是我们为了追求真实人物形象的创作技术,所以二者本身的定位就是背道而驰的。

动作捕捉行业落地应用  第3张

在是否使用动捕这方面只能说仁者见仁智者见智了,笔者是个工科生,信奉的从来是:不重复造轮子,能五分钟做完的事情通常我是不愿意花十分钟的。随着动作捕捉技术发展到今天,技术已经非常地完善了,虽然还没法细致到完美追踪人体206块骨头和肌肉,但是对主要节点的捕捉已经足以栩栩如生地还原我们需要的动作和表现力。但是这里还是需要为广大辛勤的动画师、技术美术等从业者说一句,无论多么牛逼的技术,工具始终是工具,在艺术和创作上是无法取代一个优秀的人类的。

动作捕捉行业落地应用  第4张

上面说到一个关键点:动作捕捉是创作的工具。没错,我们的动作捕捉只是一个技术和工具,它并不是一个取代创作的流程或者模式。动作捕捉只不过是简化了创作者的工作方式,它现阶段并未跳开传统的3D软件例如3DS、Maya或者MotionBuilder等等,为了方便从业者的使用,这些工具都会提供各自的方式来进行数据实时同步。创作者可以非常简单地将动捕技术运用到自己擅长的工作流程中而不需要太多额外的学习成本,这一点是非常重要而且很多人顾虑的问题。因为每个人的精力都是有限的,当我在一个行业待了足够长的时间,不是所有人都能壮士断腕去学习新的软件和技术的。而且这也违背了动作捕捉技术出现的目的


动捕并不是为了取代传统的内容制作行业,而是为了优化内容制作行业

以Axis Neuron Pro为例(Noitom 动捕数据处理软件),创作者可以轻松地将实时的动作数据以BVH格式(通用的动作捕捉数据大多为BVH或者C3D)同步到自己擅长的3D软件,实时地进行调试和处理,它并没有很大地影响动画师传统的工作流程,相反,对于一些繁琐的手K动画操作来说,动捕极大地简化了这一过程。举个例子,游戏行业,一个角色需要的动作根据游戏需要进行细分。比如跑,但这里并不是一个简单的跑步动画,而是需要多个细节动画例如起步,移动循环,左右转身,缓停急停等细节动画来进行支持,更别说为了适配到游戏中的具体情节:战斗、地形探索、翻越障碍等。这样下来,一个完整的3A游戏移动功能,就需要成百上千套动作进行流畅不跳帧不错位地自然融合。这也就是为什么玩家总觉得国外很多大作的角色给我们的操作手感更顺畅,因为素材的数量越多,处理的越好,镜头就能更平滑,这里面有更多因素,但素材质量和数量是其中一项。对于这样量级的样本,如果纯靠动画师手K的话,估计要一个团队夜以继日加班熬夜大半年才能完成调试和后期处理。但是如果靠动作捕捉的话,这个工作效率保守点说,可以至少压缩到四分之一甚至更高(视处理人员的水平而定,目前大多数动画师更擅长手K,这是事实)。国外某动捕产品甚至号称自己将四个月工时的工作压缩到了15小时……emmmmmmmmm此处我不发表意见。

动作捕捉行业落地应用  第5张

总体来说,动捕在我们熟悉的动画、影视创作上面,确实展现出了非常卓越的性能和表现。这也是动作捕捉目前市面上运用的较多的领域,但是动作捕捉只能用于艺术创作吗?不见得,下面跟大家科普动作捕捉在其他领域的一些运用实例:

首先是前两年大火大紫的虚拟现实领域:

相信大家都了解的不少了,包括全国的线下大型商场也陆陆续续引进一些VR体验馆和VR设备进行体验和引流。虽然目前内容里面涉及的人工智能较少,但是想必大家也希望日后我们可以在VR里面完成人与人之间面对面的交流,而不是像现在一样单纯的戴上VR眼镜去作为一个旁观者进行体验。HTC在发布自家的产品Tracker的时候就在发布会上展示过一个简单地利用Tracker完成的动捕实例(年代久远,只能勉强看清):

动作捕捉行业落地应用  第6张

通过动作捕捉设备,可以在VR里面完成真正与虚拟形象面对面的交互。由于虚拟现实的大火,一定程度上推进了动作捕捉技术的普及进程,我的另一篇帖子有虚拟现实各方面动捕应用的详细介绍。此处就不再赘述了,送上传送门:

接着是在非物质文化遗产的保留:

由于随着时代的变迁,我们的许多非物质文化遗产:武学方面(太极八卦通背形意等)、艺术方面(京剧、闽南的火鼎公婆等)都在逐渐地失传和流失,如果不加以记录,相信再过十几二十年,这些东西留存的信息将越来越少,甚至退出历史的舞台,成为史书上的一段记录或者一段简单的影像。但是由于动捕技术的存在,这些东西可以以3D的形式存在,并且可以让人在虚拟现实里面真实地体验。比如2018高交会上深圳大学展区展出的,在虚拟现实里面身临其境地观摩太极拳,就是找了一位真正的太极拳大师,利用动作捕捉技术录制的动作信息,还原到虚拟形象上去的。戴上虚拟头盔,我们可以直接站在大师身边观摩他的细节动作,这个比什么九阴真经九阳神功上的小人直观多了(手动狗头)

动作捕捉行业落地应用  第7张

还有像体育方面

体育方面,利用传感器侦测体育运动训练,随着传感器精度的提高越来越成熟。例如Noitom的MySwing系统,还有国内公司ZEPP主打高尔夫、棒球、羽毛球等运动训练。由于运动监测通常都不能受到太多的环境限制,惯性动捕也就理所当然成为监测手段的首选。Noitom和ZEEP的方案都是基于惯性传感器来实现的,对于我们常说的3DOF、6DOF、9DOF、10DOF可以用一张图来表示:

动作捕捉行业落地应用  第8张

通过对身体关键节点数据的捕捉、用算法对数据进行处理并分析出结果,可以有效提高运动员的训练效率和减少运动员对身体的损伤。大家应该都听说过了,运动员退役经常都是带着一身伤病的,如果能有效地使用动作捕捉技术是可以一定程度上降低这种对身体的透支损害的。

动作捕捉行业落地应用  第9张

上传视频封面

?好的标题可以获得更多的推荐及关注者

还有像机械控制

这个是我最期待尝试的了,因为一旦5G落成,拥有足够迅速的数据传输状态下的动捕设备配上VR和万向台,完全可以远程操作机器人行动,早在2015年就已经有对应实现的人机动作通过动捕设备同步的案例了。当然我理想中的场景是像环太平洋里面景甜小姐姐那样操纵机甲飞奔的场景,嘿嘿嘿~

动作捕捉行业落地应用  第10张

上传视频封面

?好的标题可以获得更多的推荐及关注者

虚拟主持这个就更不用说了

去年莫名大火的爱酱,相信看过的人都不会忘记的,贱萌贱萌的形象啊!!!!

动作捕捉行业落地应用  第11张

最后,压轴地,致敬一下著名的动捕演员安迪瑟金森,参与过《金刚》《魔戒》《猩球崛起》《复仇者联盟》《星球大战》(不分先后)等电影的拍摄工作,这每一部大作都是我们心里的经典,虽然本章帖子主要科普动捕在影视创作和游戏之外的应用,但是这并不影响笔者对他的崇敬之心。

动作捕捉行业落地应用  第12张

The End