5分钟读懂“动作捕捉”:进军元宇宙,操控无人机,这才是YYDS?

Xsens动作捕捉 2022-10-03 14702

如果说脑机接口是用大脑,用精神来操控机器,那么动作捕捉就是用肢体来控制机器。一个是精神上的,一个是肉体上的。在电影《阿凡达》看到过这样的场景,一个身体瘫痪的人,通过脑机接口,可以控制一副外星人的身体。

虽然这有些科幻电影,但是现实中,技术不断发展,现在全球有不少公司已经在研究这项技术。我之前讲脑机接口的时候也说过。但今天不是跟大家科普脑机接口,而是动作捕捉。

希望通过这篇文章,可以让大家知道:什么是动作捕捉?它的系统构成、技术类型、应用领域,以及国内的技术现状和未来趋势是怎样的?

文/白墨

编/井盐

动作捕捉,对于大家来说可能有些陌生,了解的人可能也不是很多。但是大家在现实生活中,可能会接触到,但是并不知道那是动捕技术。像电影《猩球崛起》《阿丽塔:战斗天使》《阿凡达》等电影里的一些人物形象,其实就是利用动作捕捉技术后期合成的。

5分钟读懂“动作捕捉”:进军元宇宙,操控无人机,这才是YYDS?  第1张

电影《阿丽塔:战斗天使》中的影片与动捕套装

那有人可能会问,现在三维动画这么发达,为什么还要用动作捕捉呢?如果大家了解3D动画的制作过程,可能就会知道,前期的绘画、建模、渲染等一些列操作,特别的费时费力。

除了这些问题,有些人物的动作,有时候设计的也是惨不忍睹。但是用动作捕捉技术好处就是,不仅可以节省制作成本,还能降低时间成本。还有很重要的一点是,利用动捕技术,真人和动画人物是同步的,所以就会显得更加真实、生动。

在这个看脸的时代,一般演员的外形条件很重要。但是有了动捕技术呢,可以通过技术手段可以重塑演员的外貌特征。所以说,未来可能演员的外形条件会越来越不重要了,反而大家更关心的是演员的演技怎么样。

说到动作捕捉,大家可能第一反应是,到底什么是“动作捕捉”?它在我们的现实生活中到底有哪些应用呢?

其实动捕系统一般有四部分组成,分别是:传感器、信号捕捉设备、数据传输设备、数据处理设备

传感器就是在运动物体的关键部位安装上跟踪装置,把物体的运动信息记录下来,然后传输给接收器,也就是信号捕捉设备。信号捕捉设备再识别和收集传感器的运动信息,之后再把这些信号通过数据传输设备,把捕捉到的模拟信号转换成数字信号,在传给数据处理设备

5分钟读懂“动作捕捉”:进军元宇宙,操控无人机,这才是YYDS?  第2张

电影《阿丽塔:战斗天使》中的动捕与后期合成效果

这里要提一下,信号捕捉设备在不同的动作捕捉系统中,硬件模块也是不一样的。在机械式动捕里,信号捕捉设备是一个线路板;在光学动捕里,它是一台红外线摄像机。

最后当信号到了数据处理设备这里呢,它会把这个数字信号进行调整,减少偏差,得到一个相对精准的3D坐标数据。后期人们会根据这个数据,建立三维模型,再把模型转化为电脑3D动画里的角色运动,也就是大家最终在电影里看到的画面。

所以动作捕捉系统一般是结合3D动画软件Motion Builder,Maya,3D Max 等软件一起使用的。这样制作的动画人物,就会显得更加真实、饱满。

或者对这些数据进行分析,来了解运动物体的运动状态。这样可以后期帮助运动对象进行调整或者矫正。这个在体育运动,或者康复治疗领域用得比较多。动作捕捉能够跟踪的动作类型也很多,像身体动作、面部表情,甚至是无人机的运动轨迹等等。

这就是动作捕捉系统的组成和工作原理。

接下来,咱们再说说动捕技术的类型。根据不同的技术原理,运动捕捉有很多种,像机械式、声学式、电磁式、主动光学式和被动光学式、惯性动作捕捉啊等等。不同类型的动作捕捉技术,各有优缺点。目前市场的主流是光学动捕和惯性动捕。

国外做的比较好的是英国的VICON和美国的魔神Motion Analysis。国内真正自主研发动捕的服务商有度量的NOKOV、诺亦腾(Perception Neuron-3D运动测量与动作捕捉技术)等。

那怎么判断一个动捕系统的优劣呢?这个要从几个方面去考量:定位精度;实时性;使用方便程度;可捕捉运动范围大小;抗干扰性;多目标捕捉能力,等多个维度去评测。

笔者今天就分析一下度量NOKOV的光学动捕,和诺亦腾的惯性动捕,让大家来看看,这两种不同的动捕系统各有什么特色?

作为国内动捕自主研发的代表,度量NOKOV 三维光学动作捕捉系统,用的是目前技术比较成熟的光学式动捕。特点就是高精准、低延迟

笔者前段时间看了一下度量的直播,生成的画面生动形象,非常流畅,给人的观感也非常舒服。据说,NOKOV系统可以很好地适配目前所有主流的建模软件,同时在影视动画、虚拟现实以及医疗康复等领域,也得到了很好的应用。

5分钟读懂“动作捕捉”:进军元宇宙,操控无人机,这才是YYDS?  第3张

北京度量动捕直播画面

这两年,随着虚拟直播和元宇宙等概念的兴起,度量NOKOV不仅有面向高端客户的MARS产品,而且最近也推出了从仔光学动作捕捉套装,面向中小型客户。这样既能满足高端客户,同时也能满足中小企业或者工作室的需求。用他们的话来说就是,花国外设备1/3的钱,可以享受到世界级的技术服务。

当然光学式动捕也存在一定的短板,那就是系统会对光比较敏感,阳光会系统造成干扰。所以对光学动捕更多应用于室内场景。

相比光学式动捕,惯性动作捕捉技术也非常成熟。像国内的诺亦腾,就是其中的代表。所谓“惯性动作捕捉系统”一般由姿态传感器、信号接收器和数据处理系统组成。

姿态传感器固定于人体各主要肢体部位,通过蓝牙无线传输,将动作信号传送到数据处理系统,进行运动解析。

5分钟读懂“动作捕捉”:进军元宇宙,操控无人机,这才是YYDS?  第4张

惯性动捕套装| 图片源自NEARON

其中,姿态传感器集成了惯性传感器、重力传感器、加速度计、磁感应计、微陀螺仪等元素,可以得到各部分肢体的姿态信息,然后再结合骨骼的长度和骨骼层级连接关系等,计算出关节点的空间位置信息。

这类产品优点就是便携、操作简单、可以在户外使用,所以表演空间几乎不受限制。

但也有一定的缺点,那就是传感器本身不能进行空间绝对定位,什么意思呢?就是通过各部分肢体信息,进行积分运算得到的空间位置信息,会造成不同程度的积分漂移,使空间定位不准。

简单地说,就是在精确度上,惯性动捕不如光学动捕。还有就是惯性动捕的工作原理,决定了它不能双脚离地定位,而且传感器自身的重量和线缆,也会对表演者有一定的束缚。当然随着技术的发展,这些问题也都会得到进一步的解决,目前市面上已经有了这样的技术和产品。

但是总的快来说,从度量NOKOV和诺依腾,我们可以看到,国内自主研发的动捕系统,已经有了质的飞跃。

类似动作捕捉的技术最早出现在 1915 年,当时的动画大师 Max Fleischer 制作了一台放映机,原理就是把胶片的内容显示到透光台上。凭借着这台放映机,动画师可以很方便地照着画面中人物的动作造型,来绘制角色动作。

5分钟读懂“动作捕捉”:进军元宇宙,操控无人机,这才是YYDS?  第5张

后来直到1994 年,三维运动轨迹捕捉技术,才正式开始商业化。2011年的《猩球崛起》,利用的就是当时最先进的动作捕捉。

随着技术的成熟,现在动作捕捉技术应用的领域也越来越广泛了,从动画制作、人机交互、到机器人遥控、体育训练等等。甚至现在的虚拟人直播,也用了动捕技术。

这两年的虚拟现实游戏机器装备,也在尝试利用动捕技术,让现实中的人可以操控游戏角色。这样游戏玩家体验就得到了升级。

未来动作捕捉主要有三大趋势:

第一,从室内向室外发展

目前大部分的动捕技术基本都是在室内完成,所以未来的趋势是。动捕的范围会更广,很快会从室内转到室外。当然现在已经有厂商实现了这项技术。室外动捕的技术要求会更高一些,像设备的便携性、解决光线干扰的问题啊等等。

第二,单一角色向多角色捕捉发展

还有就是动捕技术从单角色捕捉向多角色和多道具捕捉的发展,是未来的趋势。因为现在不少搭建的影棚的动作捕捉,只能对单一角色或单个道具进行动作捕捉,然后再用三维动画软件后期修改和合成。但是单一角色的动捕,不仅费时费力,而且成本也很高。多角色动作捕捉就很好地解决了这个问题。

第三,面部表情捕捉

人的面部表情是十分复杂和微妙的,可能一个眼神就能表达一个人丰富的内心世界。人常说一颦一笑能传神,说的就是这个道理。人物角色能否被成功塑造,受到面部表情的影响也很大。

当然,可能有人也会抬杠说,没有任何表情的Poker face也是一种表演。但是如果一个虚拟人物,一直都是一个表情,没有喜怒哀乐,是很难跟观众形成感情链接的。知道的是表演,不知道的还以为是僵尸呢。

面部动捕也有很多方式,像在人脸上加标记点,或者利用3D立体摄像机,对被拍摄的人物进行面部表情分析建模等等。

与国际先进的工作捕捉技术相比,我们还存在一定的差距。主要体现在三个方面:

首先,国内动捕起步晚,发展快。动捕技术最早起源于欧美。我们属于后起之秀。虽然近些年,我们在动捕技术领域也有了深入的研究,行业发展也比较快。但整体的科研能力不是很强,投入的也不多,技术还没有真正达到世界领先水平。

其次,行业分散不集中,没有形成规模效应。国内的动捕行业,一般集中在北上广深这些一线城市,行业分布比较分散,还没有形成规模效应,所以需要国内的动捕厂商联合发展。

再次,国家鼓励扶持动捕行业。好消息就是动作捕捉行业也得到了国家的大力支持。国内也出现了像度量、诺依腾等,通过自主研发和投入,达到了世界先进水平的优秀企业。

最后,不管怎么说,随着国内厂商对动作捕捉系统自主研发的投入,中国的动捕技术也会发展的更好,赶超欧美也只是个时间问题。

5分钟读懂“动作捕捉”:进军元宇宙,操控无人机,这才是YYDS?  第6张

The End