动作捕捉技术诞生百年,如今我们可以轻松换脸

Xsens动作捕捉 2023-05-08 3423

6月2日消息,据Engadget报道,现代动作捕捉系统是经过100多年来的修修补补、创新和计算进步共同的产物。早在1915年,波兰裔动画大师马克斯·弗莱舍(Max Fleischer)就发明了一种名为Rotoscoping(动态遮罩或影像描摹)的技术,为今天先进的动作捕捉系统诞生奠定了基础。


动作捕捉技术诞生百年,如今我们可以轻松换脸  第1张


Rotoscoping是个原始且耗时的过程,但它是这个行业的必要起点。在Rotoscoping过程中,动画师们站在玻璃顶盖的桌子上,一帧一帧地追踪投影的真人电影,将演员或动物的动作直接复制到手绘世界里。这种技术可以产生流畅的、栩栩如生的动作,这是动画师们此前无法实现的。

第一部使用Rotoscoping技术的美国电影是《白雪公主和七个小矮人》(Snow White and the Seven Dwarfs),1939年上映。迪士尼在随后的电影中也使用了这种技术,包括《爱丽丝梦游仙境》(Alice in Wonderland)、《睡美人》(Sleeping Beauty)和《彼得潘》(Peter Pan)等。虽然真正的动作捕捉系统还需要几十年时间才会成熟,但Rotoscoping正是这个领域所需要的概念证明。显然,它能在动画空间中尽可能地模仿真实人物的动作。


动作捕捉技术诞生百年,如今我们可以轻松换脸  第2张


20年后,美国陷入冷战,与苏联展开月球竞赛,当时动画大师李·哈里森三世(Lee Harrison III)正在试验模拟电路和阴极射线管。1959年,哈里森用电位器(可调电阻器)衬了一件紧身衣裤,并能在CRT上实时记录和模仿演员的动作。这是个简陋的平台,动画演员本质上是个发光的棒形人物,但它标志着实时动作捕捉的第一个实例由此诞生。

到了20世纪80年代,动画师们使用的是带有活动标记的紧身衣和少量的大型摄像机来追踪演员的动作,从而产生了比哈里森的放射性线条图更详细、更精确的数字图像。但即便是在20世纪90年代,用于动作捕捉的摄像机体型都与小型冰箱差不多,而动画师们必须在每一个场景中手动分配每个标记,它几乎和Rotoscoping同样辛苦。

动作捕捉系统企业Vicon公司的销售总监杰弗里·奥瓦迪亚(Jeffrey Ovadya)说:“我们已经走了很长的路,特别是因为现在一切都实现了自动化。”Vicon已经从事动作捕捉系统研发工作30多年,该公司于1984年在英国牛津建立。我们可以把该公司想象成动作捕捉平台的一站式商店,它提供从摄像机、传感器到软件(实时地将所有数据转换成数字图像)等所有软硬件。

Vicon为多部电影大片提供了动作捕捉系统,包括《泰坦尼克》(Titanic)、《复仇者联盟》(Avengers universe)、《帕丁顿熊》(Paddington)以及《头号玩家》(Ready Player One),该公司支持的游戏包括《奇异人生》(Life is Strange)、《地狱之刃:塞娜的献祭》(Hellblade:Senuas Sacrifice)。

在动作捕捉技术历史上,《地狱之刃》占有特殊的地位。这是独立游戏开发商Ninja Theory于2016年推出的一款强大的、获奖的动作游戏,它成为现代动作捕捉世界的入门序章。Ninja Theory与Epic Games、Vicon和其他几家公司合作,创建了实时动作捕捉演示,以便展示最新技术的可访问性和实时保真度,并将其带到巡演中。

在Siggraph大会和游戏开发者大会上,许多游戏工作室展示了他们的技术运行原理,以及如何最终以合理的价格提供给小团队使用,无需动辄10亿美元的AAA级动力引擎。奥瓦迪亚表示:“《地狱之刃》是一款非凡的游戏。他们在Siggraph上进行的实时演示令人难以置信,他们也在游戏开发者大会上做了演示。但是,要想这些东西达到实时的程度,需要在幕后付出巨大努力。”

虽然《地狱之刃》的演示给人留下了深刻的印象,但它的设计远比最初的演示要复杂得多。演示期间的女演员有一系列的动作要做,开发人员必须推动软件,以确保它能在现场实时直播出来。


动作捕捉技术诞生百年,如今我们可以轻松换脸  第3张


奥瓦迪亚说:“两年后,计算能力翻了一番,GPU的性能已经翻倍。Unreal Engine甚至增加了更多功能,效果更加逼真。似乎突然之间,所有《地狱之刃》的背景努力都变得更简单、更短、更快,而且他们能够更快地到达那个点。如果他们花同样的时间在某个项目上,比如说100个小时,《地狱之刃》的动作捕捉部分花了80个小时,而‘数字人’Siren的即时演示只用了一个小时。”

Siren是Vicon和Epic Games最新的动作捕捉演示,它比《地狱之刃》更令人印象深刻。Siren是个“数字人”,由身穿动作捕捉套装和面部识别装置的现场女演员提供动力,这套系统可以实现更高的自主性和逼真程度。女演员可以即兴表演,走到舞台的新地方,表达任何她想说的话,其3D化身能模仿她的一举一动。奥瓦迪亚称:“这真的是由活生生的人在驾驭虚拟人,而人们却无法分辨出来。”


动作捕捉技术诞生百年,如今我们可以轻松换脸  第4张


更好的动作捕捉技术意味着,开发人员可以在更短的时间内完成动画场景,但是奥瓦迪亚说,这并不意味着拍摄时间将被减少,只是会被更好的使用。举个例子,如果Siren的动作捕捉演示需要1个小时而不是80个小时,他认为开发人员会利用这个时间让最终产品看起来尽可能逼真,并在动画图像中添加背景细节和微调动作。

奥瓦迪亚指出:“如果你想现在加入开发游戏的行列,那么对复杂性、深度和逼真程度的要求太多了,我认为在没有动作捕捉技术的帮助下,你不可能完成这样的游戏。因为动作捕捉虽然有自己的艺术形式,但它仍然是一种工具,它试图让人类的动作立即被翻译并记录下来,而不需要大量的后处理。尽快把人的动作融入到游戏中,现在似乎无需太过担心。”

动作捕捉在20世纪90年代盛行起来,因为当时开发人员可以利用多线程技术、更高的处理速度,并使用GPU作为处理器。这些进步在今天的动作捕捉设备和计算机中仍然值得关注,但它们只是变得更快、更强大,而另一次繁荣即将到来。

奥瓦迪亚说:“很明显,对于所有人来说,动作捕捉的圣杯就是无标记。人们不想再担心基准点,因为AI和量子计算正在加入其中,它们可以更快地进行处理,并维持它们的目标。然后我们慢慢开始失去标记,事情将会更快,你不需要再去设置尽可能多的摄像机,你可以在更大的空间以更高的速度做事。你可以把某个系统扔到工作场所里,它会开始跟踪每个人,这可能在5到10年内成为现实。”

虽然这是个令人兴奋的未来远景,但动作捕捉技术本身也存在潜在威胁。即使忽略了明显的“老大哥”式短语,你也可以把一个系统扔进去,并且开始跟踪几乎所有人。很明显,今天的人们已经在使用动作捕捉技术进行误导和撒谎。尽管像Pornhub这样的网站正半心半意地努力阻止色情视频的出现,但那些把一名女演员的脸换成另一名女演员的色情作品(Deepfakes)却正在成为新兴行业。

奥斯卡获奖导演、《逃离》(Get Out)的作者乔丹·佩尔(Jordan Peele)最近展示这样的担忧,显示让巴拉克·奥巴马(Barack Obama)这样的人说些荒谬的东西是多么容易。奥瓦迪亚说:“如果有人想利用这种先进的技术来进行恶意攻击,那么我们将千方百计地将自己与他们区分开来。但我认为这是目前所有技术的本质。不仅仅是动作捕捉技术,任何进步如此之快的技术都可以被用来迷惑人们,并将他们带入不同的方向。希望人们意识到,这不是新兴技术应该被使用的方式。”


动作捕捉技术诞生百年,如今我们可以轻松换脸  第5张



虽然电影和游戏是Vicon技术中最受消费者欢迎的两种应用,但其大部分业务实际上是生物力学,帮助追踪和治疗因患有脑瘫或重伤而影响动作、步态的患者,以及广泛的其他医疗条件。Vicon公司的半数业务致力于生物力学,1/4属于视频游戏和电影,最后1/4是机器人技术,包括虚拟现实和自动驾驶。

所有这些行业都是互相促进的,也同样推动了动作捕捉行业的发展,这在电影和视频游戏的关系中尤其真实。奥瓦迪亚称:“他们都是标准的制定者,试图为对方设定不同的标准,并不断推动对方前进。游戏绝对是个大机遇,并有很大增长空间。开发人员可以花更多的时间在《地平线:零之曙光》(Horizon Zero Dawn) 中拍摄美丽的风景,或者能够捕捉到FIFA的独特运动员。所有这些事情都能做得更快、更容易,因为动作捕捉不再是痛点。”

The End