游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?

Xsens动作捕捉 2023-05-10 2722

搬运下自家的一篇新专栏:战术大米:为了捕捉马的动作,人类竟“折腾”了一个多世纪?

  数九寒天,北风凛冽。某个乡郊壤野的一处马厩,几个身穿紧身衣的胡渣大叔坐在马背上瑟瑟发抖,等待着别人的调遣。他们时而重复着上马、下马动作,时而互飙莫名其妙的台词,然后驱使坐骑打成一团,惨叫声不绝于耳……这究竟是缘于情感的纠葛,还是中二病发作?

  尽请收看本次《走近科学特别节目》之《一场发生在动作捕捉中的人兽虐恋》。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第1张

  对于游戏玩家来说,动作捕捉已经不是什么新鲜技术。被“捕捉”的对象早已经从真人演员扩大到了动物身上。

  然而,捕捉一匹马的动态,对于业界来说依然是头等难事——虽说这件事早在一百四十七年前就有人开始干了……

一切,都源于一场赌局

  关于驯马的历史,最早可以追溯到原始社会后期,在和马儿的朝夕相处中,人类却始终没有搞懂一个看似简单的问题——“跑动中的马匹,它们的四蹄是否会在某个瞬间全部腾空?”很多人相信无论马如何驰骋,都会有一条支撑腿留在地面,因为此前的画家都是这样画的——

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第2张

  加州巨富利兰?斯坦福对此却不以为然,1872年春天,这位铁路大王就此在自家马场中安排了一个赌局,吸引到了社会名流们的参与。在他们看来,这位明显“缺乏常识”的土豪的钱是赢定了。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第3张
除了拥有富可敌国的财产以外,利兰?斯坦福当过加州州长,后来还创办了著名的斯坦福大学

  为了用真理说服别人,斯坦福请到英国摄影师埃德沃德?迈布里奇,用照片来证明自己的观点,这也是人类历史上第一次的动作捕捉实验。

  那时候的照相机可没有连拍功能,迈布里奇是这样“土法炼钢”的:将16台照相机紧挨着摆放在赛道旁,用细棉线将快门与另一侧的机关连接起来。当奔跑中的马匹碰到棉线时,就会触发对应相机的快门,从而留下16帧原本用肉眼根本无从捕捉到的的瞬间运动影像。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第4张

  凭借这套照片,迈布里奇不仅为金主轻松赢得赌局,还在无意中创造出了电影的鼻祖。在经过简单的上色之后,他把底片粘在玻璃盘上,放到一个光源前方进行高速旋转——世界上的第一个动画,也随之诞生了。

  后来,这个名为“动物实验镜”(Zoopraxiscope)的发明,被美国画家马克思?菲舍尔改造成了一套动画制作设备——“影像描摹器”(Rotoscope)。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第5张

  它的原理,是将一组表现某个特定动作的照片依次投射到白板上,画师在进行临摹之后,就可以让纸上角色拥有惟妙惟肖的动态表现力。

  由于动画中出现的动物形象通常不追求写实性,“影像描摹器”很少会用到真实动物的运动照片组,直接套用人类角色动作模组的效果往往会更好。但在呈现马的动态的时候,即便它被拟人化成了一位老大爷,任何顶尖画师也绝对不敢跟着感觉去画。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第6张
用“影像描摹器”绘制的奔马动画

  俗话说,“难画莫如马”、“画树难画手,画马难画走”。运动过程中的马,腿部以身体为中心进行摆动,躯干部位显示出超乎寻常的柔韧性。骨骼、关节和肌肉的变化规律、尾巴的甩动、四蹄的动作顺序……没有精确到“帧”的照片,这些瞬间都是无法被动画师去细细观察的。而通过影视作品对马产生有大量间接经验的观众,却可以一眼看出某个凭空瞎画的动画有哪里不对劲,比如下面这种将一只鸵鸟和一个人的行走动画强扭在一起的效果——

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第7张

  对此,迪斯尼泰斗级导演查德?威廉姆斯曾经发出这样的感慨——


游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第8张

  难怪到了电子游戏时代,卢卡斯艺界的美术师们还在使用“动物实验镜”和“像素临摹器”这两件祖传神器,让《猴岛小英雄》等早期图形AVG游戏中的马匹的动作看上去更加自然。

  进入动作捕捉时代之后,先进的计算机技术已经可以将马无比复杂的运动规律全程数字化,困扰几代“画马人”的最大难点,似乎也由此迎刃而解了。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第9张

  2000年,日本著名CG小组Robot受雇为Capcom制作《鬼武者2》的过场动画,这也是游戏史上第一次对动物实施动作捕捉。然而,将数据采集对象从真人演员变成马匹之后,这个早就把动捕技术视为看家本领的工作室一度也被虐到怀疑人生……

万事开头难

  我们知道,动作捕捉所采集到的运动数据,实际上是采集球(又称“马克点”)的三维坐标变化。为此演员要穿上紧身服,然后在躯干、四肢处贴上这种小球,从而让安放在四周的摄像机获取到完整的骨骼动画。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第10张

  这种“穿戴式”的马克点安装方式,对于汪星人来说是完全可行的,因为它们主要是通过吐舌头和流口水来实现散热,穿件衣服并不会影响到拍摄时的舒适性。然而给汗腺发达的马儿们穿上一身紧身衣,就是要它们的老命了。导演岩本晶尝试用胶带将采集球粘在马匹身上的关键位置,但随着马匹剧烈运动时分泌的大量汗水和强烈震动,它们很快就出现不牢靠的情况。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第11张

  相比直接掉落地面,让动画师最头疼的就是采集球的轻微位移。有瑕疵的骨骼动画通常很难在第一时间被查觉,只有在导入模型、生成半成品动画之后才会让人觉得有些异样——此时再去修改就麻烦了。

  对于项目组来说,采集球除了“贴不上”,还有“不知道往哪里贴”的难题。

  马奔跑时骨骼和肌肉的变化要远超过人类,除了四条腿以外,颈部、肩部、背部、臀部,甚至是尾巴都有复杂的运动规律。随着运动幅度的加强,躯干部位还有出现剧烈的收缩。这些都需要在一匹马身上反复尝试,才能最终确定采集球的安装位置。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第12张

  Robot工作室设立在写字楼中的动捕拍摄间,在采集马匹运动数据的时候也不再适用。光学式运捕系统普遍使用被动光采集球,对环境光要求很高,所有的表演和采集均要在一百平米左右的室内完成。如此狭小的环境,着实让马儿们施展不开。以奔跑来说,马并不具备类似汽车“0-100km”这种瞬间加速的能力,它们需要先小跑一段距离,才能线性加速到四蹄狂奔的状态。在传统的动捕场地中,它们往往还没提速就撞墙了。

  即便是慢走、转身这些运动幅度不大的动作,木地板的低摩擦力也可能给马匹和骑手带来意外。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第13张
马是一种胆小的动物,动作捕捉室内不自然的光线、陌生的电子设备和突如其来的噪音,都可能让它们进入暴走状态

  在多方试验无果之后,整个《鬼武者2》OP项目组带着全套装备,挥师前往山梨县小淵沢町的一个马术俱乐部,租下旗下最大的室内训练场。为了减少马匹出汗对工作的干扰,他们只能在寒冬的深夜进行拍摄。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第14张
怎一个“冷”字了得!

  为了避免采集球由于跑动、流汗和骑手不慎触碰所发生的位移,每跑一圈,工作人员都会上前检查胶布是否牢靠。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第15张
虽说新场地比专业动作捕捉间要宽裕许多,但没跑几步还是得赶紧“刹车”

  为了全部26个镜头,共计不超过40秒的片段所需要的骨骼动画数据,工作组在富士山下的这个马场中连续折腾了近一个月,最终带来了《鬼武者2》OP动画的非凡表现。同时我们也应该看到,这种“摸着石头过河”的工作方式,是工业化大制作所不允许的。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第16张
整个《鬼武者2》的CG制作费用接近游戏总成本的三分之一

专业的事情,交给专业的人做

  Animatrik是北美规模最大的动作捕捉工作室,参与过许多电影和游戏的制作。由于经常性的涉及到对马匹的动捕业务,他们决定打造一套标准化流程和专业设施。

  动物小组的总监莎拉?卡梅隆认真研究了当年《鬼武者2》OP项目中的得失,针对两个主要问题设置了突破口:

  1、充分的准备

  莎拉认为Robot小组此前之所以遭遇了那么多的不确定性,是因为先期准备不足。正是因为采集点在定位和安装问题上的误差,才导致工期和预算的最终失控。

  为此,小组首先购买了一批1:1的塑料马,在身上安装逆反射马克点,测定如何才能准确地重建一匹马的骨头长度、关节变化,以及其他特定的运动元素,并且验证摄影机对采集点的支持范围。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第17张

  身为一个爱美妆的女性制作人,莎拉轻而易举地为马匹找到了一种“专用”的粘合剂,它不但怎么动都不会掉,而且还能够防水防汗……

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第18张
你甚至可以在淘宝买到同款

  胶水的难题解决之后,莎拉便可以尝试一些更加先进的被动式识别技术。她将U形的光学标示点粘在透气布料上,再粘在马匹身上。如此一来,计算机不但能够捕捉到完整的骨骼数据,还能精确记录马匹全身各个主要骨骼肌的形变。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第19张
莎拉和女儿在片场

  2、真实的场地

  先期测试大功告成之后,拍摄组动身前往温哥华枫树岭的一个马场。为了避免当年Robot工作室由于场地问题遭遇到的麻烦,他们雇佣建筑工人,在草地上搭建了一座大跨度钢节点结构的专用摄影棚,面积超过了一千平米。之所以没有选用现成的室内马术训练场,是因为木结构的密封性太差。除了无法安装空调以外,漏风也很容易造成摄像机镜头的角度误差。

  为了进一步增加安全性,莎拉并没有使用传统的三脚架和钢桁架来固定44台动捕摄像机,而是将它们直接以打孔方式安装在墙上,然后沿场地四周用软质材料设置好缓冲区。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第20张
传统的摄像机固定方式,一旦马匹失控,后果不堪设想

  Animatrik还在作业中大量运用了动画融合软件,借助先进的算法和特效,动作射击类游戏所需的很多高风险型动作,都可以轻松实现。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第21张
把马强行放倒,再用软件进行后期修改,便制作出了马匹侧面中弹倒地的动画

永远不过时的“匠人精神”

  日益成熟的马匹动捕解决方案,极大地降低了技术问题带来的困扰。艺术家们可以专心致志地关注于内容和细节,让虚拟世界中的马更有灵魂。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第22张

  《荒野大镖客2》与马的互动时一个非常重要的的体验内容。为了精准再现不同马种的体态差异,Rockstar购买了四匹纯种马,还请到了一匹名叫“布朗科”的好莱坞明星马。他们为每匹马的动作进行排序,分别进行了超过200次拍摄。整个采集工作耗时数月,数据足以塞满一块硬盘。

  用一颗拍电影的心来做游戏的顽皮狗工作室,向来倾向于让演员同时担任角色配音和动作捕捉模特。在《最后生还者》初代中,由于女主角艾利的扮演者阿什莉?约翰逊并不会骑马,原本设计的骑马战斗流程被大幅精简,马匹也沦为存粹意义上的代步工具。

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第23张
阿什莉?约翰逊(右一)

  为了能够在续作《最终生还者2》中弥补这一缺憾,阿什莉在德州的一个马场中苦练三月有余,掌握了基本的马术,并且和参与拍摄的特技马培养出了深厚的感情。这位女星也用自己的辛勤付出,证明了动作捕捉演员绝不是穿着浑身紧身衣,拿着烧火棍式的道具对着空气比划这么轻松。

  一旦加入“马戏”,没有一身好本领的演员,也只能像下图这样尴演了……

游戏中的动物的动作捕捉技术目前有怎样的发展?未来是否可以利用人工智能学习视频中的动作?  第24张

  一代代的艺术家的不懈努力,最终让我们在虚拟世界中体验到了马的雄浑、高昂、豪迈与柔情。在这一百多年的时间内,影像的载体从“只可远观不可亵玩”的胶片,变成了“没有什么不可以”的虚拟世界。这种进化的背后,是电影、动画、电子游戏等艺术门类的诞生和发展,也是是图形技术进步的体现。我们相信,人与马在千年岁月中积累的这份“同生死,共荣辱”的真挚情感,会在互动数字时空中燃烧得更加炙热。

作者:十大恶劣天气

The End