关于动作捕捉技术的发展历史及美学思考

Xsens动作捕捉 2023-05-06 5869

动作捕捉技术,简单的学术性定义为:动作捕捉是一种综合运用计算机图形学、点子、机械、光学、计算机动画等技术,以此捕捉表演主体的动作或者是表情,通过对这些动作或表情的捕捉数据来直接驱动动画形象模型的技术。现阶段动作捕捉技术在电影、动画、游戏和医疗科学等领域有较大的使用范围。从应用角度来分,动作捕捉分为身体运动捕捉和表情捕捉;从实时性角度来分,分为实时捕捉系统和非实时捕捉系统。

动作捕捉技术最早可以追溯到1915年,动画大师Max Fleischer研发一种叫做"Rotoscope"的技术设备,属于现代动作捕捉技术的雏形。Rotoscope本身是由放映机和人工处理结合的动作捕捉系统,放映机将胶片内的画面投影到墙上,画家就照着投影一帧一帧画出来。那时的投影即表演的主体,而画师则是捕捉系统。由这样画出的动画更加逼真。之后的第一部动画长片《白雪公主》就是这样制作出来的。

当然,Rotoscope只能算是动作捕捉技术的雏形。动作捕捉系统的第一次使用是在1990年的影片《宇宙威龙》中。片中施瓦辛格饰演的主角通过X光扫描射线的时候,携带的武器被发现,其骨骼运动的动画如此逼真原因只有一个,就是动作捕捉技术在这里的运用。这个细节片段在今天看其实相对简单,因为这里需要的只是平面效果,所以实际需要处理的数据只涉及二维层面。

关于动作捕捉技术的发展历史及美学思考  第1张

《宇宙威龙》(又译《全面回忆》)中的动作捕捉技术

真正出现全片大规模使用动作捕捉技术的影片是2001年的动画片《最终幻想:灵魂深处》。该片是首次实现全程用动作捕捉的电影,而片中所有角色都采用了动作捕捉技术。之后类似的电影有《极地特快》、《贝奥武夫》、《圣诞颂歌》、《丁丁历险记》等,这一序列下文再做详述。

关于动作捕捉技术的发展历史及美学思考  第2张

《最终幻想》拍摄现场

在2001年这一年还有一部大片采用了动作捕捉技术,尤其是之后还因此获得了奥斯卡最佳男配角奖,这部电影便是赫赫有名的《指环王》。其实当年以传统模型和道具为主的维塔工作室实力并不能和工业光魔相比,但演员安迪·瑟金斯的精湛表演促使导演决定使用该技术,以求能将咕噜这个神奇的角色真实的搬上银幕。由于当时并没有非常完善的动作捕捉与真人互动表演的实时技术,咕噜的拍摄就分成了四个部分。第一部分是安迪·瑟金斯穿着白衣服与演员一起表演,第二部分是电脑中将瑟金斯擦出替换成咕噜。第三部分是瑟金斯独自再表演,穿着带动作点的捕捉衣来表演,最后将面部表演数据加载到咕噜的CG模型身上。

关于动作捕捉技术的发展历史及美学思考  第3张

"动捕第一人"安迪·瑟金斯及咕噜

在拍摄第一部时,瑟金斯穿着的衣服并不带跟踪点,其目的就是便于后期将人擦出用CG替换。在后两部《指环王》中瑟金斯终于穿上了带跟踪点的动作捕捉衣。但由于瑟金斯本人和咕噜形象还是有大量明显差别,因而瑟金斯的大体表演更多是骨架式的参考,大部分细节需要后期人员再做调整。在面部表情捕捉方面,瑟金斯在表演时面部点了近100个跟踪点,利用近距离拍摄素材,后交由动画师处理,同肢体动作捕捉一样,表情的效果更多需要依托后期处理。

对于面部表情捕捉技术,真正具有突破性的还属《黑客帝国2》和《黑客帝国3》。在电影中,特工史密斯将人瞬间改造成自己,这需要众多演员的面部替换。就此该片在表情捕捉技术方面创造了一个奇迹——无需面部跟踪点。该技术大致分为五步。第一步先用5台高清摄像机同步拍摄演员雨果·维文的面部表情并存储。第二部采用光流照片测量技术,该技术可以追踪每个像素点在不同机器的位置,后将其结果与一个中度精细的模型相结合,处理为每个像素点与模型的点相匹配,从而获得其运动轨迹。鉴于光流照片测量技术可能出现匹配错误,这需要第三步的关键帧修改并且删除头部整体运动只保留表情。第四步的任务是制作一个精致的头部雕塑,因为面部没有跟踪点,所以可以根据照片描绘出精致的皮肤表面。最后是贴层并且将动画渲染。虽然该技术打破了面部跟踪点的传统形式,但本身成本过高,其效率也不高,所以并没有深入发展。

关于动作捕捉技术的发展历史及美学思考  第4张

源于动作捕捉技术的《黑客帝国2》中的史密斯


在《指环王》之后,同样出自彼得·杰克逊维塔工作室的《金刚》更是将肢体动作捕捉、面部表情捕捉、表演与生物模拟契合到一个新的巅峰。这次拍摄中,不光需要给真人做动作捕捉,还需要给道具做动作捕捉,如在近距离拍摄金刚时,需要道具组人员拿着蓝色的道具配合演员进行表演,在后期中动画师用金刚的大手匹配道具上的标记点,再将道具抹去。

之后的《加勒比海盗2》则是好莱坞特效老大工业光魔公司的又一力作。由于《加勒比海盗》第一部拍摄场地的限制和工业光魔本身并没有对动作捕捉进行深入的研究,使得该技术的真正实现是在第二部上。片中戴维·琼斯的章鱼脸是一项挑战,这需要细微的面部表情配合复杂的章鱼触角的运动,其次"飞翔荷兰人"号上各式各样的鬼怪同屏出现本身也是一项挑战,再加上需要演员外景拍摄,这些因素促使特效巨头工业光魔研发出一套自己的动作捕捉技术"iMoCap"。

关于动作捕捉技术的发展历史及美学思考  第5张

动作捕捉技术造就的经典形象——章鱼船长


iMoCap的捕捉服采用半紧身中灰色材料,衣服上以反光球作为标记。之后工业光魔升级了识别和处理软件,使得标记的识别精度提升。最重要是片场并不需要各类复杂的专用拍摄设备,只需要任意型号的两台高清摄像机分别放置于主摄像机两边作为动作参考。虽然该技术在本片中有了更进一步提升,之后的《钢铁侠》与《第九区》也都沿用了iMoCap系统,但是该系统依旧无法解决特效角色的面部表情问题。海盗船上的鬼怪角色和《第九区》中的"大虾",其面部表情仍然是依靠模型技术和手工动画来完成的。

关于动作捕捉技术的发展历史及美学思考  第6张

《第九区》中的外星人"大虾"



在新世纪的第一个十年里,动作捕捉技术从《指环王》的探索到《金刚》和《加勒比海盗2》的成熟,其突破性和艺术贡献前面已经有所叙述。下面我们以2007年的《黄金罗盘》至今这几年间的奥斯卡最佳视效奖为例,简单分析下奥斯卡的评委们是如何看待新兴的动作捕捉技术,以及如何看待电影的技术突破和所谓的最佳视效奖之间关系的。

2007年最佳视效奖的提名影片分别是《黄金罗盘》、《加勒比海盗3》和《变形金刚》。《加勒比海盗3》之所以没获奖,是因为其完成的依旧是第二部做过了的,所以奥斯卡并没有再次颁奖给他们;《变形金刚》本身肯定大量使用了动作捕捉技术,但其特效突出在量,而非特别明显的技术突破。《黄金罗盘》原本打算做成和《指环王》一样的三部曲,没想到影片推出后票房惨淡,计划中的后两部也由此胎死腹中。这部水平中等票房失利的影片之所以斩获这一年的最佳视效奖原因几乎只有一个,就是片中那只看上去活生生的CG熊。这一动画角色拥有细微的毛发效果、逼真的运动动作,甚至是身上的脂肪、毛皮抖动都是CG技术的一个新指标。就算是口碑和票房双赢的《加勒比海盗3》和《变形金刚》这两部大片,也没能敌过《黄金罗盘》里那只史无前例的CG大熊。创造这只CG熊当然少不了动作捕捉技术,但这项技术在这里只是辅助手段之一。这只CG熊可以说代表着动作捕捉技术的成熟,更代表着电脑CG技术的一个新的高度。

关于动作捕捉技术的发展历史及美学思考  第7张

《黄金罗盘》中的CG熊



2008年,提名影片分别是《本杰明·巴顿奇事》、《钢铁侠》和《黑暗骑士》。《钢铁侠》的出彩在于其钢铁战衣的动作捕捉技术,其本身只是更加精细并未具有多少开创意义。《黑暗骑士》更加尊崇传统的模型特效,将特效与影片基调完美结合。《本杰明·巴顿奇事》的捕捉技术是奥斯卡评委们颁给它最佳视效奖的几乎唯一理由。因为该片创造了迄今为止算是最优秀的CG人类角色,即使是之后的《创·战纪》和《阿凡达》也都未必有超越。该片中主要运用的是面部捕捉技术,俗称银幕换头术。该项捕捉系统名为Mova Contour,实现了无需记录点的面部捕捉,可以一次捕捉超过10万个多边形的动态点,并对每个节点进行逐帧追踪,支持最高120帧每秒的高速摄影。正因为《本杰明·巴顿奇事》这部影片创造了史上最优秀的面部动作捕捉技术,因而在颁奖时,突出强调了其技术创举,此创举意义与《黄金罗盘》里的大熊、《加勒比海盗》里的章鱼船长、《金刚》里的金刚、《指环王》里的咕噜是一致的。

关于动作捕捉技术的发展历史及美学思考  第8张

本杰明·巴顿



2009年获奖作品是《阿凡达》,该片凭借将3D、虚拟与动作捕捉技术结合,近乎完美的创造了潘朵拉星球,从而创造了电影史上最为绚烂的画面。可以说,到《阿凡达》这里,无论是动作捕捉技术还是电脑CG都达到了一个新的巅峰,以至于在其后的几年里很难再找到哪一部影片在这两个领域里有所突破。

关于动作捕捉技术的发展历史及美学思考  第9张

《阿凡达》中的纳美人



诡异谷(The Uncanny Valley)假说是日本著名机器人学专家森政弘于20世纪70年代年提出的一个现象或者说可能。森政弘认为,在有关机器人等人造的类人物体不断的人格化过程中,人类对于它们的情感存在一种递增过程中突然衰减的可能。尽管有人至今仍不赞成诡异谷的说法,但我们在心理上对于很多高分辨率CG人像的冰冷怪异感是普遍存在的,这个规律可以粗略的概括成"越像反而越不像"。)

关于动作捕捉技术的发展历史及美学思考  第10张

"诡异谷"示意图



我们再拿动作捕捉技术为例,在2001年的《指环王》之后,《指环王1、2、3》、《金刚》、《猿族崛起》、《黑客帝国2、3》、《加勒比海盗2、3》等一系列口碑和票房双赢的影片构成了这一技术在运用方面的一个成功案例序列,然而这一技术同时还创造了一个票房和口碑双输的失败案例序列,这几部影片分别是《最终幻想》(2001)、《极地特快》(2004)、《贝奥武夫》(2007)、《圣诞颂歌》(2009)、《火星救母记》(2011),连出自斯皮尔伯格之手的《丁丁历险记》(2011)当年在内地也票房遇冷。有趣的是,这里面《极地特快》(2004)、《贝奥武夫》(2007)、《圣诞颂歌》(2009)三部影片竟然全部出自大导演罗伯特·泽米吉斯之手。说起来这位导演当年也是奥斯卡最佳视效奖的常客,从《谁陷害了兔子罗杰》到《飞越长生》和《阿甘正传》,也算是功勋卓著,却不曾想在过去十年里因动作捕捉而连载三次跟头。

关于动作捕捉技术的发展历史及美学思考  第11张

《最终幻想》中的CG角色



其实仔细比较前面说的这两个电影序列就可以发现动作捕捉技术的成败规律,粗略的说,做出来的东西越是不像真人,观众越是容易觉得做出来的东西像真的;反之,做出来的CG形象越是接近真人,观众越是觉得不像真的。究其原因还是"诡异谷"的幽灵在作祟。这个问题其实从第一部《最终幻想》就已经呈现出来了。在这部电影上映之前甚至有人说以后演员这一职业都可以被电脑取代了,然而电影公司花巨大力气做出来的CG人物给观众的感觉却是说不出的假。其后的《极低特快》和《圣诞颂歌》非但没有迷途知返,反而还浪费了汤姆·汉克斯和金·凯瑞这样的大牌明星。拿《猿族崛起》做个对比吧,动作捕捉技术在这部电影中的核心运用集中在了身为主角的猩猩"凯撒"的那张脸上,创作者根据动作捕捉技术记录下来的真人的表情,辅之以后期的电脑动画处理,将凯撒的愤怒、屈辱、抗争、思考等各种复杂的表情活动用夸张的方式呈现了出来。也就是说,创作者创作凯撒这只猩猩的表情并非是基于对真实猩猩的观察,而是基于对我们人类表情的夸张式处理。于是,那只猩猩能够引发我们强烈的情感共鸣便成了顺理成章的事情。相比之下,你把汤姆·汉克斯或者金·凯瑞搞成那样一个呆头呆脑的CG形象,观众能喜欢吗?

关于动作捕捉技术的发展历史及美学思考  第12张

关于动作捕捉技术的发展历史及美学思考  第13张

两种CG形象的效果对比



总之,无论是《指环王》里的"咕噜"、《金刚》里的金刚、《加勒比海盗》里的章鱼船长还是《猿族崛起》里的凯撒,这些形象之所以能够获得观众的心理认同产生真实感,并不是因为他们超越了"诡异谷",而是因为一个更为简单的原因——他们实际上都不是"人"。包括《阿凡达》里的外星人同样如此。至于《黑客帝国》里的史密斯,虽然勉强算是一个真人形象,但别忘了在影片里但凡用到动作捕捉技术的地方他的墨镜始终都没有摘掉,那个墨镜可不知给影片的特效制作公司省了多少事。前面说过,绝大多数电影都是围绕着人的脸转的,而我们对于人脸的识别能力是一个相当有趣和相当复杂的课题。一个普遍的规律是,识别对象距离我们的差异越大,我们的识别能力就越差;反之越是接近我们自身的形象,我们的识别能力就越强。这一点在我们看其他生物的时候如此,在我们看自己同类的时候同样如此,比如欧洲人识别亚洲人脸的能力、亚洲人识别欧洲人脸的能力肯定远远比不上识别欧洲人看欧洲人、亚洲人看亚洲人的能力,再往具体了细分情况同样如此。像咕噜、金刚、凯撒这些形象本身距离我们人类差距很远,所以观众在心理层面上建立真实感的要求实际上很低;反之像《最终幻想》、《圣诞颂歌》这样的影片,片中想要塑造的形象是真人,观众建立真实感的心理要求便会大大提高。像《本杰明·巴顿奇事》这样的影片,表情捕捉技术的着眼点并不在于塑造真人一样的人物形象,而在于用它展现人在一生中的脸部变化,突出幼年、少年、老年这些不同阶段的差异。对于电影创作来说,一部影片即使是票房口碑双输它也同样是消耗了巨大的人力物力和财力,在动作捕捉和电脑CG方面《最终幻想》花的力气肯定不比《指环王》少,但败在了不自觉中把影片起点定太高了,企图用电脑创造一个真人而不是创造一个活生生的怪物。

动作捕捉技术作为一个优秀的特效工具,它的诞生极大的提升了电影的创作空间,实现了电脑动画前所未有的逼真模拟,也帮助了越来越多的导演实现了自己的创意和构想。电影既是一个工业化产业,也是一门艺术性创造。技术的发展不断的为艺术创作提供更大的可能性空间,但技术永远只是创作上的支持而不是艺术成功的保障。追其根本,技术在不断进步,而艺术却各有所属。就技术本身而言,它也永远是有所能而有所不能。再回顾一下过去这几十年的奥斯卡最佳视效奖,其实上世纪九十年代那一个十年,计算机技术主要为我们创造的是恐龙或者外星虫子等这类根本不是人的怪物;新世纪的第一个十年,由于有了动作捕捉技术的扬长避短,计算机技术主要为我们创造的是大猩猩等这类比较像人的怪物;也许有一天计算机技术的发展可以突破只是创造怪物的局面,也可以驾轻就熟的为我们创造出像真人一样的CG形象出来,如同影片《虚拟偶像》中描绘的那样。真若如此,那必将是电影的又一次新的技术革命,但那是未来的事了。回顾计算机技术和电影艺术联姻后走过的这一段并不算长的路,成功者如《侏罗纪公园》里的恐龙、《猿族崛起》里的凯撒,失败者如《最终幻想》等,我们不光是应该学习电影创作者们如何运用新的技术来创造出活生生的电影形象,而且还应该学习他们是如何清晰的把影片创作建基于观众的心理需求度,并且意识到技术的局限,在创作的时候扬长避短,从而让观众对最终完成的电影作品产生真实感的。

The End