面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的

Xsens动作捕捉 2023-05-12 2433

我男友,一个连TFBOYS三个人都对不上号,对流量明星乃至当今影视圈一无所知的钢铁直男,最近竟然开始丧心病狂地——

追剧了!

没错,就是追剧,偷了本人的腾讯视频账号,每天乐颠颠地就着视频吃饭出恭俯卧撑,仿佛回到了追NBA总决赛的时候。我吃完饭顺带着瞄了一眼,发现竟然还是杨洋主演的《全职高手》真人版。老子的筷子差点吓掉:这人起码指着白敬亭的照片问过我三次“他是不是杨洋”,怎么就突然和本尊陷入爱情了?

男朋友:(抬头痴汉笑)“江疏影真的好好看哦……”

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第1张

抛开主角的美丽(?),《全职高手》真人版的确也成了近期热播电视剧里的一股清流:豆瓣评分开播后不降反升,属于低开高走届的模范生。好多不满选角的吃瓜群众看过剧集后,也难免带着“真香”标签发微博含泪卖安利:

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第2张

陪着男票看了几集之后发现,这部剧之所以男女通吃老少咸宜,究其根本还是因为制作组有钱,不是,是特效做得的确诚意十足。起码十块钱往上,学了三年动画的朋友表示,再学三年也做不出来:

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第3张面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第4张

要知道,如此密集的特效,制作周期竟然只有一年半,保质保量包速度。背后最大的功臣之一,就是强大的渲染引擎:Unreal4 实时引擎拍摄技术。

可能很多朋友都听说过“渲染”这个概念,但对渲染到底意味着什么却一无所知。简单来说,渲染就是通过大量计算,算出你创建的那个3D模型最终呈现出来该是个啥样,然后输出并生成极其写实的2D图像。楼盘广告大家都见过伐?建筑外观和里面的户型示意图,都是这样“渲”出来的,举个栗子呢大概就是这样:

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第5张

图 | XO3D

在计算机绘图里,渲染是最后一步,也往往是最耗费时间,最令人头秃的一步。整个过程几乎相当于是从无到有的一场史诗级蜕变:模型基本就是个3D骨架,光照强度和角度是什么亚子?材质和纹理要怎么体现?通通都要搞起来,计算量可以说是相当之大。

啥?你问我这跟计算有啥关系?难道不是跟涂色板一样,鼠标点点上上色就完事了?初中物理告诉我们,你肉眼所见的颜色,其实是由光的反射决定的,不同波长的光线反射到你眼里,带给你不同的视觉体验。你想为这个像素点上色,其实相当于在研究——在这个像素点上,以这台摄像机所拍下来的角度来看,光的反射是怎么个情况?大名鼎鼎的渲染方程(Rendering equation)会给你答案:

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第6张

还记得前文划过的重点吗:每个像素点都要上色。一帧图像里有多少像素点?一段五分钟的视频里有几帧?这还仅仅是对光的流动进行计算,别的呢?是不是连警告都没有,直接劝退了?

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第7张

通常的电影制作所采用的渲染方式,绝大多数都是离线渲染(offline rendering),为了实现所需要的真实感不惜花上大量的时间进行运算,一部电影说不定都要花上几年时间,几十集的电视连续剧搞完,你家孩子可能都开始追星了。实在是划不来。

实时渲染效率可就要高太多了,渲染效果如其名,和离线渲染采用了不同的算法来进行渲染,这里就不放公式吓人了。实时渲染通常会被用在游戏的渲染过程中:你一操纵角色,角色就得动啊是不是?但大段用于电视剧的拍摄中,《全职》真人版还是头一份。剧组采用的Unreal Engine 的实时渲染效果多强大?还是放张动图来感受一下:

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第8张

图 | Unreal Engine

真·所见即所得,效率高不说,同样能保证一定的拍摄质量。

《全职高手》真人版采用具备实时渲染功能的引擎拍摄,可将演员的动作实时渲染在屏幕上,甚至连灯光和场景也能同步渲染——要知道,线上场景足足做了18个,每一个场景都有2-3张设计图。荣耀世界的宏大布局也由此可见一斑。妈妈再也不用担心特效做出来连免费网页手游都不如了。

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第9张

《全职高手》真人版场景设计图

再来说说渲染前的面部捕捉动作捕捉好了:毕竟这些都没有,渲染效率再高有啥用?你渲啥去啊……

据官方透露,《全职高手》真人版的肢体动作捕捉部分由Profile提供技术支持,该公司常年为诸如《漫威》系列这样的一线电影提供动捕服务,用于捕捉和追踪运动数据的optitrack摄像机就多达66台,能够360度无死角抓取演员身上每个标记点的旋转跳跃,打斗画面的真实感十足,想出戏都很难。

面部捕捉应该是用了Faceware的头盔。作为一家专业做面部动作捕捉的技术公司(这一点看名字就知道),Faceware在产品设计上也是软硬兼施:99包年的软件也有,让你对着摄像头就变脸也不是不可;硬件也一样琳琅满目,不管是玩票还是专业拍摄,总有一款适合你。

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第10张面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第11张

图 | faceware(上)、《全职高手》(下)

这种大型影视作品需要用到的专业级头盔,通常来讲安装过程可能就要2-4个小时,不光要等系统设置完毕,还要保证多个数据源同步:比如音频和身体动作捕捉什么的——拍个电视剧身首异处了可还行?

说到面部捕捉,那自然就不得不提FACS——Facial Action Coding System (面部动作编码系统)了。别看带着“编码”这个词,但FACS的诞生和程序员基本上没半点关系:起初,一个瑞典的解剖学家 Carl-HermanHjortsj? 建立了这套理论体系,之后又由大名鼎鼎的心理学家保罗·艾克曼和华莱士·V·弗雷森延用,于1978年正式问世。

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第12张

图 | Paul Ekman group

保罗·艾克曼自己在采访时表示,这套编码系统是一种“精确描述到底是什么产生了表情”的方式。我们脸上的肌肉有43块,艾克曼站在解剖学家的肩膀上,花了足足八年时间,把面部的各个部位划分成了各个运动单元AU(Action Units)。每一个部位(人中,鼻翼甚至上眼睑)都留有姓名;不同的动作(比如收紧,平展,拉长等)都被详细记录在案。AU由编号和名字组成,你做出一个怪表情,被快门抓拍下来,已经不知道能画出多少个圈圈了。毕竟,各种各样的运动单元组成活灵活现的表情,即使是在同一张脸上,所能产生的表情也是千变万化。每一个生动的表情,都投射出一个真实的你。

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第13张

图 | mplab.ucsd.edu

当然了,虽然保罗·艾克曼他老人家不用编程,但现在延用这套编码理论的苦逼后生仔里,微秃程序员可就要占相当大一部分了:用算法来进行AU的提取,在计算机视觉(或者放大一点说,机器学习)领域不算冷门至于影视剧特效制作里,对演员进行面部扫描和肌肉绑定,也离不开这套理论做基础。再搭配面部采集率高达95%的头盔,你就能在《全职高手》真人版里看见君莫笑和叶修无缝衔接,打斗也感受不到面瘫痕迹了。

然而,光是为特效砸钱烧钱,拿“我们特效贵”当唯一卖点,其他统统掉线的话,《全职》真人版也不会在上映之后的短时间内实现口碑逆袭。敬业精神和作品中的热血与激情,也在创作团队之中有着充分的体现:就拿上映之前质疑声不断的杨洋来说,他主演的君莫笑身为散人,足足拥有120个技能,每个技能的动作都要亲自学会,摸爬滚打演出来——还是在完全架空的摄影棚内。能打出来还不算,还要实现灵活切换。说实话,对想象力记忆力都是硬碰硬的考验

当然,剧组也会尽全力帮助主演们适应无实物表演的环境:他们配合数字场景在舞台上进行了1:1的表演区域还原,尽最大努力让演员投入表演过程中,而且也能获得相匹配的肢体数据。在真人版《全职》里,线上世界的打斗动作和真人演出无异,也是前期准备充分,用心投入的体现。

面部捕捉让游戏人物更生动,但你知道吗,它最早是解剖学家提出来的  第14张

为了更好地展现电子竞技本身所具备的体育精神,在有限的剧情时长和打斗场景里体现出戏剧冲突,《全职高手》真人版线上世界的概念设计就花了至少半年的时间,线上场景里每一个道具,每一处布景都是经过了精心的设计和打磨,力求最大程度地为观众对“荣耀”世界进行还原。置身其中的3D人物模型,无论是体型还是肤质都完美保留了演员本身的特点和辨识度——荣耀世界和线下真实对战场景的切换无丝毫违和感,也是因为虚拟角色模型的还原度能高达90%以上演员本身也在训练营里摸爬滚打,光是克服键盘鼠标不协调的问题就花了一个月的时间。管你是不是流量明星,都要把自己投入到角色里,体会电竞职业选手在场上的心态。以这样严苛标准打造的电视剧,还是独自杀出重围,在全新的领域开疆拓土,势必会大放光彩。

《全职高手》真人版的特效时长有足足三百分钟,但是每一秒的特效制作都费足了心思,尽全力为观众打造浸入式的观看体验,从第一集微草对战嘉世开始,连线上场景中的走位都经过电竞团队的指导和设计,即使是铁杆电竞粉丝也不会感到出戏。高效却用心的特效制作流程,再加上不狗血,不俗套的剧情,让《全职高手》真人版顺利实现口碑逆袭,引来许多自来水。在同题材电视剧没有先例的前提下,剧情到位,武打动作设计行云流水,线上世界的场景设计也不落俗套,能做成这样已经很不容易了。无论你最近是不是闹剧荒,这波安利吃下去,你都不会失望,况且……

江疏影真的好好看啊!!!

参考文献

[1]https://www.khanacademy.org/partner-content/pixar/rendering/rendering1/v/overview-rendering

[2] https://www.youtube.com/watch?v=I_03LsSHNgA

[3] https://www.facewaretech.com/cameras/markIII

The End