《星球大战》里的高科技 我就站在你眼前,你却不识我的颜

Xsens动作捕捉 2023-04-22 5110

狂拽炫酷到没朋友的黑科技——动作捕捉,分别给你看看入门版、进阶版、高级版是什么样的。

1入门版

前不久曾经在朋友圈刷屏的“雨屋”亚洲首展,让人在雨落雨停之间,真实的感受到身体的存在。

在昏暗的灯光下,漫步在滂沱大雨中,却又滴雨不沾身,有一种仪式般的心灵感受。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第1张

雨屋来自于伦敦,由兰登国际打造。

这项技术是将动作捕捉和系统控制相结合。

天花板上的每个格子里有36个感应器,可以感应到每一个进入雨屋的人,动态跟踪摄像头会根据参与者的各个身体部位捕捉制作3D图像,由图像信号转换成控制信号,控制系统及时关闭相应的雨水装置。

2进阶版

日本艺术家Nobumichi Asai浅井宣通,从MICROSOFT KINET辞职后,就一直致力于“实时变脸”。

在他2013年发布的第一代技术发布视频《Omote》中,女模可以瞬时换妆。

这项技术是将动作捕捉与全息投影相结合。

运用三维激光扫描,创建一个准确的脸部模型,模型配有详细的轮廓参数。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第2张

然后对人物面部和背景进行分离,在面部标记若干映射点进行实时采样,图中那些小光斑就是映射点。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第3张

最后再对面部建模以及标记的映射点计算一些局部偏移和大小缩放,将影像通过3D投影仪跟踪投射到脸部,达到“实时变脸”的效果。

像不像终结者中的液态金属。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第4张

还有一点机械姬的FEEL。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第5张

这项技术到底牛掰在哪?它实现了三个研究方向的单向突破和交叉运算。

首先是对成像介质的捕捉和分析需要突破。

如果是静态平面介质,现在技术已经比较成熟,不仅可以捕捉分析,还能加以比对。在商用上已经有逐步推广,比如百度、淘宝的以图搜图的功能。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第6张

如果换成静态立体介质,就是类似于在建筑上投影广告,需要考虑到立体介质本身的空间属性。

如果换成动态立体介质,就是类似于这个建筑在不停的左蹦右跳。

其次是对硬件设备有了突破性的要求。

以电影为例,播放普通电影只需要一台放映机。

播放3D电影需要两台放映机同时运转,并将两个画面点对点完全一致地、同步地投射在同一个银幕内,使这略有差别的两幅图像重叠在一起。

而为了达到裸眼3D效果,2014年上海外滩灯光秀总共动用了28台投影机组。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第7张

最重要的是片源的制作上需要突破。

还是以电影为例,普通电影制作技术简单,成本可控。

但是制作3D电影整体成本比普通电影翻了好几倍,为什么?因为3D视觉效果的原理是双眼的“视觉位移”。需要2套摄像机,一个模拟左眼,一个模拟右眼。并且两套摄像机之间要能精准匹配,后期再将2套影像进行合成。要不是这么麻烦,3D电影票怎么会那么贵呢。

而现在的3D电影都是需要戴上3D眼镜才能观赏的,就是让你左眼只能看到为左眼拍摄的影像,右眼只能看到为右眼拍摄的影像。而如果要达到裸眼3D效果,就是要让人能从不同角度看到立体效果,需要的就不仅仅是2套影像了,而是9套。震撼的上海外滩灯光秀也不过是用了4套影像而已。

在成像大小和精度方面,相较于标准屏,想要影像能够匹配巨幕或是微幕都是尤为困难的。

标准屏宽度在12米左右,IMAX巨幕宽度达到22米以上,意味着同样的画面需要达到更高的精度。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第8张

而想要影像能够匹配微幕,意味着两套图像的差别非常非常小,需要十分精准的计算。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第9张

而将人脸作为投影承载面的难度不仅仅在于投影面面积只有300~400平方厘米,还在于人脸结构更复杂。尤其让程序猿崩溃的就是,人的表情随时会变啊。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第10张

所以,你知道《OMOTE》在微小的动态立体介质上达到精准的裸眼3D成像效果有多难了吧。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第11张

第一代产品视频发布后的第二年,第二代产品视频《FACE HACKING》又面世了,这次技术上更为精进。

一代技术发布视频里是一个女模,二代技术发布视频里是二个男模。整个视频有3分多钟,把两个男人进行了多次彻底易容,堪称数码版的川剧变脸。

金属脸

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第12张

骷髅脸

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第13张

猎豹脸

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第14张

戏剧脸

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第15张

伪娘脸

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第16张

变形金刚脸

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第17张

换脸

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第18张

看完这个视频,云表姐觉得,浅井宣通是艺术家还是科学家,已经无法界定了。

歪楼一下下,相信聪明的你们都看出来了,这二个男模是日本偶像天团 SMAP中的香取慎吾和草彅刚。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第19张

SMAP全体成员有五个,下图中按顺序从左至右分别是香取慎吾、草彅刚、容稻垣吾郎、木村拓哉、中居正广。他们有多红地位有多高,云表姐就不多叨叨了。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第20张

虽然现在跟巅峰时期的颜不能比了,但有了高科技的加持,香取慎吾、草彅刚在《FACE HACKING》里面各种狂拽酷炫。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第21张

偶像光环再加上虚拟科技,这是个有魔性的视频,背景音乐增色不少,墙裂建议看看。

在将来的某一天,也许不仅仅是人的脸,穿着甚至动作都能够被投影出来。

坐在你对面的人,你以为是熟人,但实际上却是陌生人,你以为是刘亦菲,实际上是凤姐。这样超现实的科幻场景,细思极恐,想想有点后背发凉......

3高级版

得益于动作捕捉技术的长足进步,以现实的人脸、头部和动作追踪为基础,电影中的CG人物也越来越像真的一样了。

在卡梅隆大神拍《阿凡达》之前,电影中只能通过动作捕捉技术记录CG人物的肢体语言,而脸部表情是靠后期绘画加上的

你问我为啥?敢情我前面铺垫那么多你都没看进去啊。前面说过,光是在人脸上动作捕捉与动态投影就已经够屌了(我要学会这门手艺估计需要一百多年),而要创作电影里的CG人物,要在动作捕捉与动态投影这两项技术之上,先将记录下来的数据转换为运动轨迹的数据模型,再去骨画皮合成CG人物。也就是说实时追踪A,再以A为基础合成B并动态投影到B上。

早期的动作捕捉技术还不够精准,所有只能靠后期绘画添加面部表情。这种做法耗时耗力,也就工业光魔这样的公司有胆大量运用,《加勒比海盗》、《变形金刚》、《哈利波特》等等都是这样做的,有钱任性。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第22张

又歪楼一下下,工业光魔在2015年发布了40周年纪念视频,视频很短,只有一分钟,混剪了工业光魔40年以来最经典的电影特效,基本也就是好莱坞40年的特效史了。短短60秒,每一秒都在惊爆你的眼球。你可以数数看,这里面到底出现了多少部电影,来来来,正字画起来。答案在文末。


卡梅隆大神拍摄《阿凡达》的时候,就不满足于这样的技术了,他觉得画出来的面部表情始终太过僵硬了,不够生动。
于是他开发出“头套式表情捕捉系统”,设备也就从泳帽变成了头盔。有了头盔,演员的表情动作就都能精准记录下来了,于是“动作捕捉技术”发展成为了“表演捕捉技术”,因为你看到的那些CG人物的表情,是演员的真情流露而不再是后期绘画了。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第23张

大神后来在拍《猩球崛起》时,遇到了新的难题。那就是《阿凡达》中的纳美人基本相貌跟人还是比较像的,而《猩球崛起》的主角是只大猩猩,他的脸跟人类差别很大,在表情移植上的难度大了很多。于是开发出“脸部肌肉组织模拟技术”
大猩猩的皮肤也没人类那么光滑,而且还有很多毛,整体色调比较深,于是还搭建了“明暗光线模型”。

把身体动作和面部表情记录下来并实时地给到CG角色身上后,现场有多台液晶显示器实时显示动作捕捉数据映射到CG角色之后的结果,演员们可以实时看到自己的表演有什么问题。科技的力量真是神奇!

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第24张

《猩球崛起》还遇到的一个难题就是以往CG人物都是配角,基本上在室内摄影棚就可以完成所有戏份了。而这次CG人物成了主角,需要大量的场外实景戏份。而传统的光学动作捕捉使用被动式标记点,几乎无法用于实景环境中,因为实景中有各种反光干扰,而且难以在实景中搭建起大型的摄像机矩阵。于是把被动式光学捕捉换成了主动式光学捕捉,开发出“在日光下实景多人同时捕捉技术”

提到动作捕捉,必须提到一个人,就是安迪·瑟金斯。他被称为动作捕捉演员世界第一人,通过动作追踪扮演过《魔戒》中的咕噜、《金刚》中的金刚、《猩球崛起》中的凯撒、《复仇者联盟》中的绿巨人。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第25张

技术再先进,终究离不开人的创新能力。

最早运在电影中运用传感器进行动作捕捉的,是1990年上映的《全面回忆》。而《魔戒》作为动作捕捉技术进入广大观众视线的划时代作品,虽说已经距离全面回忆过去了十年,但是设备和技术仍然还在基础阶段。
为了完成魔戒中咕噜的戏份,安迪要穿着布满光学反射点的动作捕捉服,分别在实景和空房间里演上两遍。
而特效制作人员在收到安迪的表演数据后,要根据他的动作、声线和面部特征来制作咕噜,然后再把咕噜安放到实景镜头中,替代安迪。

安迪以一人之力,开拓了表演艺术和电影技法的一片新天地。这项技术的不断进步,很大程度上也要归功于安迪的探索和表演。
在他之前,动作捕捉只是个纯技术工种,而他通过咕噜、金刚、凯撒等一系列传神的角色演绎,将其变成了一种独特的艺术,实现了技术与传统表演完美结合。

他才是真正的表情帝。

虽然卡梅隆大神早就认定虚拟表演也是反映了演员的真实演技的,然而奥斯卡一直还不承认,连咕噜、凯撒角逐奥斯卡最佳男演的资格都不给。我想安迪的内心是崩溃的,哼,我就站在你眼前,你却不识我的颜

在《星球大战7:原力觉醒》中,安迪·瑟金斯又通过表演捕捉扮演了至尊领袖斯诺克。
身形巨大身体脆弱。我很贱的剧透一下,其实在房间里看到的只是个全息投影而已。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第26张

前不久,迪士尼(卢卡斯已经被迪士尼收购了)发布了安迪在星战7的工作照。他坐在一堆仪器之中,身上布满了映射点。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第27张

这次负责星球7面部表情捕捉的公司是FACESHIFT,他们研发的技术,可以用模型库中的3D头像精确复制人脸的表情,即使是最轻微的肌肉抽动,从而完成十分精准的动作捕捉。

这家公司已经在2015年被苹果收购了。

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第28张

星战7在国内已经上映一周了,里面有大量通过动作捕捉技术表现的戏份,大家对最终呈现的效果满意嘛?

《星球大战》里的高科技  我就站在你眼前,你却不识我的颜  第29张

虽然已经啰嗦了这么多,但要把动作捕捉说清楚,感觉还是远远不够。等我去读个博士回来,把论文PO给大家看啊。

而一部鸿篇巨制的电影涉及的高科技当然远远还不止动作捕捉这一项,每部CG电影都是凝结了很多程序猿IT狗汗水的智慧结晶,技术做到极致就是艺术。

_________________________________

ps:

如果还没看过星战1-6,这里小小的科普一下。作为《星球大战》系列第七部电影,故事背景是设定在《星球大战6:绝地归来》的30年后。

星球大战系列的真人电影名称和上映时间如下:
前传三部曲:1999年《星球大战1:幽灵的威胁》、2002年《星球大战2:克隆人的进攻》、2005年《星球大战3:西斯的复仇》
正传三部曲:1977年《星球大战4:新希望》、1980年《星球大战5:帝国反击战》、1983年《星球大战6:绝地归来》
后传三部曲:2015年《星球大战7:原力觉醒》、2017年(名称待定)、2019年(名称待定)

把1-6部看完大概需要12小时。

如果你没耐心看12小时,可以花5分钟看一下下面这个故事大纲。

如果你连5分钟大纲也不想看,花2秒钟看看小报的2句剧情梗概:
“父亲打坏人,然后父亲变坏了,儿子打父亲。
我爱的人不爱我,天下有情人终成兄妹。”
只能帮你到这了啊。

再ps:

工业光魔40周年纪念视频中的电影名单(不一定完整也不保证正确)

星球大战、外星人ET、霍克船长、深渊、夺宝奇兵、回到未来、碟中谍、哈利波特6、星际旅行黑暗无界、哈利波特、终结者2、人工智能、加勒比海盗、金刚、勇敢者游戏、龙卷风、泰坦尼克、阿凡达、独行侠、雷蒙·斯尼奇的不幸历险、谁陷害了兔子罗杰、变相怪杰、黑衣人、全面回忆、少数派报告、阿甘正传、加勒比海盗3、龙骑士、 沉睡魔咒、黄金罗盘、纳尼亚传奇、哈利波特、世界大战、星球大战、珍珠港、变形金刚、木乃伊、气功传奇、忍者神龟、加勒比海盗3、环太平洋、诺亚方舟、外兰戈、复仇者联盟、特种部队2、侏罗纪公园、哥斯拉、复仇者联盟2、战舰、变形金刚2、极速赛车手、云图、钢铁侠、星球大战前传、终结者2018、战舰、钢铁侠、星球大战原力觉醒、复仇者联盟2、变形金刚4、复仇者联盟、星际旅行、特种部队、侏罗纪公园、超体。

The End