Animoji表情背后 是动作捕捉的前世今生

Xsens动作捕捉 2022-10-04 11871

Animoji表情背后 是动作捕捉的前世今生  第1张

  几年前,苹果公司进行了一波让人看不懂的非常规操作,它疯狂收购了一堆公司,类别包括3-D传感器制造商、图像识别公司、AR公司和动作捕捉技术公司。


  那个时候,人们并不能理解苹果的意图,直到今年9月的苹果发布会上, iPhone X 给了我们答案。苹果坚信 iPhone X 代表了移动设备技术的未来,这款跨时代的机型有别于它的前辈的最重要的新功能,是Face ID和Animoji及其背后的人脸追踪技术。

Animoji表情背后 是动作捕捉的前世今生  第2张


  在动画和电影领域,动作捕捉技术从1990年开始已经走过了27个春秋,也完成了一次又一次的技术革新。可能明天就有人拿到了第一批iPhone X,开始在社交网络里分享属于自己的Animoji。但在享用这些有趣的功能丰富你的生活之前,不妨了解一下动作捕捉技术的前世今生。


动作捕捉是什么


  在细说动作捕捉历史前,我们首先得知道什么是动作捕捉。动作捕捉技术简单来讲就是把人或者动物的动作通过动捕系统以数据的形式保存下来,涉及到尺寸测量,物理空间内的物体定位,方向测定等方面,然后用计算机处理这些数据,使虚拟角色的动作和真人毫无差别,以达到逼真、自然的效果。

Animoji表情背后 是动作捕捉的前世今生  第3张

演员的运动数据被捕捉到电脑中的虚拟角色里,使虚拟角色像真人演员一样做动作


动作捕捉的前世


  动作捕捉离不开计算机动画(CG)。而早在CG技术出现之前,早期电影(包括动画片)中就已经出现许多非真人扮演的角色了。它们有的运用了定格动画技术——动画师将木偶、黏土偶角色每帧都摆一个动作,然后逐帧拍摄,就形成了连续的活动影像。但由于这种技术要求动画师在每一帧都要摆放角色造型,因此非常费时费力。

Animoji表情背后 是动作捕捉的前世今生  第4张

《金刚》(1933)中特效大师威利斯·奥布莱恩用定格动画制作了著名的金刚大战暴龙的镜头 


  到了80年代,机械、无线电技术的发展催生出新的动态木偶形式——机械模型。这种技术的代表作便是《终结者》(1984),拍摄时特效师使用了全尺寸的机器人模型,通过遥控、机械操作等方式使其运动起来。但这种技术的缺点是角色的动作不是特别流畅,设计制作难度大,操控复杂。

Animoji表情背后 是动作捕捉的前世今生  第5张

斯坦·温斯顿在《终结者》(1984)中制作终结者模型


  后来的动作捕捉技术克服了这些技术的缺陷,但其实在应用于电影前,动作捕捉技术是诞生于生物动力学研究机构的,研究员们通过一些穿戴式机械传感器获取人体关节的运动数据。机械式动作捕捉设备比较笨拙,对演员的动作限制较大,未被电影界广泛采用。


动作捕捉银幕首秀:《全面回忆》(1990)


  1990年的《全面回忆》是首次使用动作捕捉技术的电影,虽然使用该技术的镜头仅有几秒钟,那时的动作捕捉设备还是有线的,但这部电影的一小段,是动作捕捉的一大步。

Animoji表情背后 是动作捕捉的前世今生  第6张片中使用该技术的镜头仅有几秒钟,即施瓦辛格饰演的男主角经过X射线时的镜头


动作捕捉创建CG群众演员:《泰坦尼克号》(1997)

  

  1996年,詹姆斯·卡梅隆制作《泰坦尼克号》时,借助动作捕捉技术建立了CG人物动作库,并由此生成了各种形态,各种身份的CG人物。观众们不会想到,他们看到的沉船场景中大多数乘客都是CG的。相比找上千名群众演员,这种方式要省时省力得多。

Animoji表情背后 是动作捕捉的前世今生  第7张

《泰坦尼克号》(1997)里,水里的大多数乘客是CG特效制作的,也是“数字替身”技术运用的典范


动作捕捉分水岭:《指环王》(2001) 

  

  2001年《指环王》的上映让普罗大众首次意识到动作捕捉这项技术的神奇。经典的动作捕捉角色咕噜让《指环王》成为动作捕捉技术发展的分水岭。时至今日,动作捕捉技术飞速发展,但是回头看10多年前的咕噜,不论从技术还是表演看都还是令人称奇。实际上当年的动作捕捉技术还只能处理头、四肢这些大的身体部位,对于咕噜的面部表情,特效师不得不对照着安迪·瑟金斯的表演去手工制作。

Animoji表情背后 是动作捕捉的前世今生  第8张

▲演员安迪·瑟金斯和咕噜对比图


户外捕捉初尝试:《加勒比海盗2》(2006)


  一直以来动作捕捉都得在专门的摄影棚中进行,对设备、电缆、计算机的需求量都很大。在《加勒比海盗2》中有著名的章鱼船长戴维·琼斯和众多的水鬼角色,如果使用手工动画,工作量实在让动画师难以承受。特效公司不得不开发了一套新的捕捉系统,使其能够适应户外的光线,也简化了流程。不过这套系统仍无法解决面部表情的捕捉,数据在后期处理阶段需要大量的人工介入。

Animoji表情背后 是动作捕捉的前世今生  第9张

演员们在船上就可以做动作捕捉表演,不仅舒适也加快了拍摄进度


最接近真人的CG角色:《返老还童》(2008)


  由于之前的技术还不能实现完美的CG角色,人们一度对动作捕捉失去了足够的信心,直到2008年《返老还童》的出现,彻底改变了人们对动作捕捉的认识。

  《返老还童》的导演大卫·芬奇坚持认为由多名演员扮演不同时期的本杰明看上去会很不连续,观众可能“出戏”。因此他决定借助CG特效技术,数字王国(Digital Domain)由此创造了影史上最接近真实的CG角色——准确来说是一个CG头部,这一制作水平至今还没有其他影片能够超越。

  数字王国选择了一套截然不同的制作流程,这套流程首先要用一个叫做Mova Contour的捕捉系统扫描布拉德·皮特的头部,扫描同时让他做各种各样的表情,于是我们不但获得了皮特头部的高精度模型,还建立起了一套皮特专属的微表情库。

  《返老还童》中采用了无标记面部捕捉,借助脸部的特征逐帧扫描跟走,还可以分析瞳孔的运动、眼睑、被嘴唇遮挡的牙齿等。这种数据采集是不需要在脸上贴标记点的,只需涂一些荧光粉,因此面部的数据精度从上百个点增长到了数十万个点,由此大幅度提升了面部细节的准确度,也避免了传统动捕中遇到的盲点。种无标记点的面部扫描技术在此后被广泛用于角色建模。

Animoji表情背后 是动作捕捉的前世今生  第10张

在面部涂抹荧光粉,无需贴标记点

  

Animoji表情背后 是动作捕捉的前世今生  第11张

替身演员戴着用于跟踪位置的头套


表演捕捉:《阿凡达》(2009)


  2009年,《阿凡达》横空出世。它在电影技术史上占据了不可替代的地位,也是动作捕捉技术走向成熟的标志。《阿凡达》对于动作捕捉技术最大的贡献在于,借助头戴式摄像头以及改进的软件算法,完美解决了演员面部表情高精度采集的问题。

Animoji表情背后 是动作捕捉的前世今生  第12张

嘴前的头戴式摄像头现已成为动作捕捉的标配,脸上的绿色捕捉点方便识别


  基于《阿凡达》在跨越“恐怖谷”效应上的卓越表现,卡梅隆提出了“表演捕捉(Performance Capture)”的概念。


最难挑战:《创:战纪》(2010)


  制作外星人相对来说还算容易,难的是像《返老还童》那样制作真人,而《创:战纪》为特效人员提出了一个有史以来最困难的挑战:他们要制作一个曾经真实存在的、大家熟知的年轻版杰夫·布里吉斯,这样的制作稍微出一点偏差,观众都会马上察觉并挑出毛病。

  数字王国(Digital Domain)选择改进《阿凡达》中的头戴式系统,以此来捕捉杰夫·布里吉斯的表情,使用的头戴式面部捕捉系统有4台高清摄像头。同时像《返老还童》一样让替身演员在现场表演,再把CG制作的年轻版布里吉斯头部合成上去。

  从事特效的人都知道《创:战纪》在动作捕捉史上甚至是整个电影史上的地位,它向人们证明了用数字技术再现一个历史上真实存在的人是完全能够做到的,CG技术的进步使得虚拟角色已经达到了真假难辨的程度。至此,人们对动作捕捉的认识又上升了一个层面。

Animoji表情背后 是动作捕捉的前世今生  第13张

4台高清摄像头捕捉杰夫·布里吉斯的面部表情


  此后数字王国仍保持着世界顶尖的真人CG制作水平,基于此,开发无限趋近于真实的“虚拟人”也成为了数字王国业务的重要部分。


动作捕捉的未来


  大部分技术的发明者不会想到,自己的作品随着时代的变革能散发出怎样的光芒。我们正在经历一个前所未有的时代,技术的发展进入了爆发期,动作捕捉亦是如此。回头看Animoji的面部捕捉水平,放在电影特效技术的发展历程中还是几十年前的精度,但随着未来的动作捕捉变得更强大、更高效,电影级的动作捕捉走进手机,走进千家万户,看起来不是难事。


  从动作捕捉技术的发展史看,数字王国有充分的理由做这个伟大变革的推进者。


*部分资料来源:时光网

Animoji表情背后 是动作捕捉的前世今生  第14张

The End