动捕设备平民化,创作者怎么选?
图片来源@视觉中国
文|元宇宙日爆,作者|凯尔,编辑|文刀
《阿凡达2:水之道》正在热映,导演詹姆斯·卡梅隆再度带来特效盛宴,尤其是水下动作捕捉技术的运用,让影片中角色呈现得惟妙惟肖。
好莱坞大片采用动捕技术早不是新鲜事。2009年,《阿凡达》的成功便引领了一波动捕浪潮,不仅让这个技术在影视行业担起重任,后来也延伸到游戏、运动追踪等领域,到今年,虚拟数字人开始靠动捕完成实时动态。
本质上,动捕就是通过捕捉目标的全身动作或面部表情,重建一个高度拟人化的虚拟角色,相当于创造了一个数字化的虚拟分身。随着元宇宙浪潮展开的对技术应用的探索,动捕设备向“平民化”发展,出现了一些消费级产品。
市面上,主流的动捕品牌和设备包括OptiTrack、Vicon、NOKOV、Xsens MVN Animate以及Sony近期发布的便携式动捕产品"Mocopi"等。相较十年前动捕设备动辄上百万级的成本,当下的动捕产品开始因需求的出现朝着采集更精确、成本更低廉、使用更便捷的方向发展,“万元级”甚至“千元级”的产品已经出现,为创作者提供了高效的制作工具。
当前,主流的动捕技术主要有“光学式动作捕捉”和“基于惯性的动作捕捉”两种,相应地产生了各种设备。当创作工具摆在货架上,不同类型的创作者们如何选择?
元宇宙增加动捕技术应用场景
很多人对动作捕捉(Motioncapture)技术不太了解,但它的应用其实你已经多次见过,尤其是在电影里。
好莱坞大片曾诞生过许多“似人非人”的经典形象,比如漫威系列《复仇者联盟》中的灭霸,《变形金刚》中的擎天柱、大黄蜂等汽车人,以及当前正在热映的《阿凡达》续集中的纳威人。这些不是一般“人”的角色用生动的面部表情和自然的动作表现,在银幕上传达着他们的情感和个性。以往,前期拍摄要给演员做长时间的妆造,后期再靠CG动画逐帧制作,处理不好就会产生顿涩感和机械感,说白点就是“假”,动捕技术就是后来为解决这些问题而被引入到电影的制作中。
从2000年开始,动捕技术在电影中的应用进入井喷式发展期。2001年,《指环王》中痴迷魔戒的咕噜一角就是动捕技术创造的经典。2004年上映的动画电影《极地特快》完全使用动作捕捉制作,首次实现了身体动作和面部表情同时捕捉的目标。2009年,《阿凡达》的成功将动捕浪潮推向高点,该片凭借将3D虚拟摄影与动作捕捉技术结合,再利用CG特效,几乎完全在棚内创造出了潘朵拉星球上的一切,成为影史上的里程碑。
动捕技术不仅给影视行业带来了饱含科技感的呈现形式,也在游戏、体育、教育等行业有诸多妙用。近些随着3A游戏逐渐增多,对应的次世代美术制作工艺也在进化,动捕已经成为了必不可少的技术,比如在游戏《绝地求生》中,利用动捕技术后,游戏中的虚拟形象高度逼真,行走、奔跑和射击动作与真人无异。在体育训练中,训练师可以通过动捕设备捕捉运动员的技术动作,并加以分析,进而更高效、直观地指导和纠正运动员的动作施放。
元宇宙浪潮来袭后,动捕的应用场景又进一步拓宽。近年来,大量的虚拟主播、虚拟偶像、虚拟客服在直播电商、娱乐节目、服务平台中应用,想要让这些虚拟人“活得即时”,动捕技术就成了一种解决方案,使用场景需求的增加直接推动着动捕技术和设备加速进化。
动捕的技术逻辑并不难理解。简单来说,动捕设备就是能捕捉人类全身动作甚至面部表情的一套系统,通过数学计算处理,还原或重建一个三维模型的虚拟角色,可以是人,也可以是拟人化的物,这个角色能随着人的动作、表情的变化而变化。
目前,主流的动捕技术主要有两种,分别是光学式动作捕捉(简称“光学动捕”)和惯性传感器动作捕捉(简称“惯性动捕”)。
光学动捕依靠一整套精密而复杂的光学摄像头来实现,通过计算机视觉原理,由多个高速摄像机从不同角度对目标特征点进行跟踪,完成全身动作数据的捕捉和收集,以便给角色模型提供构建参数实现目标效果。一般来说,采用的摄像机越多,动捕的效果越好。
绝大多数美国大片都采用了光学动捕,尤其在《战争机器》、《狙击精英》、《古墓丽影》这种需要重点描绘主角肢体动作的作品中,光学动捕起到了至关重要的作用。不过,光学动捕由于需要搭建专业的动捕棚以及许多专业级的摄像头来实现,使得其成本动辄高达百万元以上,成为向消费市场普及的一大障碍。
惯性动捕则是通过传感器来捕捉动作。一般将加速度计、陀螺仪和磁力计等惯性传感器设备安装在目标的全身各处,通过数据传输、数据处理后建成三维模型。虽然惯性动捕后于光学动捕出现,但其成本更低廉、操作更便捷,开始应用在动画制作、步态分析、生物力学、人机工程、虚拟主播等领域。
动捕设备走向“平民化”
经过20多年的高速发展,无论是光学动捕还是惯性动捕,都在朝着采集更精确、成本更低廉、使用更便捷的方向发展。技术的不断演变恰赶上元宇宙潮流,动捕不再只是好莱坞电影、3A游戏制作商们的“专利”,随着设备越来越“平民化”,普通人也可以轻易地创建虚拟分身,并进行衍生创作。
在光学动捕领域,OptiTrack是不得不提的名字,作为全球最大的动作捕捉提供商,一直向需求市场输出高性能的光学追踪设备。据不完全统计,全球69%的影片使用了OptiTrack光学动捕系统,包括漫威电影《复仇者联盟4:终局之战》、《蜘蛛侠:英雄归来》,《奇异博士》、《雷神3:诸神黄昏》等。2017年,利亚德集团完成了对OptiTrack的收购,在保留北美开发团队的基础上,大力拓展中国市场,其在国内建立了生产基地,部分镜头也在国内量产,提升了该品牌在中国市场的占有率。
OptiTrack旗下有多种动捕产品。最新的CinePuck 发布于今年8月,这是一个专为虚拟制作、混合现实和广播工作室打造的动作跟踪工具 。
从外观上来看,CinePuck的造型较为小巧,采用主动跟踪技术开发,可为实时工作流程和机内视觉效果提供较高的跟踪精度和准确度,即使在有明显遮挡的生产环境中也不会受到太多影响。CinePuck可以通过多个安装点连接到任何摄像装备上,以保持跟踪稳定性。如果配套使用OptiTrack旗下的相机,还可以使用该品牌旗下Motive 软件处理的光学数据,为实时制作提供高质量、强流畅的跟踪效果。
CinePuck 现已上市,官方建议零售价为 2999 美元,约合人民币20910元。按照OptiTrack 品牌经理 Neil Abrew的公开说法,利用CinePuck ,客户可以在30x30 英尺的空间内实现全体积跟踪,总成本约为3万美元(约合21万元)。
除了CinePuck 之外,OptiTrack旗下还有Primex 41、Primex 22、Primex 13等多款光学动捕摄像头,售价从2499美元至6499美元不等。与此同时,OptiTrack提供了与摄像头适配的一系列光学动捕软件。
Vicon在光学动捕领域同样大名鼎鼎。它由英国著名的光学动捕系统供应商Oxford Metrics Limited开发,专门为动画制作量身定做,是世界上第一个设计用于动画制作的光学动捕系统。Vicon已在《角斗士》、《星球大战》等的经典影片中发挥了重要作用,创造了很多经典的动画镜头。
今年7月,Vicon推出了新一代旗舰级系列摄像机Valkyrie,该系列共四款型号,旗舰机型VK26是虚拟制片和视觉特效等高要求应用场景的理想选择,因为它拥有2600万像素和全画幅150FPS的高刷新率性能指标,能够覆盖极大的场地空间面积。除此之外,Valkyrie系列还包括VK16、VK8、VKX等多款更低级别的摄像机。由于面向专业级,Valkyrie系列摄像机的售价较高,业内预计一套动捕系统要在50万元以上。
在国内,北京度量科技有限公司旗下的NOKOV有较高知名度,主要应用于机器人、无人机等智能体室内定位与协同控制,机械臂、仿生机器人、人体步态动作捕捉,虚拟仿真、大空间VR、虚拟现实、影视特效制作等多种不同场景。NOKOV光学三维动作捕捉系统主要由三维动作捕捉镜头、连接器、光学标定系统、反光标识球、镜头连接线、镜头固定装置套件和软件组成。
NOKOV动捕系统工作时需要多个Mars系列动作捕捉镜头进行动作采集,Mars12H产品的镜头分辨率为1200万像素,频率300赫兹。官网并未公布该套系统的售价,但其强调NOKOV的价格比其他任何光学动作捕捉系统都更具竞争力。
成立于2015年,总部位于中国上海的青瞳视觉也是国内光学动捕领域的知名厂商。今年9月青瞳视觉携光学动捕系统“普罗米修斯”,亮相2022世界人工智能大会,特点是支持双人动作捕捉。在世界人工智能大会的现场,青瞳视觉搭建了12台X1动捕相机,在5m*5m的空间范围内,能够精确有效地捕捉双人动捕演员的动作。
“普罗米修斯”的主要卖点是“万元级”的低廉价格定位,官网显示,由8台X1动捕相机、8个支架、1个校准杆等套件组成的光学动捕系统售价29999元。相机越多、套件越多的系统售价则相应提高。
在惯性动捕领域,Xsens MVN Animate动作捕捉系统声名远播,它面向专业级市场,专为游戏、电影、动画和现场娱乐的使用而优化。在制作中使用Xsens的知名游戏及电影有《曼达洛人》、《命运2》、《X战警:黑凤凰》、《地狱之刃》和《黑豹》等。
Xsens MVN Animate有17只无线跟踪传感器,相比于光学动捕大多只能在室内使用,该系统可在户外所有条件下传送好莱坞级惯性动捕数据,同时支持多人动作捕捉,可与Manus VR手套以及主要3D软件包无缝协作。此外,这款系统宣称在所有场景中抵抗磁性干扰,即使在具挑战性的磁干扰环境中,也能提供高质量的动捕数据。
国内市场中较知名的惯性动捕厂商有诺亦腾,推出了入门级动捕Perception Neuron 3及Pro版。该公司从2012年成立起便开始从事惯性动作捕捉技术与产品的研发。为了降低大众使用动捕技术的门槛,入门级产品包含全身17个节点的惯性无线传感器,通过穿戴绑带或者选配的动捕压缩服的形式固定在使用者全身。
在产品设计方面,Perception Neuron 3传感器追求小巧,重量仅为4g左右,长度约27mm,宽度约16mm,长度和一枚一元钱硬币的直径差不多。动捕设备的小型化保证了制作流程的可移动性,可使使用者在更多的环境中进行动捕工作。这套惯性动捕系统官方售价为22800元,相比光学动捕系统动辄数十万、上百万的价格具有成本低廉的优势。
更为“亲民”的惯性动捕设备则是Sony最新发布的便携式动捕追踪器Mocopi,它由6个纽扣大小的跟踪传感器和专用的智能手机应用程序组成,售价为49500 日元(约2610元)。Mocopi注重便捷性,追踪传感器直径为 3.2 厘米,重量为 8g。它无需计算机即可工作,在室外也能使用。不过,由于传感器数量较少,Mocopi的动捕效果也可能略打折扣,对于Vtuber、虚拟主播来说,Mocopi或许能够满足他们的需求。
从市场主流的动捕产品来看,相比数年前动辄需要投入百万级成本的动捕设备,当下的动捕系统售价越来越便宜,科技含量也有所升级。可以明显感受到的趋势是,各个动捕厂商们都在开发“平民级”的动捕设备,尤其是便携性较强的惯性动捕系统,可以让普通创作者轻易地创建数字内容。
没准哪一天,有创意的UGC内容创作者也能制作出叫好又卖座的虚拟大片。