XR虚拟拍摄中的动捕应用

XR虚拟拍摄中的动捕应用

随着元宇宙概念兴起，各种虚拟人物IP、虚拟演唱会、虚拟发布会等等不断涌现。而需求的不断加码，使基于XR扩展现实技术构建的XR影棚也陆续增加。在我国，一些创新领先型企业也都已经纷纷下场，随之而来的还有创新的XR虚拟影棚。

一般XR虚拟影棚主要由LED幕墙、摄像机追踪系统、媒体服务器以及实时渲染系统构成。但有一个“老技术”，在一些制作中往往是必不可少的——动作捕捉。

动作捕捉(Motion Capture)是指利用外部设备对人体结构的运动进行数据记录和姿态还原的技术。动作捕捉系统通常由硬件和软件两部分构成。

硬件包含刚体标记点、采集设备、传输设备及数据处理设备等；软件包含系统设置、空间标定、运动捕捉、数据处理以及3D模型映射模型等功能模块。

广义上讲，动作捕捉的对象，除了人和物体，也可以是其他生物，或者个体的局部信息。例如现在大家所常见的《阿丽塔》《复仇者联盟》中所用的捕捉技术，这种利用演员的肌体表演数据“运算”出虚拟角色的技术，也被称为表演捕捉（Performance Capture）。

说到动捕，一般早期接触动捕的从业者首先想到的都是魔神(Motion Analysis)或者威康（Vicon）。或许这两个名字会显得比较陌生，但是前者提供技术支持的电影《金刚》《指环王》与后者参与的《泰坦尼克号》与《阿凡达》想必大家都耳熟能详，动作捕捉技术早在八九十年代就已经开始活跃在电影行业。

而动作捕捉的发源，最早可以追溯到1914年，动画师Max Fleischer发明的转描技术（Rotoscoping），它的代表作就是我们熟知的迪士尼在1937年推出的《白雪公主与七个小矮人》。

现有的主流动捕技术主要包含两大类，惯性捕捉和光学捕捉。

惯性动捕

惯性动捕需要将传感器置于关节处，然后将位置和方向信息反馈至中央处理器以记录对象的运动行为。为了准确传送对象信息，传感器需要采用线缆或以无线方式将相关信息传送至中央处理器。对于前者，布线工程比不可少；对于后者，设备通常需要自身携带电源，如电池组。

惯性动捕的优点在于，各个传感器处的三维位置和方向信息可实时地记录并显示。

光学动捕

光学动作捕捉包括主动光学捕捉和被动光学捕捉。

被动光学动捕特征：动捕服上带有可以反光的小球，通过反射摄像机发出的光线，来记录运动数据。

主动光学动捕特征：动捕服上带有能发光的小球，光线发射到摄像机中，以此记录运动数据。

被动光学式的技术相较成熟，一般情况下，被动光学式的实用性更强，应用范围更广，综合性能（动作精度、适用性、可拓展性、便捷性）更好些。

2000年的动画《辛巴历险记：迷雾之外》是第一部完全使用动捕技术拍摄的电影，后来大获成功的《指环王》三部曲实现了全动捕化。如今的好莱坞电影已经是动捕技术的天下了。

2019年，CG与真人结合的电影《阿丽塔：战斗天使》诞生。拍摄过程中，技术人员在演员面部标记了重要活动肌肉，而演员头戴的高清摄像机捕捉的面部动态图像能够被一帧一帧实时转换成面部捕捉数据，用来驱动虚拟人物的动态与神情，重建了虚拟人物“阿丽塔”的面部肌肉系统。

《阿丽塔》中大量使用面部捕捉技术，几乎省略了以往后期制作中有关面部表情的所有制作修补，也正是因为该电影技术的大幅提升，动作捕捉（Motion Capture）与面部捕捉（Facial Capture）相结合的虚拟人物拍摄方式逐渐进入了大众视野，并被统称为“表演捕捉（Performance Capture）”

而随着元宇宙概念的兴起，XR虚拟制作又将表演捕捉融合实时技术，走进了虚拟世界。

无论是游戏人物，还是虚拟IP，或者虚实共存的实时场景，表演捕捉技术都将充当必不可少的角色。

表演捕捉技术在影视制作行业早已经“成年”，未来，如何与XR、实时技术等共同创新，将是行业内的新的课题。