动作捕捉凭什么成为虚拟制片的关键要素

Xsens动作捕捉 2023-05-08 4033

之前的虚拟制片系列文章分享中，介绍了虚拟制片技术、VP与传统VFX的差异，以及四种主要的VP类型，今天让我们进一步走进虚拟制片，探讨为什么动作捕捉能够成为VP流程中的关键要素。

动作捕捉技术

动作捕捉是虚拟制片的关键技术之一，它可以将生物或物体在现实世界中的真实运动转化为虚拟世界中的数字化运动，这一技术在可视化和实时制作中尤为重要，可以说动捕技术的应用使人和物体运动的实时可视化成为了可能。

除了人、动物和道具的实时运动捕捉，虚拟制片中的摄影机追踪也是通过动捕技术实现的。将动捕系统获得的实拍摄影机位置数据实时传输给虚拟摄影机，就可以实现虚拟摄影机和实拍摄影机运动的实时匹配，从而在拍摄现场完成镜头画面的实时渲染与合成。

动作捕捉的方法

从追踪方式的角度来看，动作捕捉可分为由外向内的跟踪（Outside-in）和由内向外的跟踪（Inside-out）两大类。

由内向外的跟踪是指通过在人或物体上放置传感器来跟踪人或物体的运动，动作捕捉是通过传感器“向外看”来调查环境并计算位置变化而实现的。不同的应用场景下有不同类型的传感器，最常用的由内向外的跟踪传感器包括摄像头、红外（IR）激光器和惯性测量单元（IMU）。

由外而内的跟踪是在指定的捕捉区域周围放置一定数量的传感器（通常是摄像头），并让传感器朝向“被捕捉”的空间以创建用于动作捕捉的舞台来跟踪演员或物体的跟踪方法。动捕摄影棚可以选择使用各种不同的传感器来实现捕捉，但是，多数动捕摄影棚都会选择使用精确度更高的光学动作捕捉相机。

大预算的虚拟制片项目几乎都是使用光学动捕系统来跟踪摄影机、道具和演员运动的。通过动捕相机通过采集粘贴在演员或物体上标记点的反射光线，经由动捕软件实时解算，获取标记点在3D空间中的位置数据，从而得到演员和物体在捕捉区域内的运动数据。

捕捉方式的优劣势

这两种类型的跟踪各有其优缺点，实际应用中，选择哪种捕捉方式取决于具体的项目需求。

对于大型制作项目，选择由外向内的跟踪才是明智的。因为它可以更加精准地确定捕捉对象在现实三维场景中的位置。而由内向外的跟踪在位置方面的精准程度较低，很难验证精确的世界位置。基于 IMU 的跟踪系统更是如此，因为它们受位置漂移的影响很严重。漂移是加速度计和陀螺仪测量中的小误差积累，这些误差会随着时间的推移而不断积累，导致软件对演员或物体的测量值不断“漂移”和远离他们在物理世界的真实对应物的位置。

特别是对于ICVFX来说，误差更是难以容忍的，因为只有对踪摄像机进行更稳定、更精准的跟踪，才能在实际拍摄中保持始终一致的准确视差（视差：从有一定距离的两个点上观察同一个目标所产生的方向差异）。

当然，由外向内的跟踪也会存在动捕标记点被遮挡等问题。但通常来说，标记点在单个摄像机中被遮挡并不是问题，因为动捕系统是由许多不同位置的动捕相机共同组成的，其他角度的动捕相机可能可以采集到这个标记点。只有当少于三台动捕相机捕捉到标记点时，遮挡才会可能成为影响数据质量的问题。因为动捕系统在工作中通常需要三台动捕相机同时对标记点进行三角测量，才能在3D空间中准确地创建该点。

硬件解决方案

为进一步减小甚至消除遮挡问题对捕捉质量的影响，动作捕捉企业已经探索出了一些解决办法。

硬件方面，动捕标记点已经被尝试开发为非球面形状，并放置在稍微远离被跟踪演员/物体的位置，这种方法可以使动捕系统在更大程度上捕捉标记点，从而显著减少遮挡。此外，主动发光标记点也是提高对象可见性的有效方法。被动发光标记点是表面具有反光带或反光涂料的标记点，主动发光标记点是内置LED的标记点。通常来说，主动发光标记点在动捕相机内的亮度更高，因而更容易被动捕相机识别到。

最后，不断提高的动捕相机硬件精度和分辨率也大大增加了相机对标记点的有效识别距离。Vicon最新的Valkyrie系列动捕相机拥有高达2600万像素的分辨率和每秒2000帧的高速捕捉模式。

软件解决方案

动捕软件的发展也是克服标记点被遮挡问题的有效方法。比如Vicon的Shogun软件在刚体跟踪模式下，就可以快速自动识别已创建的跟踪对象，并能够在多个标记点被完全遮挡的情况下进行跟踪。这一功能在技术上是通过将多个标记点虚拟连接在一起以形成刚性对象来实现的。如果该对象上的标记（一个或多个）被遮挡，软件将根据剩余标记点自动计算它们的位置。