动作捕捉之面部动作捕捉的介绍

面部动作捕捉，有时也被称为「捕捉面部表情」。它是动作捕捉技术的一部分，是指使用机械设备、相机等设备记录人类面部表情和动作，并将其转换为一系列参数数据的过程。

面部表情比由关节点组成的更微妙、更复杂，因此对数据精度的要求更高。

CG 在预算允许的情况下，电影和大型游戏倾向于选择捕捉真人脸来完成角色的表演。通过捕捉真人面部动作产生的角色比人工动画角色表达更真实。

如何实现？

1、于机械传动

最早的面部动作捕捉主要依靠机械装置来跟踪和测量面部运动。

与人体动作捕捉设备类似，这些面部动作捕捉设备通常由多个关节和刚性连杆组成，配备角度传感器，固定在人的嘴、眼睛和其他位置。当运动发生时，角度传感器可以测量角度的变化，并根据连杆的长度计算空间中固定点的位置和运动轨迹。

机械式设备的优点是成本低、精度高，可以实时测量。缺点是使用起来不方便，对表演者的表情限制较大。

随着技术的发展，机械面部动作捕捉设备已退出历史舞台。

2、基于光学

目前几乎所有的面部动作捕捉设备都是基于光学的，从数据源(即光学信息获取设备)可以分为:

(1)基于二维数据

光学镜头是捕捉面部二维数据及其变化的基本设备。通过算法标记和处理捕获的数据，理解人的面部表情和动作，完成虚拟图像的合成。

除数码相机外，该设备还可以是计算机摄像头、手机前置摄像头等移动设备上的摄像头。其优点是成本低，易于获取，使用方便，缺点是捕获精度低于其他方法。

（2）基于三维数据

三维数据是通过光学镜头获取二维数据，同时通过一定的手段或设备获取图片的深度。

a、相机阵列法

阵列即以一定间距和规则摆放相机，为面部动作捕捉设计的相机阵列通常呈环形。演员需要居于中心点进行拍摄，目的是通过不同视角所获的不同人像，来获取人面部表情及运动的三维数据。

相机阵列的优点是精度高，效果好，缺点是拍摄难度大，设备成本高，演员不能同时移动和使用。

b、结构光方法

结构光是获取图像深度最常见的方法。红外镜头将配合光学镜头，有时还需要泛光灯、泛光传感器元件、点阵投影仪等辅助设备来获取人脸的深度信息。

点阵投影仪可以将肉眼看不见的光点投射到人脸上。不均匀的面部会改变点阵的形状。红外镜头可以读取点阵图案，然后通过算法与前置摄像头拍摄的人脸相结合，获取带有深度信息的面部信息。

在人脸拍摄条件下，可分为标记点和面部无标记点：

(1)有标记点

基于标记点的面部动作捕捉系统比较常见，标记点数量不确定，由配套设备和系统决定。最多可以达到面部标记的数量 350 需要与高分辨率相机等设备配合使用。

这些设备通常是头戴式的。这些设备可以与姿势捕捉系统一起使用，演员的表演过程是连贯的，不受影响。根据不同的拍摄场景和实现方式，有时由他人协助拍摄。

(2)无标记点

无标记点法通常依靠鼻孔、眼角、嘴唇、酒窝等标志性位置来确定面部表情和运动。这种方法是最早的 CMU、IBM、曼彻斯特大学和其他机构使用主观表现模型（AAM）、主成分分析（PCA）实现模型和技术。

无标记点面部动作捕捉系统还可以跟踪人的瞳孔、眼睑、牙齿咬合等细节，帮助完成动画合成。有时需要手动处理拍摄的图像，如面部勾线的极端表达。

需要注意的是，使用哪种设备通常取决于使用场景，是否有标记点与使用哪种设备没有必然联系。主要目的是虚拟图像合成。虽然这些设备可以交互，但没有主流的应用。

面部动作捕捉设备可根据不同场景进行：

非实时应用场景

电影、电视剧和游戏中的虚拟影、电视剧和游戏中的虚拟、渲染和合成来捕捉演员的面部动作，以获得更好的性能效果。阿丽塔：战斗天使是目前面部动作捕捉技术的前沿案例。

2.实时应用场景

实时应用通常具有显示性，虚拟偶像将使用相关设备在线或离线与用户实时互动。