来，聊他一块五的面部动捕

第一篇聊面部动捕只是讲了一下几种面部追踪点的画点方式，这次京一多了解了一下各家硬件软件的特点，总结一下以供各位参考。

• Xsens Cara
• Dynamixyz
• Faceware

本人从事工作主要是三维扫描、人物数字资产制作，动捕这块跟着各种项目只是略有接触，个人也在学习之中，如有错误敬请斧正，欢迎交流。

HMC（Head Mounted Camera 头部摄像机）硬件方面

Cara采用4台720p 60fps摄像头，因此得到的数据是有一定深度信息的。据说Cara的头盔是几种里最不舒适的，听几家客户吐槽过，不过本人没有亲自戴过，不好说。有的客户吐槽过录完发现有一个摄像头中途关了，于是四眼儿少一个。耸耸肩，也许红人是非多，大家都爱黑他。

Dynamixyz有两种，一种是带摄像头的，30, 60, 120fps，实时的话最高60fps。

另一种是卡GoPro上去的。

D记的HMC看上去很轻便舒适，但是不够牢靠。这可能和他家的软件不用HMC放桌上录视频也可以用有关系，可以通过计算抵消掉摄像头的相对运动。D记曾经有双摄像头选择，现在不提供了，估计是觉得深度信息用处并不大吧。

Faceware也有摄像头和GoPro两种HMC

自带摄像头是720p 60fps，整体架构看上去比D记稳当很多，虽然Faceware也有相似的抵消摄像头相对运动的功能。

跟踪和解算软件方面

Cara分CaraLive和CaraPost，CaraLive是捕捉采集数据用，Post是后期处理。

CaraPost中可以自动识别标记球和追踪点，直接生成追踪点的3D数据。跟踪时可以选择银色（粘标记球）或黑色，标记点的大小范围在软件中都可以自定义。

软件看起来很自动化，也可以输出3D点动画FBX进Maya，但是把点的动作加到你的绑定上就靠自己了。这一点从使用上来说，客气一点讲不如Dynamixyz和Faceware好，实话说这一步的缺失就让很多使用者望而却步了，后面我们会详细说D和F是怎么做的。

Dynamixyz和Faceware在跟踪和解算上十分相似，D记的软件叫Performer Single-View，Single-View的意思是单视角，也就是单摄像头，F记的软件叫做Analyzer。

主要有两个区别：

1. D记还有一款软件叫Multi-View，也就是双视角的解算，类似Cara的原理通过多视角能输出一定深度信息，没有四摄像头准确而已。他们之前还生产双摄像头的HMC，现在双视角的话他们配合CaraLite使用，Cara的阉割版，有两个摄像头。
2. 两家本质上都是marker-less tracking，无追踪点捕捉，都可以通过画点增加追踪点。但是D记自定义额外跟踪点，有没有上限不清楚但是可以加很多。F记看教学视频只能增加脸颊上的，一遍四个，一共八个，可能可以通过自定义模板加别的，但是我暂时没有看到。

校准过程两个软件很相似，通过ROM（Range of Motion），就是一系列标准的面部表情，选出几帧手动调精确，运行校准程序软件会自动跟踪其他帧，再通过选择部分帧手动校准，之后再次运行自动校准。也就是说手动校准出来的参考帧越多，自动跟踪的效果越好，属于软件“学习”的过程。

上一章我们讲过，无追踪点捕捉跟踪由于原理限制（OpticFlow），只能跟踪有限的几个面部特征——眉毛，眼睛，鼻尖，嘴。其他动作都靠这几个的移动去带动，显然这样是非常影响效果的，法令纹和脸颊部分会显得非常死，于是这里通常用画点来解决。

Dynamixyz的界面：

D记的说明书上说跟踪点功能还在测试阶段，而且这个功能是Session based，我理解的意思是每一条视频需要重新校准一遍这几个点，不过可以套模板，但还是要手工对一下。

Faceware的界面：

F记能跟踪的点，真的是不太多，但我觉得可以手动script出来一些模板自己加进去。

最后也是最重要的，就是如何把跟踪数据套到绑定上面。

很多人，包括我看教程前，对于这点通常有一个误区，以为脸上的跟踪点要和绑定中的控制点吻合，其实是不用的。

还有一点，把动捕数据套在模型上，不用把动捕演员绑定做出来。

把动捕演员绑定出来有两种情况：

1. 演员本身其他镜头需要数字替身，例如绿哥。
2. 演员脸上细节很多，需要用少数点来带动整张脸做出更多细节，再用更多细节结合点去带动最终的数字角色，例如《猩球崛起》和《魔兽世界》，绿哥一定程度上也算这类。

D记和F记在驱动数字角色这方面有些相似，都是通过ROM几个锚点设置好特定表情的对应，之后软件通过学习这些表情自动关联动捕下来的表情和控制点手动调出来的表情。

Dynamixyz把这个功能集成在了Performer SV里面，也类似最开始设置跟踪的原理一样，手动设置“锚点”，软件学习，校准，再重新学习，以达到最好的效果。

而Faceware单独开发了Retargeter来做这项工作，个人认为Faceware这个工具做得比D记好很多。

总结，Cara生成的3D跟踪点很强大，但是动捕数据关联到绑定本身衔接不如Dynamixyz和Faceware。Dynamixyz的硬件软件都很不错，Xsens的Project Siren用的就是D记的设备（跟踪软件应该也是），而没有用Xsens自己的Cara，由此可见一斑，我认为Xsens自身调整方向更注重全身动捕和VR方面的应用，面部捕捉逐渐放弃了。Faceware整体比较易用，Retargeter做得很好，二次开发起来更适合，例如EA和Activision都有Faceware为基础的面部动捕流程，同时自己开发了大量工具更快地获得更好的效果。

下一步看情况，京一也许会上手把自己那张丑脸捕一段，不敢保证什么时候能放出来。

一些有用的资源：

CaraPost：https://www.youtube.com/playlist?list=PLxtdgDam3USXT-HxiSHjENQ699BejuXV1

Performer SV：https://www.youtube.com/playlist?list=PLCJCE87-qdi-yqlTXF9twuA8P1QJ_CICO

Analyzer：https://www.youtube.com/playlist?list=PLPa47iSnj6x4B_H31iGU2HNTVGEfsD6Hw

Retargeter：https://www.youtube.com/watch?v=_VrxWvIb0Rc&list=PLPa47iSnj6x6WGjjuJxRXwbN2kLfWSTS1