博士领队创建的面部捕捉技术能有多强？

目前动作捕捉多数都是以面部带标记的方式进行的。不过随着某些电影拍摄条件的限制，以及技术的进步，无面部标记的动捕也在应用和开发使用中。比如去年我们解析的《爱尔兰人》当中就用到了无面部标记的捕捉方式。之前我们也曾介绍过几款手机面部捕捉App，不过还达不到影视级的要求。不过最近著名的动捕公司Dynamixyz讨论了他们无面部标记捕捉系统技术。分享了其中的一些细节和要点。今天带大家来了解下。

Dynamixyz成立于2010年，是娱乐行业领先的面部动画技术供应商，提供市场上最广、最智能的无标记面部动作捕捉软件。由几位计算机视觉方面顶尖的专家和博士组成。最初只提供软件，后来开发硬件推动技术。他们的产品包括一套完整的软件套餐，用于捕捉离线制作或实时性能所需的面部动作，以及一系列根据需要定制的头戴式摄像系统。成立已有10年之久，说到这里你可能会问他们参与制作了哪些影视作品么？好，那么下面就一起来看看他们最新的作品Demo。

面部运动捕捉技术的构想

10年前，大多数工作室都是使用光学动作捕捉技术来进行面部运动捕捉的。过程中会将大量物理标记点放在脸上，然后使用一系列光学相机在运动捕捉体中记录其运动。除了花费大量时间准备演员并确保在整个拍摄过程中将所有标记点放置在正确的位置之外，还需要购买或租用设备齐全的动捕舞台。

当时，Dynamixyz的创始人正在为其他行业工作。研究通过简单的视频以无干扰的方式对人的面部动作进行无干扰的测量。

后来他发现专业的面部动作捕捉可以在这个技术中得到最大的优势。于是在2010年， 成立了Dynamixyz。专门研究面部无标记情况下产生高质量的运动捕捉效果。这群人可都非常了不起，都是计算机视觉研究人员和工程师。

那，他们的产品是什么呢？核心软件是一个叫Performer的东东。它可从大数据中学习演员的脸部快照合集，这些快照是根据用户的注释，演员特定于相机的表现方式记录的。与许多机器学习技术一样，一旦对系统进行了培训，它就可以自动跟踪来自同一演员的任何新视频，从而可以批量处理大量镜头。

除了让演员更舒适之外，还可用更少的硬件和更少的预算。任何人都可以使用Performer技术制作面部动画，甚至可以使用普通的网络摄像头。

技术细节

这是一套从视频录制到实时跟踪的模块化软件，无论是使用单摄像机设置的单视图跟踪，还是使用多摄像机硬件的多视图跟踪都可以。

整个系统依赖于基于视频的面部跟踪，所以只要有带面部的视频或者是用头戴式摄像机拍摄的专业视频，更或者是简单的网络摄像头都行，就可以用他们部分或全部工具组装一个制作管线。

其中还有叫Grabber的软件，它允许用户记录和监控来自工作站的快照，并提供精确的时间码和音频支持。Grabber还包括实时面部运动跟踪功能，可根据用户的需要和要求启用或禁用。

还有一个Monitor，可以允许操作员远程控制运动捕捉集中的多个参与者。它可以接收来自身体运动捕捉系统的触发器、分派命令、使用命名约定和同步所有内容。

Performer是核心软件。它从用Grabber软件（或任何其他录制软件）捕获的视频中提供演员面部的运动跟踪，并以产品级质量为用户的目标角色解决动画问题。

Performer使用机器学习算法：从用户提供演员的特定数据中进行学习，以最佳质量为特定个体提取运动，并以最高的真实度将其传输到Maya、3DS Max、motion Builder或Cinema 4D中的目标角色上。

流程

工作流程首先要求操作员在参与者的一组相关表达式上放置预定义的标记（注释）。创建一个专用于演员的跟踪配置文件。

第二步，动画师创建重定目标链接：她/他将演员的关键表达式与Maya、3DS Max、Motion Builder或Cinema中的三维面部控制器相匹配。

完成最后一步后，动画师可以处理和检查动画序列。如果获得了良好的演员/角色配置文件，生成的动画数据几乎不需要任何清理。如果没有，动画师仍然可以通过添加更多的关键点表达式或重做重定目标链接来优化跟踪配置文件。

完成上述流程！那么接下来用任何新的视频序列都可以自动跟踪和重定目标。

如果动画师想要添加更艺术化的表演，他可以通过在Performer中的时间线上添加锚定帧（一种关键帧）来完成。

同样的训练也可以用于实时跟踪和求解，而无需任何额外的人工操作。而且这个系统完全兼容Unity和Unreal两个引擎，他们开发了一个专有的Livelink插件，也开发了Motion Builder、Maya和许多其他引擎。

Dynamixyz还采用了另一种叫做Live Instant的技术，因为当快速转身比动画逼真度更重要时，或者当无法设置跟踪和重定目标配置文件时。Live Instant并没有像上面描述的那样专门从一个演员身上学习，而是已经在数百万张脸的数据库中进行了预训练，并且可以在没有任何设置或校准的情况下实时地提供即时动画结果。听起来是不是很耳熟？是的 ，这种“通用”的跟踪和动画系统目前非常流行，我们手里iPhone中的ARKit、Google的ARCore等都是如此。它们确实非常实用、易于使用。然而，保真度和准确度明显低于表演者的特定轮廓结构。但这里他们提供了两种选择，可根据项目的质量要求、时间或预算，生产商可以自行选择其中一种。

对于初学者来说，Live Instant是一个很好的软件包。顾名思义，人脸跟踪是即时可用的。动画师只需将预定义的姿势重定目标到其3D绑定上，然后实时设置其角色的动画。

所以，他这套系统最厉害的地方就是按操作流程为演员和3D角色匹配一次后，接下来所有工作都是自动处理的。无论是效率、投入的工作还是金钱都是相对很少的。

不需要一大堆的动画关键帧。一般情况下50到80即可，这要取决于你所需表情的多样性、目标质量和面部绑定的复杂性。如果发现某些姿势的准确率较低，你仍然可以通过激活或取消激活帧来优化跟踪配置文件。

如果性能不好或发生遮挡，也可以忽略部分跟踪的快照，并且始终通过添加锚定帧直接将结果手动覆盖到软件中。

关于硬件和成绩

他们自己开发了一套硬件设备HMCs来与这套系统一起使用。不过人家说了这个软件不挑食，可与任何视频录制硬件一起使用。甚至可以与普通的网络摄像头（或摄像机、DLSR…）配合使用。

软件解决方案非常通用，可以适应任何制作管线。交付精度的基线水平相当高，可以更好地利用动画师的时间并降低制作成本。目前很多AAA游戏工作室都在用。因为可以批处理，所以可在没有监督的情况下处理大量的动画镜头。曾为NBA2K游戏片头处理数百万帧的面部动画。

在电影VFX制作方面与游戏工作室相比，这类公司并不希望处理大量的动画，而是希望快速获得原始动画，使他们能够专注于动画的精准化。还记得《复仇者联盟4》中智能绿巨人么？对，它的面部动画就是用Dynamixyz实现的。Framestore首先用YouTube上收集的Mark Ruffalo视频进行了测试，对结果非常满意，最后决定继续用Dynamixyz拍摄电影。

在实时捕捉方面Dynamixyz也不逊色。迪斯尼有个电视节目叫《奇迹》，其中的法国女演员Anouk Hautbois在现场表演，然后捕获她的运动范围，同时为瓢虫3D角色构建了跟踪和重定目标轮廓。然后只需按下一个按钮就可以触发实时动画流。在硬件方面，这位女演员配备了一套捆绑式Dynamixyz HMC和一套动捕套装。所有的视频都是用Grabber处理的，生成的动画实时流传到Unity，同时实时到YouTube上。

动捕行业发展迅速，高品质的内容制作也越来越依赖于动捕。除了各种规模的工作室在用，甚至个人也都在使用各种资源来生成动画内容。就像我们之前给大家介绍的各种手机动捕的App一样，动捕正在慢慢变得平民化。当然了，影视级标准的还需要专业的动捕系统。

随着硬件和软件技术的发展，越来越多的算法直接嵌入到便携式硬件中。那么未来无论是模型，动画，渲染等工作都会变得更加方便，快速。