使用iPhone X与Maya进行快速面部捕捉

iPhone X能否成为一个快速、廉价、简单的面部捕捉系统？大约一个月前，Kite＆Lightning的Cory Strassburger收到了苹果的iPhone X。 在一天之内，他测试了使用TrueDepth相机和ARKit的软件。 他想看看它是否可以用于他们的游戏和电影内容。

Kite＆Lightning是Oculus VR开发人员工具包的早期创新者，他使用一些引人注目的人类捕捉技术构建了Senza Peso等突破性的体验。 现在，他们正在建造比比伦大战。 游戏围绕着这些拥有巨大态度的“beby”角色。 他想看看是否可以用iPhone X的面部捕捉更快，更便宜地为这些角色赋予一个大个性，而且他在周末的时间里花了一些时间。

Strassburger在一封电子邮件中写道：“我认为我目前的重大结论是来自iPhone X的捕获数据非常微妙，稳定并且不会过度平滑。 “它实际上是在微妙的动作，即使是小的抽搐，也足够干净（无噪音），可以根据你的标准使用电话。”

他认为它代表了一种相对便宜的面部捕捉方法。该系统也可以移动，可以更容易设置和部署。苹果收购了一家名为“facUNK”的公司，该公司似乎在很大程度上支持这一功能。虽然斯特拉斯伯格指出，facUNK的解决方案有其他很酷的功能，但他能够利用苹果发布的iPhone X提取出足够的表现力，这对虚拟现实生产来说可能还是有用的。

下面是捕获过程Strassburger，它概述了iPhone X的面部捕捉数据，并使用它在Maya中激活一个字符的表达式:

• 使用苹果ARKit和Unity我导入了一个正在工作的Bebylon角色，并将其面部表情混合形状挂接到ARKit输出的面部捕捉数据。 这让我根据自己的表情开动宝宝的脸部动画。

• 我需要捕获这些表达式数据才能将其导入到Maya中。 我添加了一个记录功能，将面部表情数据流式传输到一个文本文件中。 这本地保存在iPhone上。 每个开始和停止采取成为一个单独的文本文件，并可以在捕获应用程序中命名/重命名。

• 我通过USB将文本文件从iPhone X复制到桌面。

• 捕获的数据需要重新格式化为导入到Maya，所以我写了一个简单的桌面应用程序来做到这一点。 它将选定的文本文件并将其转换为Maya .anim文件。

• 我将.anim文件导入到Maya中，瞧，你的角色正在模仿你在捕捉过程中在iPhone上看到的东西。

根据Strassburger的说法，他在数据中发现了一些小故障，并认为他的代码可能是负责任的。此外，尽管捕捉以每秒60帧的速度发生，但目前的进程以每秒30帧的速度呈现，因此您可以看到一些质量损失。根据Strassburger的说法，这在“马唇”部分最为显著。

斯特拉斯伯格写道:“这个系统的真正之美在于，它非常快，而且很容易捕捉(在你的手机上)，然后将它导入Maya或直接进入游戏引擎。”“在任何一点上都没有真正的处理，而且数据似乎足够干净，可以用不改变的方式使用。”

Strassburger希望将iPhone X附在头盔上，然后使用Xsens套装来做全身运动，同时还能捕捉到面部表情。

斯特拉斯伯格写道:“我很有信心，通过在blendshape雕塑中拔号，也可以在脸上添加合适的皱纹地图，从而使皮肤看起来像脸部动画一样，可以大幅度地提高这一形象。”“同样，使用捕获的数据来驱动次级blend形状将会帮助表达式感到更有活力和活力。”