新版的IphoneX是一台动作捕捉设备，你知道怎么玩吗

你有了iPhoneX，经常用里面的Animoji么？知道里面的原理么？今天，我们一起来看看大神们如何利用iPhone X把Anmoji玩出另一个境界。

Animoji是一个能与人表情同步的动画表情，它是通过苹果新的Face ID硬件，捕捉用户脸部数据生成表情的同时，从用户语音输入自动生成的同步唇形，达到实时动画表情的符号形式。Animoji是循环的动画，可以通过苹果自己的短信应用程序记录和发送出去。

可以说苹果10的新功能“animoji”在实时渲染的3D卡通人物与用户之间搭建了一个交互桥梁，从而拉近了增强现实与消费者的距离。苹果这项技术的实现，得益于2015年收购了瑞士的初创公司Faceshift，后来进一步发展成为Animoji。

那么它是如何实现的呢？其实苹果Face ID基础技术是一个由点阵投影机，红外摄像机和泛光照明装置组成的全新True Depth摄像机系统。它采用一种双核设计的A11仿生神经引擎，能够执行高达每秒6000亿次实时处理操作。这个技术与iPhone改良的前置摄像头相结合，能够捕捉和分析50种不同的面部肌肉动作，然后在十几种不同的Animoji中对这些表情进行动画处理。最后就我们看到自己的表情与动画角色同步的Animoji了。

这项技术在发布后，很多人对它产生了浓厚的研究兴趣。对于我们行业内的大神来说更是玩出了花样。这其中包括我们台湾的一个VFX艺术家Elisha Hung。

他通过Apple的ARKit访问Animoji生成的面部网格，然后提取了里面的数据，将其写入了一个自定义文件。并使用Python SOP将数据导入Houdini里，将其转换成了传统的可编辑的3D文件。

面部动作捕捉演示

尽管对于其中的转换过程不是特别清楚，但这从侧面展示了IPhone X可以用来作专业级表演捕捉工具。当然，这不能拿IPhone X来与Andy Serkis的表演相比较，但起码大量的表演可以被大众所接受。

但上面这位小伙玩的还不是最高端的。来自洛杉矶Kite&Lighting数字工作室的Cory Strassburger将这个概念升级到了一个新水平。他使用iPhone X，一个为手机专门定制的APP，一个自制的头盔装置，和一个Xsens Link性能捕捉服装，竟然玩出了一个全身的动捕设备。你们来感受下这画风~

Strassburger添加了眼睛动态跟踪，头部动作和改进了混合形状，并将录制的面部数据从iPhone导入到Maya中。

这个过程大致是这样的：

用Unity挂接到Apple ARKit上，以60fps速率输出51通道的混合数据。从游戏中导入一个WIP角色头像，将获取的51个数据通道连接到角色，在iPhone本地文件写一个方法将数据记录到文本。从这里复制手机中的文件，并通过写入的转换器运行文本，将文本文件转换成maya格式，然后像往常Unity操作一样驱动混合形状。无需Maya的插件。

最后，第三个测试Strassburger将脸部捕捉与Xsens紧身衣的全身捕捉相结合，就是下面这个视频我们看到的样子了。

全身动作捕捉演示

他这么做的意义是，想看看是否可以用iPhone X是否可以用于虚拟现实游戏中的便宜且快速的面部动作捕捉。

从Iphone X的Animoji诞生，到艺术家Hung的转换成Maya网格，再到Strassburger一步步测试，最终变成高质量的全身动捕系统，不得不说CG艺术家们的真的很会玩。但，这样的操作也为增强现实领域增添了更多的创作力。

和苹果公司的其他产品一样，Animoji不是什么革命性的技术，但是苹果公司的迭代对于增强现实来说是一个值得关注的事情，因为它规范了大众消费者的通信动画角色。

从过去几年来看，苹果和任天堂等公司纷纷搭上这趟车，可以肯定的说增强现实技术会越来越普及。随着科技日益成熟和复杂化，它将成为动画师和角色设计师开辟创新的可能性，这些角色设计师很快就会创作更多动画角色，让人们更多的积极参与进来成为动画角色。