新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗

Xsens动作捕捉 2023-05-10 2419

你有了iPhoneX,经常用里面的Animoji么?知道里面的原理么?今天,我们一起来看看大神们如何利用iPhone X把Anmoji玩出另一个境界。

Animoji是一个能与人表情同步的动画表情,它是通过苹果新的Face ID硬件,捕捉用户脸部数据生成表情的同时,从用户语音输入自动生成的同步唇形,达到实时动画表情的符号形式。Animoji是循环的动画,可以通过苹果自己的短信应用程序记录和发送出去。

新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗  第1张

可以说苹果10的新功能“animoji”在实时渲染的3D卡通人物与用户之间搭建了一个交互桥梁,从而拉近了增强现实与消费者的距离。苹果这项技术的实现,得益于2015年收购了瑞士的初创公司Faceshift,后来进一步发展成为Animoji。

新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗  第2张

那么它是如何实现的呢?其实苹果Face ID基础技术是一个由点阵投影机,红外摄像机和泛光照明装置组成的全新True Depth摄像机系统。它采用一种双核设计的A11仿生神经引擎,能够执行高达每秒6000亿次实时处理操作。这个技术与iPhone改良的前置摄像头相结合,能够捕捉和分析50种不同的面部肌肉动作,然后在十几种不同的Animoji中对这些表情进行动画处理。最后就我们看到自己的表情与动画角色同步的Animoji了。

这项技术在发布后,很多人对它产生了浓厚的研究兴趣。对于我们行业内的大神来说更是玩出了花样。这其中包括我们台湾的一个VFX艺术家Elisha Hung。

新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗  第3张

他通过Apple的ARKit访问Animoji生成的面部网格,然后提取了里面的数据,将其写入了一个自定义文件。并使用Python SOP将数据导入Houdini里,将其转换成了传统的可编辑的3D文件。

面部动作捕捉演示

尽管对于其中的转换过程不是特别清楚,但这从侧面展示了IPhone X可以用来作专业级表演捕捉工具。当然,这不能拿IPhone X来与Andy Serkis的表演相比较,但起码大量的表演可以被大众所接受。

但上面这位小伙玩的还不是最高端的。来自洛杉矶Kite&Lighting数字工作室的Cory Strassburger将这个概念升级到了一个新水平。他使用iPhone X,一个为手机专门定制的APP,一个自制的头盔装置,和一个Xsens Link性能捕捉服装,竟然玩出了一个全身的动捕设备。你们来感受下这画风~

新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗  第4张

Strassburger添加了眼睛动态跟踪,头部动作和改进了混合形状,并将录制的面部数据从iPhone导入到Maya中。

这个过程大致是这样的:

用Unity挂接到Apple ARKit上,以60fps速率输出51通道的混合数据。从游戏中导入一个WIP角色头像,将获取的51个数据通道连接到角色,在iPhone本地文件写一个方法将数据记录到文本。从这里复制手机中的文件,并通过写入的转换器运行文本,将文本文件转换成maya格式,然后像往常Unity操作一样驱动混合形状。无需Maya的插件。

最后,第三个测试Strassburger将脸部捕捉与Xsens紧身衣的全身捕捉相结合,就是下面这个视频我们看到的样子了。

全身动作捕捉演示

他这么做的意义是,想看看是否可以用iPhone X是否可以用于虚拟现实游戏中的便宜且快速的面部动作捕捉。

新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗  第5张

从Iphone X的Animoji诞生,到艺术家Hung的转换成Maya网格,再到Strassburger一步步测试,最终变成高质量的全身动捕系统,不得不说CG艺术家们的真的很会玩。但,这样的操作也为增强现实领域增添了更多的创作力。

新版的IphoneX是一台动作捕捉设备,你知道怎么玩吗  第6张

和苹果公司的其他产品一样,Animoji不是什么革命性的技术,但是苹果公司的迭代对于增强现实来说是一个值得关注的事情,因为它规范了大众消费者的通信动画角色。

从过去几年来看,苹果和任天堂等公司纷纷搭上这趟车,可以肯定的说增强现实技术会越来越普及。随着科技日益成熟和复杂化,它将成为动画师和角色设计师开辟创新的可能性,这些角色设计师很快就会创作更多动画角色,让人们更多的积极参与进来成为动画角色。

The End