抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧

Xsens动作捕捉 2023-05-10 15223

抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第1张

这些面部表情捕捉,你也能轻松掌握~

文/三口

编辑/居北

前段时间,一些卡通动漫大头特效视频火遍了抖音。这种炫酷的玩法给我们的视频拍摄增添了不少乐趣~


抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第2张


很多人好奇,难道是抖音推出什么“高科技”了吗?

实际上,这个特效可不是抖音的功能,而是通过iphone X的面部识别功能捕捉表情,然后与手机自带的头像模型合成在一起实现的。是不是听起来就像是简易版的动作捕捉

今天,小趴就要给大家介绍一款类似的,利用手机做动捕动画的黑科技!它就是—— live face


抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第3张


LIVE FACE脸部动态捕捉app基于2D制作软件CrazyTalk Animator 3上使用,它可以借助iPhone X和Wi-Fi连接在任何2D角色上进行即时面部动作捕捉。

抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第4张


“表情动画好难把握!”

“不会画画能做动画吗?”

这款app将这些烦恼统统解决!

LIVE FACE拥有很多的独特功能,比如:


抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第5张


疾速动画制作体验

使用者可以通过自由骨架工具或角色模板,轻松将任何图像转换为动画角色;可以透过导入/导出 PSD 分层模板实现与 Photoshop 无缝接轨。


抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第6张


将虚拟主播添加到实况直播

LIVE FACE可以与主流直播工具(包括 OBS、Xsplit 和 FFSplit)搭配使用,並在 Twitch、YouTube、Mixer 和 Facebook 等主流影音平台上叠加个性虚拟角色。

即刻演出 立马套用

iPhone X 专用 可以追踪多达 57 个脸部讯号,准确驱动角色脸部表情,包括:头部角度、眉毛、眼球旋转;同时可以透过即時捕捉或传统的音频对嘴同時控制 2D 嘴部 sprites;还能够通过共享的 Wifi、热点或 USB 线将 iPhone X 连接到 PC 或 Mac。

抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第7张


从不同角度灵活捕捉

最让小趴满意的是,LIVE FACE还提供了Zero Pose 功能,以此来获得最佳的动态捕捉結果。无论你将iPhone 放在任何地方,独家的 Zero Pose 设计功能都能快速重新校准脸部角度偏移,并且只需一鍵即可准确地进行脸部追踪。


抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第8张


抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第9张


同时LIVE FACE还拥有支援多元人物角色脸部特征动态强度过滤等多种功能,为我们进行动作捕捉提供了极大的便利。

小伙伴们可以通过下面的官宣视频,直观的认识一下这款app~

重播

播放

00:00

/

00:00

直播

00:00

进入全屏

50

    点击按住可拖动视频


    (视频源地址:
    https://www.youtube.com/watch?v=TZImE_sC9Xw&feature=youtu.be)

    介绍到这里,细心的朋友可能注意到了,看起来功能强大的LIVE FACE,实际上又是“不带安卓玩”系列。

    在LIVE FACE的官方网站上专门强调了,这款APP的适用平台是IOS,在iPhone XS推出之前,还特地强调了仅限iPhone X使用。


    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第10张


    为什么会出现这样一个“限制条件”呢?

    这是因为,LIVE FACE强大动捕功能的实现,很大程度依赖于iPhone手机的TrueDepth camera 。

    iphoneX具有的3D摄像头——The TrueDepth camera system(原深感摄像头系统)能精做到精确的面部识别。像iphoneX推出的照片景深调节、背景切换、face ID等一系列功能都是依靠The TrueDepth camera system精准的面部识别才能完成的。

    其中它最重要的五个模块分别是:红外镜头、距离感应器+泛光感应元件、RGB摄像头、点阵式投影器和环境光传感器

    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第11张


    为了实现用户脸部识别功能,苹果公司可是下足了功夫。他们将距离感应器与泛光感应元件结合起来,可以使用统一的“点阵式”照明。

    3D摄像头的工作原理与普通摄像头非常不同。以往的手机拍摄是没有深度的,而3D摄像头在二维图像的基础上增加了对拍摄对象的深度测量,即三维的位置及尺寸信息,从而能得到关于人面部更加精细准确的结构构造。

    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第12张


    3D摄像机的工作原理简单可以概括为:首先红外激光发射器发射出近红外光,经过人脸的反射之后,红外信息被红外光图像传感器所接收,这个图像信息用来计算人脸所处的位置;同时,可见光图像传感器采集二维平面的人脸的可见光信息;图像传感器的信息汇总至专用的图像处理芯片,从而得到人脸的三维数据,实现空间定位。


    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第13张


    3D摄像头工作原理示意图

    另外,在文章开头的小猪头像就来自于iphoneX里的Animoji功能,它的实现也离不开The TrueDepth camera system。Animoji表情可以“追随”用户的表情,形成动态的、个性化的表情包。甚至还有一些脑洞大开的网友把animoji经典电影合成在一起,做成恶搞视频。


    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第14张


    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第15张


    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第16张


    相比电影里复杂的动作捕捉加合成,iphoneX的这款功能简单极易上手,可以说是动画创作爱好者的福音了。

    最后需要补充的是,live face是需要和CrazyTalk Animator 3软件搭配着食用~


    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第17张


    关于CrazyTalk Animator 3,大家应该都不陌生,这款由Reallusion开发的一款2D动画制作软件,推出伊始就凭借各种强大功能,被很多人称之为“世界上最简单的二维动画软件”。

    而关于LIVE FACE和CrazyTalk Animator 3,官网都毫不吝啬的给出了免费下载链接,虽然有试用期限,但还是可以让大家体验一把面部表情捕捉黑科技之强大~

    感兴趣的小伙伴可以复制官网下载地址下载体验哦:

    https://www.reallusion.com/tw/crazytalk-animator/facial-mocap-live-face.html

    不过,最重要的是,你需要拥有一台iPhone X或者iPhone XS~


    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第18张

    戳下方【了解更多】直达动画学术趴网站,发现每日动画资讯~

    抖音换脸、深度摄影与黑科技:拿个苹果X,做表情动画去吧  第19张

    The End