Maya自动绑定实时推流UE5，可捕捉舌头动作！面部捕捉都精细到这种程度了？
点击上方蓝字CG世界关注我们
提及动作捕捉，对于我们行业小伙伴来说并不陌生，目前市面上的各种动捕设备，动捕基地啥样都有，面部捕捉技术设备也是各种各样，随便拿个手机就能搞面部捕捉实时给到虚拟角色上了。
目前用的最多的就是影视短片和实时直播两个行业，但影视短片和实时直播这两种渠道并不兼容。影视短片中的数字人颜值精美，可谓是与真实世界完美融合的“高仿真”，但TA从未在实时直播中呈现过；实时直播里的数字人，大多带有二维或动画风格，其真实程度从未达到影视短片中的精良程度。
虚拟数字人，先从“脸”开始卷起
元宇宙浪潮下，互联网大厂先后开始布局数字人赛道，随即文娱类企业也纷纷上车，围绕虚拟数字人的应用场景和市场也变得愈加多元。涌入人们视线的虚拟数字人也开始层出不穷，数字人的创造者们开始逐渐赋予其更多的身份定义，从虚拟偶像虚拟主播到虚拟数字记者虚拟代言人……
有了不同身份的数字人，内容也愈加的丰富有趣，人们对内容的精度也逐渐开始有了更高的追求，角色不能再是简单的“动”起来，也不再仅仅对上的“口型”，如何让虚拟人物面部有自然流畅的表情运动，如何让虚拟数字人拥有微表情的流露……所有这一切高要求都需要一个高精面部技术来支持。
国内顶尖研发团队FACEGOOD
说到虚拟数字人的面部表情技术，这两年国内技术一直在发力，最值得提及的就是国内扛起面部捕捉技术大旗的极客团队FACEGOOD。这里简单跟大家介绍下，FACEGOOD是国际领先的3D工业软件研发商，主要应用于媒体和娱乐产业，研究领域涉及生物软组织仿真，运动科学，计算机图形学等。
目前他们一直在死磕高精面部捕捉这一难题，在去年底他们发布了高精度实时面部捕捉技术Seattle Pro， 还公布了一篇论文，之前我们公号推送过（点击下图可查看论文），那时候开始面向全球创作者招募Beta测试。
猛戳图片可查看之前论文▲
MOTSE墨子技术流程测试过程
技术有了，如何检验在实际项目中的成果呢？于是FACEGOOD选择了对技术效果呈现最为“挑剔”的艺术家团队——MOTSE墨子，开展测试。MOTSE墨子团队是一家国家高新技术企业，团队提供全案解决方案的全流程建制。这个团队的数字艺术作品不仅长期在国内当代艺术馆展出，同时在高端商业品牌营销、创新性展览展示、商业场景升级中有着敏锐的嗅觉和深厚的商业落地经验。
在没和FACEGOOD合作之前，MOTSE墨子团队尝试了苹果的ARKIT FACEWARE等不同的实时面部捕捉方案，但是这些方案都只能带动几十个Blend Shape，在面部细节的还原程度上和表现效果上都很不尽如人意。
后来研发过程中使用了FACEGOOD提供Seattle Pro面部捕捉技术，相比手机端民用级别的方案，SeattlePro可以完整驱动Metahuman规范下的上百根骨点，600+修型Blend Shape与材质节点，在数量级上提升了10倍，基于这个技术对虚拟偶像的落地进行了全流程的匹配。
他们这个测试出了一个视频，为了方便小伙伴们直观的理解，这里我们先把内容拆解来看下。
第一步：Maya中自动绑定▼
在Maya里实现自动绑定面部表情。这是MOTSE墨子团队在MAYA中配合Seattle Pro算法的绑定需求基于Metahuman的绑定结构研制出了自动绑定的流程。
这套流程可以自动匹配不同布线和外形轮廓的模型，无须再手工拓扑与绑定，极大的缩短了数字人的开发流程，另外Seattle Pro面部捕捉技术获得的实时数据同时可以推送进Maya成为离线的动画数据，满足传统制片流程。
第二步：匹配UE5绑定▼
这是通过livelink将实时数据直接推流到虚幻引擎中的效果，由于绑定和数据的流通是在Maya和UE的生产环境中是完全同步的，这样就能自动化、程序化的满足虚拟人在商业应用里的不同需求。
第三步：数字人面部实时驱动▼
实时驱动精细测试，口腔。▼
脸颊▼
面部整体测试效果▼
下面来看看视频展示效果吧▼
刷新 