提及动作捕捉，对于我们行业小伙伴来说并不陌生，目前市面上的各种动捕设备，动捕基地啥样都有，面部捕捉技术设备也是各种各样，随便拿个手机就能搞面部捕捉实时给到虚拟角色上了。
目前使用最多的就是影视短片和实时直播两个行业，但影视短片和实时直播这两种渠道并不兼容。影视短片中的数字人颜值精美，可谓是与真实世界完美融合的“高仿真”，但TA从未在实时直播中呈现过；实时直播里的数字人，大多带有二维或动画风格，其真实程度从未达到影视短片中的精良程度。元宇宙浪潮下，互联网大厂先后开始布局数字人赛道，随即文娱类企业也纷纷上车，围绕虚拟数字人的应用场景和市场也变得愈加多元。涌入人们视线的虚拟数字人也开始层出不穷，数字人的创造者们开始逐渐赋予其更多的身份定义，从虚拟偶像虚拟主播到虚拟数字记者虚拟代言人……有了不同身份的数字人，内容也愈加的丰富有趣，人们对内容的精度也逐渐开始有了更高的追求，角色不能再是简单的“动”起来，也不再仅仅对上的“口型”，如何让虚拟人物面部有自然流畅的表情运动，如何让虚拟数字人拥有微表情的流露……所有这一切高要求都需要一个高精面部技术来支持。说到虚拟数字人的面部表情技术，这两年国内技术一直在发力，最值得提及的就是国内扛起面部捕捉技术大旗的极客团队FACEGOOD。这里简单跟大家介绍下，FACEGOOD是国际领先的3D工业软件研发商，主要应用于媒体和娱乐产业，研究领域涉及生物软组织仿真，运动科学，计算机图形学等。目前他们一直在死磕高精面部捕捉这一难题，在去年底他们发布了高精度实时面部捕捉技术Seattle Pro，那时候开始面向全球创作者招募Beta测试。技术有了，如何检验在实际项目中的成果呢？于是FACEGOOD选择了对技术效果呈现最为“挑剔”的艺术家团队——MOTSE墨子，开展测试。MOTSE墨子团队是一家国家高新技术企业，团队提供全案解决方案的全流程建制。这个团队的数字艺术作品不仅长期在国内当代艺术馆展出，同时在高端商业品牌营销、创新性展览展示、商业场景升级中有着敏锐的嗅觉和深厚的商业落地经验。在没和FACEGOOD合作之前，MOTSE墨子团队尝试了苹果的ARKIT FACEWARE等不同的实时面部捕捉方案，但是这些方案都只能带动几十个Blend Shape，在面部细节的还原程度上和表现效果上都很不尽如人意。后来研发过程中使用了FACEGOOD提供Seattle Pro面部捕捉技术，相比手机端民用级别的方案，SeattlePro可以完整驱动Metahuman规范下的上百根骨点，600+修型Blend Shape与材质节点，在数量级上提升了10倍，基于这个技术对虚拟偶像的落地进行了全流程的匹配。首先，MOTSE墨子团队设计出虚拟人的外貌体态，并进行高精度模型贴图的制作，同时在Ureal Engine5中实现皮肤质感和外形毛发等的细化。他们这个测试出了一个视频，为了方便小伙伴们直观的理解，这里我们先把内容拆解来看下。
在Maya里实现自动绑定面部表情。这是MOTSE墨子团队在MAYA中配合Seattle Pro算法的绑定需求基于Metahuman的绑定结构研制出了自动绑定的流程。这套流程可以自动匹配不同布线和外形轮廓的模型，无须再手工拓扑与绑定，极大的缩短了数字人的开发流程，另外Seattle Pro面部捕捉技术获得的实时数据同时可以推送进Maya成为离线的动画数据，满足传统制片流程。这是通过livelink将实时数据直接推流到虚幻引擎中的效果，由于绑定和数据的流通是在Maya和UE的生产环境中是完全同步的，这样就能自动化、程序化的满足虚拟人在商业应用里的不同需求。这里大家可以看到，包括舌头动作都能精准捕捉到，这就有点厉害离谱了。据了解这也是目前全球唯一能做舌头动作捕捉的技术。
