【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary

Xsens动作捕捉 2023-04-25 2757

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第1张

一直以来,在3D动画工业软件领域,尤其是在角色面部动画制作方面,我们使用的基本都是国外的产品,鲜有优秀的国产软件。

本期我们就把目光聚焦到国内,给大家介绍一款深受国际认可和赞赏的的国产角色动画制作软件——Avatary。

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第2张

Avatary

Avatary 是FACEGOOD推出的一款集表情建模、绑定,面部捕捉及肌肉仿真的全流程软件,能帮用户高效地解决人脸表情的采集、解析、驱动及快速绑定等问题,提高动画、电影、游戏面部动画制作的效率和质量,也可以应用于新兴的领域,比如虚拟偶像和虚拟直播。


我们前段时间发布的文章《放大招!FACEGOOD突破新技术:数字人高精度实时面部捕捉,开发自己的数字人~》,也是这个公司的技术分享!

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第3张

核心功能一:建模绑定

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第4张
AutoFace操作界面

用户只需要导入一个基础模型,按照模版进行标点,即可一键生成51个Blendshapes,效率惊人。该功能还在不断优化升级中,在精度、BS的数量和模型的兼容支持上会越来越完善。

角色面部表情高精度建模工作消耗了大量人力,通常人工制作一个形象需要一到三个月时间,AutoFace提供自动生成功能,只需要几分钟即可生成高精度BS,形象类型涵盖人型、类人、动物、怪兽等,美术效果完全可控,大大提升了用户工作效率。


核心功能二:面部捕捉(离线)

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第5张

Avatary(原Avatar Studio)的面部捕捉流程分为离线流程(Tracker/Retargeter)和实时驱动流程。

离线流程从高清视频录制(Streamer),到面部表情跟踪解析(Tracker),再通过Retargeter将数据同步给模型,驱动模型以完成动画制作。过程高度自动化,相比传统K帧方式效率提升60倍以上——演员表演几分钟就能出几分钟动画。后续只需根据美术需求进行优化调整即可。实时驱动——LiveDrive,是针对虚拟直播用户及部分对实时需求更高的企业客户研发的实时驱动角色的功能。通过简单设置链接至UE,可直接驱动UE的角色。

核心功能三:实时面捕

针对虚拟直播等需要实时表演的场景,Avatary提供了LiveDrive,演员可以实时驱动UE里的3D角色,实现快速演示或直播的目的。准备好角色,使用LiveDrive就可以进行虚拟直播,也可以快速制作动画短视频,打造虚拟偶像更简单啦!

核心功能四:肌肉仿真功能

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第6张

MuscleDrive是一款表情肌肉拟真工具,通过肌肉仿真引擎,为用户生成最自然的表情动画。仿真引擎可以模拟真实的软体变形、撕裂等物理运动,从底层力学出发彻底解决高精度数字人表情仿真难题。

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第7张


更新内容

AVATARY-2022个人版完全免费,企业版大幅升级


产品上线一年,Avatary在全球斩获好评,目前行内标杆团队的表情动画流程已经纷纷使用了Avatary,与此同时国内外虚拟人团队均基于Avatary表情动画流程进行内容创作,其中包括“柳叶熙”、“Teresa(日本)”、“李未可”、“小诤”、“关小芳”等。

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第8张
Avatary主界面


本次的版本更新

主要有以下七大看点:


01、全新官网

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第9张


02、表情捕捉硬件(HMC)的升级

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第10张
(图为P1 2022)

主要升级内容包括标配TimeCode (时间码)、无线收音、无线图传半径+50米。Avatary只需要一个普通的摄像头就可以做高精度表情捕捉,为什么还要做一个专用的硬件?还如此之卷?


专用设备是给演员用的,它的应用场景是动捕棚,因为需要捕捉演员全身的动作数据并方便佩戴,所以行业中普遍叫法是HMC系统。该系统需要24小时,稳定不间断,实时同步采集演员数据,还需要解决帧对齐问题,如何解决动捕、面捕、场记、甚至声音的数据对齐问题。


TimeCode是一个利器,包括与Xsens、Optitrack等动捕软件自动同步触发的功能,所有这些功能加到一起可以节省大量的人工。


03、Rigger全身高精度自动绑定

一键实现高精度全身绑定(Metahuman规范),完备的Corrective-Bs及合成DNA文件,可以根据需要进行精修,自动合成DNA文件,绑定的角色可以完整导入虚幻引擎。


相比Metahuman Creator这类基于AI拟合的算法,Avatary Rigger不改变3D造型,可以完整保存角色五官特征并自动完成高精度全身绑定,相比其他方案,速度快精度高。Avatary Rigger目前支持Metahuman拓扑规范,后续版本将支持异拓扑的自动绑定,并支持Unity使用。


04、SeattleLite实时直驱Metahuman

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第11张

Arkit只能驱动52个bs,细节较少。但是Metahuman有多少个bs?


687个bs,还有887根骨骼,如果把Metahuman理解为一辆车,那么Avatary实时直驱就是发动机,可以直接驱动687个bs及887根骨骼。


从效果上来看,直驱Metahuman解决了Arkit驱动的开关嘴、数据平滑度不足,无法灵活驱动舌头等问题。这个直驱能力配合上自动绑定,那么就是一键实现高精度实时表情捕捉了。



05、SeattlePro支持任意绑定的高精度表情捕捉算法

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第12张

多数制作团队都有自己的表情绑定规范,这些属于非标绑定,没有统一的标准,也很难建立统一标准,因为每个项目都有一些差异化,主要考虑到使用习惯或成本上针对某项做的一些特别定制。


2021年12月发布的新算法可以原生驱动任意形式的自定义绑定,有点类似“实时直驱Metahuman”的实现方式,算法将视频映射为表情动画,直接驱动控制器。因为是针对性训练,因此AI算法可以通过学习训练数据达到最理想状态,效果天花板极高。


这么一来,导演可以看到实时表情,动画师又可以得到基于控制器的曲线数据,在此基础上直接精修,大幅提升了产能。



06、BatchRobot批量表情动画解算

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第13张

在实际项目中,每天可能会捕捉几十个小时的表演视频,这些海量的表演视频都需要解算成动画,如果每个视频都要开一下软件,这个过程还是相当费时费力的。BatchRobot很好地解决了这个问题,一键导入视频,批量解算动画,大幅提升了动画产能。


07、个人版取消了时长限制,完全免费

日本3D大神Hirokazu Yokohara使用Avatary免费版本制作

生数据未经过手工调优


Avatary免费的功能已经完全覆盖了Faceware跟Dynamixyz的核心功能,这对3D内容创作者无疑是一个大福利,个人创作者,独立工作室可以无限制使用专业级方案了。可以这么说,从效果上来讲完全够用了。


Avatary这款宝藏软件可以大幅提升角色动画制作效率,为我们的制作带来了便利

当然,FACEGOOD作为中国团队,取得如此优秀成绩,也是中国视效行业的一次大进步!

让我们一同期待

中国视效行业有更多的突破!


关注MOREEDU,获取更多CG干货 !

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第14张

?线上线下 Course相关
更多关于特效、资产3D建模辅导、就业相关、软件技能等信息等内容可以联系「MORE干货大大」 vx【MOREEDUTHANYOULOVE】或「MORE 小U大大」vx【MOREEDU0109】备注【知乎】
可浏览下面链接的文末内容,或查看我们的专栏!欢迎私信了解!

【动捕技术】国内视效行业不断进步!FACEGOOD更新表情建模、绑定,面部捕捉及肌肉仿真的全流程软件Avatary  第15张

The End