虚拟主播零门槛?MetaHuman在UE4中的面部捕捉

Xsens动作捕捉 2023-05-11 3564

虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第1张



Hello . 大家好

今天我们来试试用MetaHuman做个虚拟主播

我是Vee


过年期间Epic一个MetaHuman的演示视频让大家心潮澎湃。最近,MetaHuman终于开放测试了,今天这篇文章我们从MetaHuman的测试申请,一直到导入UE4进行面部捕捉进行一个流程梳理。


需求:

一台有深度相机的Iphone

一台能上网并且能运行UE4的电脑

电脑和手机处在同一局域网


1MetaHuman


提交资料后会收到一封确认邮件,然后就是耐心的等待通过了。一般来说1~2天就可以通过。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第2张


收到通过邮件后,从邮件里可以直接前往MetaHuman的主界面。没错MetaHuman是个云应用,你的电脑可以不够强大,但是你的网得够好,链接不顺畅的时候会自动降低显示分辨率,视图操作也会非常卡顿,对体验影响还是挺大的。


界面非常简单,大家自己摸索一下几分钟就可以上手了。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第3张


值得提醒大家的是混合模式里,把选中的预设拖到上面的圆环中,再到你的角色里操作顶点,朝相应的方向移动就是让你的角色的该部位更贴合预设的样子。再就是造型模式下操作顶点,按住Ctrl+鼠标左键可以前后移动特征点,Shift+鼠标左键是重置(左边快捷键都有提示)。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第4张


对于造型的限制还是比较大的,更像游戏的捏脸,特征点的调节范围有限,所以基本上做不出很夸张的角色。


MetaHuman是实时保存的,捏完后给角色起好名字就可以把网页关了。


2下载和导出


然后打开bridge,就是megascans的那个bridge,升级到最新版后分类列表里新增了MetaHumans,其中MetaHumans Presets里是官方给到的58个预设,下面的My MetaHumans中就是我们自己在编辑器里创造的角色了。还没有拿到测试资格的可以先用官方预设尝试一下。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第5张



选中角色后先下载,这时候打开UE4工程,如果之前没用过Bridge的话记得要先装插件。点击下载/导出按钮左边的小齿轮,选择Export Settings,在弹出的页面中设置好引擎版本和引擎的插件目录,DefualtProject可以留空。插件装好的话就可以直接导出了。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第6张


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第7张


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第8张


切到UE4里,等待导入完成。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第9张


导入完成后Content目录下新增了一个MetaHumans目录,里面是按照角色名字命名的文件夹,再往里BP_角色名就是生成的MetaHuman了。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第10张



3面捕设置

下面进行面捕相关的设置:


首先是手机,Appstore里下载Live Link Face这个APP。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第11张


开启APP后点击左上角的小齿轮进入设置,进入Live Link,添加一个目标,IP地址就是运行UE4的电脑的IP,再提醒一下手机和电脑要在同一局域网。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第12张


另外要打开“流送头部旋转”才可以捕捉头的旋转。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第13张


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第14张


然后回到UE4中,开启Apple ARKit和Live Link的相关插件。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第15张


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第16张


重启项目后从window菜单中打开Live Link窗口,全部设置正确的话在这里就可以看到手机的名字了。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第17张


把MetaHuman角色蓝图放到场景中,属性栏里Default下,LLink Face Subj在下拉列表中选择手机的名字,然后勾选下面的LLink Face Head开启头部追踪。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第18张

虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第19张


运行场景,就可以开始面捕了。配合Take Recorder就可以进行动画录制,制作视频了。


虚拟主播零门槛?MetaHuman在UE4中的面部捕捉  第20张


试用下来,MetaHuman的确让数字人类的制作门槛变得很低了,但是一方面角色创造的限制比较大,另一方面生成的角色面捕的表情识别也还有很大的提高空间,想要做得更自然,表情更丰富,还需要自己进行更多Morph细节的调整。但是毕竟现在还在测试阶段,期待Epic把它做得更加完善和开放。

- End -

The End