虚拟主播零门槛?MetaHuman在UE4中的面部捕捉
Hello . 大家好
今天我们来试试用MetaHuman做个虚拟主播
我是Vee
过年期间Epic一个MetaHuman的演示视频让大家心潮澎湃。最近,MetaHuman终于开放测试了,今天这篇文章我们从MetaHuman的测试申请,一直到导入UE4进行面部捕捉进行一个流程梳理。
需求:
一台有深度相机的Iphone
一台能上网并且能运行UE4的电脑
电脑和手机处在同一局域网
1MetaHuman
提交资料后会收到一封确认邮件,然后就是耐心的等待通过了。一般来说1~2天就可以通过。
收到通过邮件后,从邮件里可以直接前往MetaHuman的主界面。没错MetaHuman是个云应用,你的电脑可以不够强大,但是你的网得够好,链接不顺畅的时候会自动降低显示分辨率,视图操作也会非常卡顿,对体验影响还是挺大的。
界面非常简单,大家自己摸索一下几分钟就可以上手了。
值得提醒大家的是混合模式里,把选中的预设拖到上面的圆环中,再到你的角色里操作顶点,朝相应的方向移动就是让你的角色的该部位更贴合预设的样子。再就是造型模式下操作顶点,按住Ctrl+鼠标左键可以前后移动特征点,Shift+鼠标左键是重置(左边快捷键都有提示)。
对于造型的限制还是比较大的,更像游戏的捏脸,特征点的调节范围有限,所以基本上做不出很夸张的角色。
MetaHuman是实时保存的,捏完后给角色起好名字就可以把网页关了。
2下载和导出
然后打开bridge,就是megascans的那个bridge,升级到最新版后分类列表里新增了MetaHumans,其中MetaHumans Presets里是官方给到的58个预设,下面的My MetaHumans中就是我们自己在编辑器里创造的角色了。还没有拿到测试资格的可以先用官方预设尝试一下。
选中角色后先下载,这时候打开UE4工程,如果之前没用过Bridge的话记得要先装插件。点击下载/导出按钮左边的小齿轮,选择Export Settings,在弹出的页面中设置好引擎版本和引擎的插件目录,DefualtProject可以留空。插件装好的话就可以直接导出了。
切到UE4里,等待导入完成。
导入完成后Content目录下新增了一个MetaHumans目录,里面是按照角色名字命名的文件夹,再往里BP_角色名就是生成的MetaHuman了。
3面捕设置
下面进行面捕相关的设置:
首先是手机,Appstore里下载Live Link Face这个APP。
开启APP后点击左上角的小齿轮进入设置,进入Live Link,添加一个目标,IP地址就是运行UE4的电脑的IP,再提醒一下手机和电脑要在同一局域网。
另外要打开“流送头部旋转”才可以捕捉头的旋转。
然后回到UE4中,开启Apple ARKit和Live Link的相关插件。
重启项目后从window菜单中打开Live Link窗口,全部设置正确的话在这里就可以看到手机的名字了。
把MetaHuman角色蓝图放到场景中,属性栏里Default下,LLink Face Subj在下拉列表中选择手机的名字,然后勾选下面的LLink Face Head开启头部追踪。
运行场景,就可以开始面捕了。配合Take Recorder就可以进行动画录制,制作视频了。
试用下来,MetaHuman的确让数字人类的制作门槛变得很低了,但是一方面角色创造的限制比较大,另一方面生成的角色面捕的表情识别也还有很大的提高空间,想要做得更自然,表情更丰富,还需要自己进行更多Morph细节的调整。但是毕竟现在还在测试阶段,期待Epic把它做得更加完善和开放。
- End -