分分钟打造超写实角色！MetaHuman这个黑科技怎么用？

动作捕捉 2023-05-07 10658

今年年初的时候，Epic公布了MetaHuman Creator工具，可以让开发者们轻松制作高保真数字人类，而该公司放出的数字人效果更是带来了非常震撼的视觉效果。

最近，Epic开放了这个3D真实角色工具的早期测试，海外开发者表示，该工具有望改变角色模型的制作方式，它可以快速生成独特的、极高质量的真实人物模型，这些模型已经被放在虚幻引擎中，供开发者们免费使用。

Epic Games数字人类技术副总裁Vladimir Mastilovic接受采访时说：“这个工具将之前制作一个真实角色所需要的数周甚至数月的时间压缩到了几分钟，在此之前，只打造一个高品质的真实角色也需要一个复杂团队投入数周甚至数月时间，现在你只需要几分钟，或者也可以投入更长时间做定制化，这对Epic以及整个行业都是全新的技术”。

为了证明这个技术，Epic在2月份的时候发布了两个样本角色以展示MetaHuman Creator能够产出的“数字人类”保真度，这种策略是有效的。巴黎新团队Sandfall Interactive工作室CEO兼创意总监Guillaume Broche说，“这些角色的皮肤纹理、骨骼以及在虚幻引擎里的易用性非常高”。

对他来说，样本角色的品质高出了如今常见3D角色创作工具所能产出的水准，包括Blender、Fuse和Reallusion的Character Creator等工具。正如预料的那样，模型的角色骨架补足了虚幻引擎的控制装置，因此它们可以直接用于引擎中的手动动画和动作捕捉。

MetaHuman Creator为谁打造？想做大项目的小团队

Mastilovic表示，该工具是面向所有开发者的。不过，曾参与过《魔法门之英雄无敌》和《幽灵行动：断点》等大作的前育碧制作人和创意总监Broche透露，该技术最适合像他的工作室一样的开发商使用：想做大项目、想要用多元化NPC让游戏更丰富的小团队。他说，“对于小团队而言，能够用MetaHuman得到高于大多数角色美术师所创造的角色，是一个非常不错的机会”。

Sandfall是Broche在六个月前成立的工作室，如今已经有16人规模，目前在做一款幻想RPG，他希望该游戏能够有《地狱之刃》一样的制作品质。“我们对剧情比较重视，所以带有高品质面部表情的真实角色是很重要的，所以能够现在拿到MetaHuman是非常好的，因为我们已经开始了全职研发，我希望它的出现不会太晚，因为在研发当中切换软件总会带来复杂的问题”。

MetaHuman Creator的背后是很多移动组件，包括其浏览器式的界面，后者是一个运行在Epic服务器上的一系列角色编辑工具，通过Epic公司的虚幻引擎Pixel Streaming系统向用户传输视频。但其最大而且最重要的组件是一个3D人物扫描数据库，通过这个数据库，该工具就能一键合成新鲜而不可思议的模型。

这个数据库是对真人进行大量扫描的产物，Mastilovic说，“这是一个受到了严格监督的过程，从第一次扫描到最后一次数据库健康状况的QA检查，它最开始从我们定制化的扫描仪开始，随后经过了管理数据的不同团队，包括准备、适配、清理、形状建模、索具、纹理、外观研发以及该工具的数据集成等”。不令人意外的是，该项目的持续研发并不只是拓展数据库，还要让整个流程自动化。

MetaHuman的出现，是Epic过去几年大量并购和发展不断累积的结果。2019年的时候，它收购了由Mastilovic在塞尔维亚创办的身体与面部扫描和动捕工作室3Lateral；2020年3月，该公司还收购了位于曼彻斯特的面部动画工作室Cubic Motion。这些工作室在Ninja Theory的爆款《地狱之刃：塞娜的献祭》项目上对性能捕捉和动画做出了重大贡献，这款游戏使用了虚幻引擎4研发，发布于2016年。

实际上，MetaHuman Creator的研发一直都在默默无闻地进行。首先是Epic、3Lateral和Cubic Motion等公司在2017 SIGGRAPH大会上展示的Meet Mike，在这次展示中，视觉效果作家Mike Seymour对多个行业领导者进行了实时3D扫描采访，观看者可以在VR环境中观看。随后在2018年，Epic展示了《Siren数字人》，演员Andy Serkis以外星人面孔表演了《麦克白》中的台词，两者都是基于实时表演捕捉。Mastilovic说，“每个项目都让我们离大规模制作数字人更接近”。

规模化是MetaHuman Creator对开发者赋能的关键方式：它可以快速产出大量高品质真实人类模型。但并不适合这种需求范围之外的游戏工作室。Mastilovic说，“我们正在关注这个领域，但它还处于早期阶段，我们会覆盖更多真实数字人类的需求，比如增加范围，保真度的提高以及资源工作流程提升等方面”。

即便是在对真实人类角色的具体需求上，Broche也不确定MetaHuman将成为完整的解决方案。他所，“我并不认为它会完全取代开发商对角色美术师的需求，因为有些事情是MetaHuman可能做不来的，比如衣服和毛发，以及独特的胡须和面部纹理。所以想让角色更加独特、不和行业常见的形象千篇一律，就需要更多的处理过程，但不得不说，这是一个非常好的起点”。

在游戏业内，MetaHuman似乎很可能会对我们经常看到的土豆脸NPC进行一次深刻的变革。微妙的物理变化和动画将成为一系列游戏的标准，但Epic公布的消息也在游戏业之外引起了强烈反响，因为它给使用实时3D技术越来越多的行业带来了新的可能，比如电影业。

在《曼达洛人》的制作中，虚幻引擎起到了很重要的作用，它在音响舞台上生成实时场景以提供准确的环境照明，而MetaHuman可以很快为大量即时生成的照片级真实角色提供帮助，演员和临时演员可能会对这一技术感到不安。

电影之外，很多行业也将有机会使用高品质3D角色。比如符号语言技术公司Kara Technologies就在探索用真实人类形象翻译，该公司展示了使用其符号引擎的一个样本人类。还有一个行业是视频播主，越来越多的主播开始用动捕3D形象进行直播，MetaHuman模型将能够快速提升他们的工作效率。

尽管还有很长的路程要走，但MetaHuman正在为长期以来的照片级真实虚拟人类3D角色制作方面带来跨越式提升。通过免费开放MetaHuman加上虚幻引擎已经提供的大量免费工具，包括最近收购的摄影测量平台Capturing Reality公司，Epic正在用其强大的金融能力让虚幻引擎成为新游戏项目躲不开的选择。

MetaHuman Creator的使用方法

对于国内开发者来说，可能更多人关心的是，MetaHuman Creator怎么用？前不久，Epic公司大中华区TA孙丹璐在视频中讲解了MetaHuman的原理及流程浅析，并且透露，该工具创作了超过50个数字人可以直接下载。

MetaHuman Creator整体流程

MetaHuman Creator是一个基于网络的工具，你可以通过网页进行访问，用于生成数字人。Bridge用户输出数字人，你可以通过Bridge将数字人导出一个单独的资产包，以便在虚幻引擎或者Maya等动画制作工具中使用。

MetaHuman Creator部署于云端，通过Pixel Streaming技术做到可以在网页端交互使用，它首先扫描真实人类并提取面部特征，将其记录在后台数据库（基因库）中。通过Creator捏人，实际上是在这些基因库进行特征值之间的混合，因此能够创建真实可信的角色，符合人类解剖学特征。

另外，MetaHuman Creator还提供了多种预设体型、服饰、皮肤和毛发，有助于提高数字角色的真实可信度。MetaHuman Creator中已经有超过50个设置好的数字人类可以直接下载。

先选择任意预设角色作为基础角色进行捏人，可以选择3-6名预设角色快速混合参与，也可以对基础角色进行细节雕刻，只需要几分钟就可以捏出和预设角色差异很大的角色。

面部混合工具提供了三种混合：第一是最粗力度的混合，通过左上角的混合圈添加3-6名预设角色，然后调整基础角色特征点进行偏向。

需要注意的是，如果对控制点有过任何偏向操作，再通过混合圈添加、切换、删除，那么MetaHuman的外观都会发生基础改变，因为MetaHuman混合模式记录的是偏移值，而非雕刻绝对值。另外，如果使用了移动雕刻工具已经修改过基础角色，那么雕刻的信息可能会被混合的预设角色覆盖，这个过程是不可逆的。

第二种是移动工具，能够快速设置一组特征点的形态。最后是雕刻工具，它允许针对最小特征点进行调整。Creator中的雕刻与ZBrush稍微不同，它会基于特征数据库进行调整。移动和雕刻工具是在整个基因库进行索引，与混合圈的角色选择关联不大。

在Creator也可以调整皮肤纹理细节，也是扫描数据库中的纹理进行合成，来生成真实的角色，后台会把扫描的纹理分为中高低频细节，然后用户在Creator中对这些纹理混合，混合参数会被实时保存，随后在通过Bridge下载的时候向Creator生成请求，这时候纹理才会真正Build出来。

皮肤纹理不仅会增加细节，也会对表面形态带来影响，比如这里的皱纹是对面部形态有改变的。

灯光环境对于捏人的效果也是至关重要，MetaHuman Creator中提供了四种预设环境，包括可以调整灯光方向的隐藏灯光、室内、室外的HDR背景，以及方便捏轮廓的剪影视图。

在身体塑造上，MetaHuman提供了18种预设好的体型，唯一不足的是，头部不会随着体型发生比例上的改变，因此有时候不适合的体型会看起来比例不协调，所以目前捏人之前要考虑好数字人的年龄和体型，结合需要的体型捏出头部大小。

体型有3种身高值，女性是从150cm到165cm，男性是从165cm至180cm。

孙丹璐还在演讲中解释称，MetaHuman Creator数据库之所以放在云端，是因为基因库会不断扩张和升级，如此巨量的数据不适合放在个人电脑上。面部数据来源是真实世界的人类扫描模型，因此目前能够捏出的脸型受限于基因库大小。至于体型限制，Creator选择了传统制作流程，主要因为目前还没有完善的体型数据库，手动制作的体型也无法进行任意调整，因为达不到数字人类的品质。

从MetaHuman Creator捏完数据，就可以通过Bridge生成、下载和导出。打开Bridge就可以从分栏看到实时更新的数字人角色，根据资产分辨率的不同，生成和下载需要的时间也不一样（1K分辨率生成和下载需要20分钟左右）。

虽然分辨率最高到8K，但并不意味着每张纹理都会是8K分辨率，因为某些纹理（Albedo）的2K和8K分辨率是肉眼看不出差别的。

虚幻引擎中的MetaHuman

导入引擎之后会有一个MetaHuman文件夹，对于所有通过MetaHuman生成的角色，无论男女，有些资产是共同的，它们被放在common文件夹之下，而每个人特有的资产则存在于自己名字命名的文件夹中。

位于MetaHuman文件夹下，MetaHuman的各个部位都是通过一个蓝图组合在一起，包括身体躯干、头部、毛发、服饰以及LODSync，每一个组件都有自己的LOD信息，不同组件的LOD层数不一样，因此导致效果上出现问题，所以引擎才加入了LODSync概念。

LODSync可以设置所有的组件，决定不同组件的同步方式，确保所有LOD组件做到很好的同步。

LOD数据会根据模型不同而出现些许上浮，这是头部的8层LOD8对应的顶点、Blendshape、关节、动画纹理、蒙皮信息。由于Blendshape使用性能开销比较高，所以从LOD1开始就没有再使用；纹理动画因为需要读入的纹理非常多，所以从LOD2开始就不再使用了。

身体只有4层LOD数据，与脸部LOD数量差距比较大，所以需要LODSync进行同步。

毛发LOD数据的0-1采用了Strand-Based Hair，主要用在高端平台，比如次时代主机、高端PC，其他平台也可以设置用高精度的插片毛发作为LOD 0-1，LOD2-4是基于插片毛发，5-7是基于简化的Mesh毛发。

毛发系统包括头发、眉毛、面部绒毛、眼睫毛以及两个部位的胡子。女性角色由于没有胡子，所以蓝图中的这两部分是空的。

毛发采用了虚幻引擎新推出的Groom毛发系统，不过这里不详细展开，主要讲Groom对MetaHuman的处理以及需要注意的地方。

Groom毛发的所有LOD都使用了同一个母材质，且材质参数与MetaHuman Creator设置一致，毛发参数和Cards材质都通过读取Hair Attributes输入的参数。

为了改善毛发效果，毛发材质为移动端特意制作了各向异性，如上图所示。毛发透射和散射部分，移动端的毛发LOD只有一层采用了插片毛发，其余都是简化的Mesh毛发，Mesh毛发之间很难做到细腻的透射和散射，综合考虑效率和性能，MetaHuman没有在移动端做毛发的透射和散射部分。

头部皮肤

皮肤和头发有一些类似设计，比如所有LOD都使用同一个母材质，材质参数与MetaHuman Creator一致。高端设备采用了Burley SSS处理，移动端则因为性能开销太大而没有使用Burley SSS处理和表情纹理。

表情纹理的使用是通过材质函数（Animated Maps）使用这四张表情纹理，控制不同动作下的表情混合权重，每个表情纹理都通过遮罩纹理控制一组面部控制器。

每个材质对应的遮罩纹理量很多，会对渲染和带宽造成一定压力，这也是移动端没有使用表情纹理的原因之一。

MetaHuman的骨骼

与虚幻引擎相比，MetaHuman增加了更多的关节，尤其是脖子和脊椎关节，能够更好地支持动捕软件，做出来的效果会更好。

通过MetaHuman使用虚幻引擎商城资源，需要做一些动画重定向工作，主要是调整脊椎的映射关系。

MetaHuman的Control Rig系统

一般来说，制作一个骨骼动画直接手K每一个骨骼是非常繁琐的过程，所以就需要使用Control Rig 简单的输入驱动多个关节。不过，由于面部表情和肌肉非常复杂，只用Control Rig很难设计达到真实级别的表情驱动系统，如果用Blendshape则会对游戏性能带来非常大的压力，Rig Logic就是为了解决这个问题。

Rig Logic是个非常复杂的规则集，可以从简单的输入驱动数以千计的blendshape和关节，相当于Control Rig的“面部顶配版本”。

Rig Logic需要一些模型的额外信息，包括模型的特征数据、Rigging行为，这些是在原生模型上无法获取的，所以在MetaHuman Creator中，后台会把这些数据整理起来，形成DNA asset文件格式保存下来，这个文件是和MetaHuman一一对应的关系。