Eido首席动画师分享银河护卫队如何搭建3A级别的面部表情管道?

Xsens动作捕捉 2022-10-05 12499


  /对于很多游戏,尤其是高质量的游戏,面部表情是影响玩家代入感的重要因素之一。合适的嘴型、表情和同步配音往往能让一个角色活灵活现。

  在GDC2022大会的演讲中,Eidos蒙特利尔工作室首席技术动画师Simon Habib详细介绍了《漫威银河护卫队(Marvel’s Guardians of The Galaxy)》背后的面部表情动画流水线。

  以下是听译完整内容:

  西蒙哈比卜:

  欢迎来到“《漫威银河护卫队》面部动画管道”。我是西蒙哈比卜,是Eidos蒙特利尔工作室的首席技术动画师。简单介绍一下自己。在职业生涯的前十年,我主要做的是binder,这为我研发工具、人类和敌人的动画等打下了基础。

Eido首席动画师分享银河护卫队如何搭建3A级别的面部表情管道?  第1张

  这几年我致力于自己真正热爱的领域,那就是面部动画。因为动作冒险剧情类游戏是我最喜欢的类别,从事这些项目非常适合我,也让我创作出高质量的有情感的动画。考虑到玩家对游戏的积极反馈,我可以自豪地说,我们的角色得到了玩家的认可。

  首先,我展示了过场动画的不同制作阶段。通过今天的分享,我们将知道这一幕是如何创造的:

  以下是我们今天要分享的话题。首先,我们会提到愿景,即项目开始时的目标和期望;接下来我们会提到摄影测量扫描,这是我们重新获取模型图片,实现角色正确动画的过程。

  在第三部分中,我们将提到三种运动捕捉技术(行为捕捉:电影艺术,小丑/吠叫,电子运动捕捉)。在第四部分,我们将提到如何处理捕获阶段的数据,并将其转换为动画(批处理)。在最后一部分,我们将讨论过场动画优化以及如何达到最终的质量。

  需要提前说明的是,这个分享主要集中在面部动画,所以我不会提什么过场动画管道和面部绑定。主要讲的是如何捕捉演员的面部表情,如何给角色做面部动画。我把它们做成一些专业术语,但它们仍然是整个面部动画的总体概述。项目愿景

Eido首席动画师分享银河护卫队如何搭建3A级别的面部表情管道?  第2张

  当我们开始整个项目时,我们要做什么?我们当时就知道《漫威银河护卫队》会是一个性能驱动的叙事游戏。作为陪护,我们希望有一个5人的团队,一起度过比赛的大部分时间。我们知道这些角色需要做成漫画风格,但同时又要可信,还要有生动的面部动画。我们也知道他们需要在不同的星球之间穿梭,所以他们不是人类角色。

  我们希望寻求技术创新,这样它就可以用在我们的游戏中。其中一种技术是摄影测量。总的来说,我们有一批专门从事人物形象、动画、参照物创作的艺术家。但使用摄影测量技术后,我们可以通过扫描真人来创建人物的基本内容,这一点我们接下来会详细讲。

  说到音频动画和视频动画,很多游戏都是通过音频来影响一个角色的面部表情。这个方法是E-Motion技术程序生成的,通过声音很容易想象出角色接下来的表情是什么。视频方面,演员的表演是我们动画的基础,可以直接应用到角色身上,所以可以带来更可信的表演和细微的细节。

  幸运的是,我们有一个内部动作捕捉阶段,所以我们可以在整个项目中使用动作捕捉技术。我们的演员都是本土团队,所以游戏角色从表演、抓拍到动画的过程很短,特别是相对于外部动作抓拍团队的配合,这是一个很大的优势。

  先说完整动作捕捉的优势。很多人倾向于脱离面部动画单独做配音,然后融入过场动画,这样容易导致面部表情和台词不一致,让人觉得人物不连贯。相比之下,我们的动作捕捉过程会捕捉所有演员的声音、表情和动作,确保角色的表情尽可能自然。

  对于游戏来说,我们有时候要在质和量之间做出选择,也就是说要么做大量的动画,要么少做质量高很多的动画。在这个项目中,我们希望证明质量和数量是可以共存的,只要我们对面部动画进行评分。

  青铜动画是指需要很少人力(或者没人)的动画。银色动画是指那些捕捉动作但需要人手处理的,金色动画更重要。

  照相扫描

  这项技术是通过从不同角度拍摄数百张不同的物体照片来创建3D模型。

  考虑到我们的设定是银河系,所以角色不需要和演员一一对应,我们需要确定的是,先铸造一个模型,然后根据这个人设计一个概念,还是反过来做?考虑到项目需求,我们决定先设计一个角色概念,然后在此基础上铸造一个模型。这个摄影测量室由Pixel Light Effects设计,安装在我们自己的一个工作室里。这个房间包括40个DSLR摄像机和5个软箱灯,所有这些都是同时触发的。在模型铸造方面,我们有13个扫描会话。对于每种表情,我们在他们的脸上放置大约100个面部标志。我们让演员表演25种面部表情。我们将完整的面部表情分成138个形状进行面部表情绑定。

  赶紧说说流程吧。这个测量室可以给我们带来一个. cr2的图形文件。我们将把它放在Lightroom Classic中进行颜色关联和光线调整,然后使用Reality Capture生成高分辨率的网格。然后,我们把这些动画交给角色团队,最后通过Wrap3和ZBrush进行优化。

  这里是Maya软件中Blendshape的预览。这个链接的目的是确保我们的角色与真实模型一致。它的好处是,我们可以把一个角色面部的很多部分拆分出来,和其他角色混合在一起,创造出新的角色。

  右上角可以看到一个摄像头拍摄的不同表情,下方是Blendshape变换的不同模型。

  动作捕捉(性能捕捉)

  从我们内部的动作捕捉设置来看,演员的肢体动作、面部表演、声音都是同时记录的。我们在整个项目中使用了三种类型的动作捕捉,接下来我们将逐一探讨它们。

  在下图中,我们可以看到内部使用的移动捕捉量。虽然我们的规模相对其他工作室来说比较小,但是对于动画、动作、一些特效都是很有帮助的。我们最多有七个演员同时录制,其中六个戴着HMC(头戴式摄像机)来捕捉表情。

  动态身体捕捉通过OptiTrack实现,头盔由Faceware提供。在右图中,我们可以看到演员们全副武装,戴着头盔,穿着制服。每个演员都有自己的现场麦克风,分别记录每个人的声音,然后在必要时集成到游戏中。

  有了这些,所有数据需要同步,所以我们在所有链接中使用时间码,还使用内部解决方案琉米爱尔进行全局触发。

  在下面的照片中,我们可以看到面部表情的现场记录。通常,在录制和捕捉时,我们有五个人从这个角度进行监督,包括制作人、系统总监、动作捕捉专员、音频工程师和我来处理面部技术。我们还有一个团队负责给演员穿制服。这些都是正常情况,但去年(疫情)明显不正常。我们有很多限制,比如社会隔离,戴口罩等等。不过,更有趣的是,我们有一个摄像头来拍摄房间,并通过视频会议进行直播,这样其他人就可以在家里进行交流和反馈。尽管条件有限,我们仍然完成了所有需要做的工作。

  通过这张图,我们可以看到使用了多少个摄像头。这是Faceware的Mark III头戴式相机。这些机型都是用RGB录制的,彩色镜头是720p 60fps。相机使用昏暗的LED灯,减少了耀眼的背景,最大限度地减少了阴影。

  为了校准,我们在演员的脸上画了27个点,这与软件中跟踪的数字一致。在监视器方面,我们使用了带有透明网格的显示器,保证演员的脸部在视频的中心,有助于动作捕捉的连续性和稳定性。

  值得一提的是,演员的舒适度也很重要。我们用的头盔比较轻,摄像头正好在他们的脸前面,不会影响他们的视线。我们也不断提醒自己不要影响他们的表现。

  这里我们看到的是过场动画现场抓拍录制场景的首秀。画面右侧有六个演员,中间有三个参考摄像机,底部有录制文件名和时间戳。这可以同步一切,包括音频。

  另一种类型的动态捕获称为Banters。我们知道警卫在整个游戏中可以对话,我们所有的演员一起录音,保证了角色之间的化学反应。我们一共录了23000个对话,每个对话都是大家都在现场的时候录的。录制的视频用于制作动作、战斗和游戏对话的动画。

  虽然我们录的是整张脸,但是主要用的是下脸进行嘴唇同步,整张脸交给机器学习进行表情跟踪。

  视频中,我们有一段戏谑的对话,录制时演员并不静止。因为他们的摄像头安装在脸前,所以可以在谈话过程中自由走动,不会机械地盯着提词器,不会造成玩游戏或音频混乱的问题。

Eido首席动画师分享银河护卫队如何搭建3A级别的面部表情管道?  第3张

  正如你所看到的,在对话的录制过程中,我们的演员有时会互相开玩笑。考虑到整个过程很长,这样的设计也让他们可以享受整个表演过程。

  最后一个是电子动作捕捉。在录制的时候,我们会要求演员带着不同的情绪进行录制,因为当我们带着不同的情绪说同一句话的时候,会有很多无法用语言描述的手势。这对说话者和听者都是如此。因此,我们要求他们一对一地站着(或坐着)来增加运动的层次。

  如前所述,逗比阶段记录的面部表情可以传递给机器学习处理,生成情感轨迹。这是一个游戏内笑话。你可以注意到,嘴唇同步和表演是一致的,身体也有叠加动画,大家说话的时候会对视。需要注意的是,这些东西都是自动生成的,所以我们把它们当做青铜动画。

The End