Eido首席动画师分享银河护卫队如何搭建3A级别的面部表情管道？

　　/对于很多游戏，尤其是高质量的游戏，面部表情是影响玩家代入感的重要因素之一。合适的嘴型、表情和同步配音往往能让一个角色活灵活现。

　　在GDC2022大会的演讲中，Eidos蒙特利尔工作室首席技术动画师Simon Habib详细介绍了《漫威银河护卫队（Marvel’s Guardians of The Galaxy）》背后的面部表情动画流水线。

　　以下是听译完整内容：

　　西蒙哈比卜：

　　欢迎来到“《漫威银河护卫队》面部动画管道”。我是西蒙哈比卜，是Eidos蒙特利尔工作室的首席技术动画师。简单介绍一下自己。在职业生涯的前十年，我主要做的是binder，这为我研发工具、人类和敌人的动画等打下了基础。

　　这几年我致力于自己真正热爱的领域，那就是面部动画。因为动作冒险剧情类游戏是我最喜欢的类别，从事这些项目非常适合我，也让我创作出高质量的有情感的动画。考虑到玩家对游戏的积极反馈，我可以自豪地说，我们的角色得到了玩家的认可。

　　首先，我展示了过场动画的不同制作阶段。通过今天的分享，我们将知道这一幕是如何创造的：

　　以下是我们今天要分享的话题。首先，我们会提到愿景，即项目开始时的目标和期望；接下来我们会提到摄影测量扫描，这是我们重新获取模型图片，实现角色正确动画的过程。

　　在第三部分中，我们将提到三种运动捕捉技术(行为捕捉：电影艺术，小丑/吠叫，电子运动捕捉)。在第四部分，我们将提到如何处理捕获阶段的数据，并将其转换为动画(批处理)。在最后一部分，我们将讨论过场动画优化以及如何达到最终的质量。

　　需要提前说明的是，这个分享主要集中在面部动画，所以我不会提什么过场动画管道和面部绑定。主要讲的是如何捕捉演员的面部表情，如何给角色做面部动画。我把它们做成一些专业术语，但它们仍然是整个面部动画的总体概述。项目愿景

　　当我们开始整个项目时，我们要做什么？我们当时就知道《漫威银河护卫队》会是一个性能驱动的叙事游戏。作为陪护，我们希望有一个5人的团队，一起度过比赛的大部分时间。我们知道这些角色需要做成漫画风格，但同时又要可信，还要有生动的面部动画。我们也知道他们需要在不同的星球之间穿梭，所以他们不是人类角色。

　　我们希望寻求技术创新，这样它就可以用在我们的游戏中。其中一种技术是摄影测量。总的来说，我们有一批专门从事人物形象、动画、参照物创作的艺术家。但使用摄影测量技术后，我们可以通过扫描真人来创建人物的基本内容，这一点我们接下来会详细讲。

　　说到音频动画和视频动画，很多游戏都是通过音频来影响一个角色的面部表情。这个方法是E-Motion技术程序生成的，通过声音很容易想象出角色接下来的表情是什么。视频方面，演员的表演是我们动画的基础，可以直接应用到角色身上，所以可以带来更可信的表演和细微的细节。

　　幸运的是，我们有一个内部动作捕捉阶段，所以我们可以在整个项目中使用动作捕捉技术。我们的演员都是本土团队，所以游戏角色从表演、抓拍到动画的过程很短，特别是相对于外部动作抓拍团队的配合，这是一个很大的优势。

　　先说完整动作捕捉的优势。很多人倾向于脱离面部动画单独做配音，然后融入过场动画，这样容易导致面部表情和台词不一致，让人觉得人物不连贯。相比之下，我们的动作捕捉过程会捕捉所有演员的声音、表情和动作，确保角色的表情尽可能自然。

　　对于游戏来说，我们有时候要在质和量之间做出选择，也就是说要么做大量的动画，要么少做质量高很多的动画。在这个项目中，我们希望证明质量和数量是可以共存的，只要我们对面部动画进行评分。

　　青铜动画是指需要很少人力(或者没人)的动画。银色动画是指那些捕捉动作但需要人手处理的，金色动画更重要。

　　照相扫描

　　这项技术是通过从不同角度拍摄数百张不同的物体照片来创建3D模型。

　　考虑到我们的设定是银河系，所以角色不需要和演员一一对应，我们需要确定的是，先铸造一个模型，然后根据这个人设计一个概念，还是反过来做？考虑到项目需求，我们决定先设计一个角色概念，然后在此基础上铸造一个模型。这个摄影测量室由Pixel Light Effects设计，安装在我们自己的一个工作室里。这个房间包括40个DSLR摄像机和5个软箱灯，所有这些都是同时触发的。在模型铸造方面，我们有13个扫描会话。对于每种表情，我们在他们的脸上放置大约100个面部标志。我们让演员表演25种面部表情。我们将完整的面部表情分成138个形状进行面部表情绑定。

　　赶紧说说流程吧。这个测量室可以给我们带来一个. cr2的图形文件。我们将把它放在Lightroom Classic中进行颜色关联和光线调整，然后使用Reality Capture生成高分辨率的网格。然后，我们把这些动画交给角色团队，最后通过Wrap3和ZBrush进行优化。

　　这里是Maya软件中Blendshape的预览。这个链接的目的是确保我们的角色与真实模型一致。它的好处是，我们可以把一个角色面部的很多部分拆分出来，和其他角色混合在一起，创造出新的角色。

　　右上角可以看到一个摄像头拍摄的不同表情，下方是Blendshape变换的不同模型。

　　动作捕捉(性能捕捉)

　　从我们内部的动作捕捉设置来看，演员的肢体动作、面部表演、声音都是同时记录的。我们在整个项目中使用了三种类型的动作捕捉，接下来我们将逐一探讨它们。

　　在下图中，我们可以看到内部使用的移动捕捉量。虽然我们的规模相对其他工作室来说比较小，但是对于动画、动作、一些特效都是很有帮助的。我们最多有七个演员同时录制，其中六个戴着HMC(头戴式摄像机)来捕捉表情。

　　动态身体捕捉通过OptiTrack实现，头盔由Faceware提供。在右图中，我们可以看到演员们全副武装，戴着头盔，穿着制服。每个演员都有自己的现场麦克风，分别记录每个人的声音，然后在必要时集成到游戏中。

　　有了这些，所有数据需要同步，所以我们在所有链接中使用时间码，还使用内部解决方案琉米爱尔进行全局触发。

　　在下面的照片中，我们可以看到面部表情的现场记录。通常，在录制和捕捉时，我们有五个人从这个角度进行监督，包括制作人、系统总监、动作捕捉专员、音频工程师和我来处理面部技术。我们还有一个团队负责给演员穿制服。这些都是正常情况，但去年(疫情)明显不正常。我们有很多限制，比如社会隔离，戴口罩等等。不过，更有趣的是，我们有一个摄像头来拍摄房间，并通过视频会议进行直播，这样其他人就可以在家里进行交流和反馈。尽管条件有限，我们仍然完成了所有需要做的工作。

　　通过这张图，我们可以看到使用了多少个摄像头。这是Faceware的Mark III头戴式相机。这些机型都是用RGB录制的，彩色镜头是720p 60fps。相机使用昏暗的LED灯，减少了耀眼的背景，最大限度地减少了阴影。

　　为了校准，我们在演员的脸上画了27个点，这与软件中跟踪的数字一致。在监视器方面，我们使用了带有透明网格的显示器，保证演员的脸部在视频的中心，有助于动作捕捉的连续性和稳定性。

　　值得一提的是，演员的舒适度也很重要。我们用的头盔比较轻，摄像头正好在他们的脸前面，不会影响他们的视线。我们也不断提醒自己不要影响他们的表现。

　　这里我们看到的是过场动画现场抓拍录制场景的首秀。画面右侧有六个演员，中间有三个参考摄像机，底部有录制文件名和时间戳。这可以同步一切，包括音频。

　　另一种类型的动态捕获称为Banters。我们知道警卫在整个游戏中可以对话，我们所有的演员一起录音，保证了角色之间的化学反应。我们一共录了23000个对话，每个对话都是大家都在现场的时候录的。录制的视频用于制作动作、战斗和游戏对话的动画。

　　虽然我们录的是整张脸，但是主要用的是下脸进行嘴唇同步，整张脸交给机器学习进行表情跟踪。

　　视频中，我们有一段戏谑的对话，录制时演员并不静止。因为他们的摄像头安装在脸前，所以可以在谈话过程中自由走动，不会机械地盯着提词器，不会造成玩游戏或音频混乱的问题。

　　正如你所看到的，在对话的录制过程中，我们的演员有时会互相开玩笑。考虑到整个过程很长，这样的设计也让他们可以享受整个表演过程。

　　最后一个是电子动作捕捉。在录制的时候，我们会要求演员带着不同的情绪进行录制，因为当我们带着不同的情绪说同一句话的时候，会有很多无法用语言描述的手势。这对说话者和听者都是如此。因此，我们要求他们一对一地站着(或坐着)来增加运动的层次。

　　如前所述，逗比阶段记录的面部表情可以传递给机器学习处理，生成情感轨迹。这是一个游戏内笑话。你可以注意到，嘴唇同步和表演是一致的，身体也有叠加动画，大家说话的时候会对视。需要注意的是，这些东西都是自动生成的，所以我们把它们当做青铜动画。