Faceware：实时直播电视节目《Mapi》中的面部动作捕捉应用

你是否曾经好奇过面部动画和动作捕捉是如何在现场虚拟制片环境中使用的？Iralta虚拟制片团队为我们介绍了他们如何为西班牙公共广播网TVE1制作虚拟角色Mapi。本文中Iralta虚拟制片团队介绍了虚拟角色Mapi是如何被创造出来的，以及创造一部与众不同的电视节目所涉及的各种工作流程。

Mapi是谁？

Mapi不仅仅是一个智力竞赛节目，还是节目中一个增强现实的3D角色。该节目和角色由Iralta虚拟制片公司与Mediacrest和RTVE合作制作，在TVE1的“黄金时段”播出。《Mapi》改编自日本公共频道NHK的著名电视节目《Chiko的挑战》，这是一档具有革命性的电视节目。《Chiko的挑战》每周播出一期，因此对于《Mapi》而言使节目的制作流程适应日常的播出需求成为了一项技术挑战。

Faceware的应用

节目组要求Iralta为其制作一个能够像有血有肉的演员一样表演的3D角色：一个半人半3D的混合角色，可以与其他演员、参赛者和现实生活中的物体互动。

通过使用安装在摄像机和女演员身上的Mo-Sys能够在空间中定位3D模型。这使得制作组能够在真实和虚拟空间中定位角色。

面部捕捉工作流程使用Faceware的Mark IV headcam和Faceware Studio将女演员的动作实时转换为3D模型的动作。随着时间的推移，“机器学习”的使用也有助于面部捕捉软件提高Mapi的表现力。

另外角色的动画是在虚幻引擎中开发的，以便于为Mapi添加一些，如烟雾，雨水或特定表情等特殊效果。

虚拟制片流程

使用实时渲染引擎——虚幻引擎，我们可以通过四个摄像头完成整场直播秀。为了合成和增强真实感，我们还使用了与布景相同的照明和来自视频面板的灯光功能。

开发AR 3D角色的集成是为了向vision mixer提供四个现场反馈，从而允许导演实现现场混合直播。

这个为虚拟制片设计的实时制作工作流程超过了5400分钟（90小时），无需进行任何3D后期制作。

这种制作3D、VFX和动画的新方式彻底改变了拍摄和后期制作的既定模式。虚拟制片让动画和“后期制作”与现在拍摄同时进行。演员现在能够与场景中的3D元素以及虚拟演员进行实时互动。

《Mapi》的制作是一项艰难且极具创造性的壮举。那么我们如何使用类似《阿凡达》、《曼达洛人》或《堡垒之夜》的技术来制作完整的电视直播节目呢？许多广播公司使用增强现实来添加图形内容或数据，但这是第一次混合3D角色在多台摄像机上参与实时表演。

关于角色Mapi的设计

Mapi的设计在一定程度上参考了“Chiko的挑战”以及它最初是如何融入日本文化和电视的。对于创造一个更受西方人接受的角色而言，Mapi的设计灵感更多来自于如“Family Telerin”中的Clea和Cuquin或“Wreck-it Ralph”中的Vanellope等角色。

Mapi的角色设计由马科斯·拉亚（Marcos Raya）和安吉尔·乌尔维纳（Angel Urbina）和戴夫·伯顿（Dave Burton）领导的Iralta 虚拟制片团队负责。Mapi是一个充满疑问的幽默小女孩。而在更深层次上，Mapi是知识的女王，她拥有极其丰富的面部表情。Mapi的3D模型是一个女孩的脸，能够表达从笑到愤怒的一系列情绪，这能提升演员的即兴表演能力。

女演员Carla Pulpón

使用虚拟制片的增强现实使我们能够获得演员的最佳表演，并实时将其转换为3D角色。当然如果没有Mapi背后的女演员Carla Pulpón，这些表情就很难活灵活现的展现出来了。在片场的每一天，Carla都赋予她所扮演的虚拟角色生命力。她在录制节目的时候会戴着一个参考用的假人头部，以及Faceware Mark IV头戴式摄像系统，该系统可以使她的面部动作与Mapi保持同步。

服装

Mapi是一个虚拟与现实结合的角色。Mapi人体部分的服装由来自Producciones Mutis的Esther R. Luaces和Reyes Pe负责。TVE所需的设计是在创纪录的时间内完成的，以配合此次展览的试点和技术测试。织物的颜色和纹理必须与虚拟数字角色相结合。Mapi的服装需要在视觉上吸引人的同时也非常实用，因为她的背包必须隐藏面部和动作跟踪硬件。巨大的假人头部帮助Carla实现了准确的动作，并给我们带来了真实的反射和阴影。

Iralta

该项目使用了7台功能强大的计算机来为Mapi的虚拟部分注入活力，并整合了不同的数据（如视频、位置信息和面部识别等）：分析、动画和渲染。此外制作组还开发了一系列数字道具来增强Mapi的情感和动作。

在录制前的几个月，Iralta的虚拟制片团队参与了研发和其他测试，以使Mapi栩栩如生。他们在优化面部和相机跟踪系统上花费了许多时间，这些系统在每个节目中都在不断发展、进步。在几个星期的时间中，工作人员将计算机系统和软件推向极限，最终获得了获得绝佳的实时动画效果。