BBC将混合现实技术和动作捕捉技术融入舞蹈节目《舞动奇迹》之中
去年11月开播的《舞动奇迹》是最新一档基于元宇宙的大型电视节目，节目中的混合现实表演赢得了全球观众的青睐。Unlimited Motion专注于将表演数字化、对演员动作进行捕捉、3D扫描和虚拟制作。利用Xsens的动作捕捉技术，他们创造了metallic robots舞团，结合了运动图形和运动捕捉，伴随着Kraftwerk and Yazoo的舞曲，这些虚拟角色在舞台上以极其自然的动作舞动起来。Unlimited Motion的导演瑞恩·加里向我们讲述了创建这一项目的过程和团队必须克服的障碍。
“这是我做过的周转最快的项目，因为节目需要在排练之前就有预览Demo。项目原型必须在一周内完成并提交审核。”
《舞动奇迹》是一个有着独特形式的成熟节目，节目一直在寻找新的方式来进行创新。2020年，随着节目组渴望推动节目的创新性和突如其来的疫情的限制，节目引入了增强现实元素。这一创新带来了巨大的成功，因此制片人希望在2021年进一步发展这项技术。
加里说道：“我在《舞动奇迹》之前的一个项目中与Potion Picture合作，该项目是为一艘游轮设计的，在那个项目种我们让动画版的蒙娜丽莎在一艘游轮上与真实舞者一同起舞。在那之后，Potion Picture也准备将AR技术引入《舞动奇迹》之中，当时他们通过使用两个Mo-Sys动作跟踪摄像机将虚拟人物显示在舞者身后的大屏幕上。今年，他们想引入另一项新技术——动作捕捉技术。每年他们都想做一些不同的事情，并在之前所做的基础上再接再厉。所以今年，他们想加入全新的动作捕捉技术。”。
吸引观众每周观看节目一个主要原因是现场表演的不可预测性，以及每集截然不同的主题。对于制作团队来说，这就意味着几乎没有实验的空间，这就是上面提到的加里和Unlimited Motion团队最初在向制片人传达动作捕捉技术的能力时遇到了问题的原因。
“我们发现舞者们使用Xsens Link套装并不会影响其舞蹈动作，因为Xsens Link套装类似于穿着戏服进行表演，加上它相对贴合身体，所以舞者们可以很舒适的穿着动捕套装进行各种舞蹈动作”加里说道。由于布景导演和舞蹈编导以前没有使用过这种技术，所以加里和Potion Picture的工作人员需要向导演解释动作捕捉的每一个步骤，“你可以将Xsens Link套装用于任何类型的动作捕捉之中，不一定是特定的舞蹈。以前我们会被限制只能在AR中表演舞蹈，但动作捕捉技术让他们不再局限于这种形式，这给了我们足够的灵活性。”加里说道。
由于动作捕捉对于广电行业来说还是一个相对较新的事物，所以在制作过程中提出一些问题是可以理解的。虽然表演者很快接受了这项技术，但在他们真正参与进来之前，导演们的思维模式仍然需要一些转变的过程。
“目前我们遇到的问题是如何实时观看舞蹈排演的问题。我认为导演们必须克服这个事实，即他们在预览窗口上看到的并不一定是在最终交付中看到的，因为导演们习惯于在们面前的舞池中看到现场直播的舞蹈，”加里解释道。“他们担心预演中出现的任何问题都会反映在最终的表演中，但我们不得不向他们解释到，我们可以在之后清理这些问题。其实一旦他们明白了这一点，他们就会热衷于试验这项技术。”加里说道。
在metallic robots表演获得前所未有的成功后Unlimited Motion决定继续与Potion Picture合作，并使用同样的方法创建《跳舞的企鹅圣诞特辑》。
混合现实与惯性动捕技术
使用混合现实技术进行表演的场次继续逐年增长，随着技术的持续发展，以及对元宇宙这一全新理念的全球爆发，混合现实表演将成为一种全新的火热趋势。像《Alter Ego》这样的大预算节目也开始以突出技术作为主要卖点，同时如在2021年全球电子游戏竞技运动会上的ShiGGa Shay也展示了该领域令人兴奋的创新性。对于加里来说，像《舞动奇迹》这样通过动作捕捉建立的项目将有助于在整个行业中推广这项技术的进一步应用。
“混合现实已经越来越深入到各大顶级节目中，比如英国的《舞动奇迹》和美国的《Alter Ego》。我认为将全新技术带入到这些顶级节目中是一件好事，因为这将使（动作捕捉）技术越来越多地渗透到那些中低预算的节目、电影或任何类型的娱乐产业中。随着渲染变得更容易、更快且更便宜，人们对这项技术的使用率势必将进一步增加。”
虽然元宇宙听起来像是地平线上的未来愿景，但混合现实表演如今已经嵌入主流娱乐之中，混合“现实世界”和数字表演已经开始进入大众视野。从Roblox的21 Pilots’的虚拟音乐会元宇宙到人们家中观看的AR和VR小型音乐剧，人们对数字增强表演的需求是显而易见的。然而，加里认为，在运动捕捉技术更广泛地用于现场活动之前，弥合知识与技能上的差距是非常必要的。
“目前，我认为业内存在意识和技能差距。有很多CGI艺术家专门使用像Maya这样的程序，但在游戏引擎使用方面却没有这么多涉猎，比如虚幻引擎和Unity，相比于Maya而言这些游戏引擎其实能够更容易地实现这项技术。我认为称它们为游戏引擎会阻碍它们的发展。“实时”引擎是一个开始被更多使用的术语，这更合适，因为它们不仅仅用于游戏，还用于其他实时体验，如混合现实和扩展现实。再加上工具本身都是免费或者相对便宜的。大多数从事动画制作或VFX的人可能仍在使用after effects之类的程序，但我相信五年后，将会有更多的人使用实时引擎进行工作。”
与Xsens协作
驱动Unlimited Motion的《舞动奇迹》表演数字化的成功的关键因素之一是Xsens动捕套装的使用。舞者们使用的Xsens Link套装能够适应舞厅舞台等特殊环境。“Xsens套装具有抗磁干扰能力。舞台地板上有wi-fi信号干扰，舞台装饰品中有金属干扰，因此舞台环境并不是一个完全无干扰的环境。我在使用以前的动捕套装时发现，清理数据比做创造性工作花费的时间还要多，这就有些本末倒置了。我最初选择使用Xsens的主要原因之一就是其能够采集到足够清晰干净的数据，这帮助我们节省了大量清理无用数据的时间。”加里说道。
在混合现实表演中对动作捕捉的探索和实验将为更多的创意和联系铺平道路。以Unlimited Motion的《舞动奇迹》为例，当你能够使用更加有效工具时，那么花在处理数据上的时间就会减少，这会让你有更多的时间和精力专注在创作作品本身上。动作捕捉为艺术家门开辟了一种新的创作形式，数字化表演更是一种全新的艺术表达方式，而通过将动作捕捉技术与虚拟现实技术相结合的全新表演形式将更加能够激发观众们观看演出的热情。