动作捕捉赋能混合现实技术加持大型演艺秀，沉浸式体验再升级！
虚拟机器人与人共舞，能带来怎样一种视觉体验？请大家先看下方视频。
这段精彩的表演来自于BBC知名舞蹈真人秀电视节目——《舞动奇迹》(Strictly Come Dancing) 。自2004 年诞生以来，该节目已经走过了18个年头，时代不断变化，节目也不断创新，最新一季中，参赛者 Dianne Buswell 在她的编舞中加入4名虚拟机器人的混合现实表演赢得了全球观众的喝彩。
为了这次主题，节目组找来了专业的特效工作室 Unlimited Motion 为舞团打造虚拟仿真机器人（metallic robots），并运用unreal 虚幻引擎的即时渲染技术搭配Xsens MVN 动作捕捉系统，进行即时逼真的舞蹈动作录制。伴随着《Kraftwerk and Yazoo》舞曲，这些虚拟角色与真实演员一同在舞台上舞动起来。
Unlimited Motion 的节目导演瑞恩·加里（Ryan Garry）在采访中讲述了在创作这场科技感十足的混合现实舞台秀过程中所遇到的一系列困难，让我们一起来看看吧。
混合现实技术加持大型演艺秀，沉浸式体验再升级
当人人都在谈论“元宇宙”，演出行业如何理解和应用“元宇宙”？
《舞动奇迹》是一个有着特定模式的成熟节目，但节目组一直在寻找新的方法进行创新，2020 年，该节目渴望突破创意界限和疫情限制，首次将AR技术引入《舞动奇迹》之中，当时他们通过使用两个Mo-Sys动作跟踪摄像机将虚拟人物显示在舞者身后的大屏幕上。这次，他们想尝试一项新技术——动作捕捉技术。
“舞者们穿戴 Xsens MVN Link 动作捕捉套装时并不会影响其舞蹈动作，因为MVN Link 类似于穿着戏服进行表演，加上它相对贴合身体，所以舞者们可以很舒适的穿着动捕套装进行各种舞蹈动作。”由于布景导演和舞蹈编导以前没有使用过这项全新的技术，所以特效团队需要向导演解释动作捕捉的每一个步骤，“你可以将 MVN Link套装用于任何类型的动作捕捉之中，不一定是特定的舞蹈。以前我们会被限制只能在AR中表演舞蹈，但动作捕捉技术让我们不再局限于这种形式，这为我们提供了足够的灵活性。”加里说道。
虽然表演者很快接受了这项技术，但是导演们的思维模式仍然需要转变。
“目前我们遇到的问题是如何实时观看舞蹈排演的问题，即导演在预览窗口上看到的并不一定是最终的呈现效果，他们担心预演中出现的问题都会反映到最终的表演中，于是我们不得不向他们解释，我们可以在之后解决这些问题。”加里说道。
在metallic robots表演获得前所未有的成功后Unlimited Motion将继续与《舞动奇迹》合作，并使用同样的方法创造新项目《跳舞的企鹅圣诞特辑》。
虽然元宇宙听起来像是未来愿景，但混合现实表演如今已经开始进入大众视野，并融入主流娱乐媒体之中。美国虚拟选秀节目《Alter Ego》便将此技术作为主要卖点，此外，在2021年全球电子游戏竞技运动会上表演的歌手ShiGGa Shay也展示了该领域令人兴奋的创新性。
像《舞动奇迹》这样通过动作捕捉、实时虚拟现实制作和虚幻引擎等技术，实现多维感知的异空间场景共存，创造出令人难忘的“沉浸式”数字媒体艺术媒体异质空间混合现实体验，势必成为一种火热趋势。
那么，混合现实到底是什么？动作捕捉技术又将如何为混合现实赋能，给观众带来更真实的沉浸式体验呢？
动作捕捉技术在混合现实中的价值
混合现实是利用各种传感器和显示设备，将虚拟现实和物理现实无缝连接在一起的高精尖技术。将虚拟的信息应用到真实世界，现实环境和虚拟物体同时存在于同一个时空。就像在共同组成的一幅画中，无法分辨哪些是真实哪些是虚拟的。
作为虚拟现实技术的“升级版”，混合现实技术部分整合了虚拟现实下的三维重建技术，但是由于引入了对物理世界的实时感知，对三维重建的实时性、精度和逼真度都提出了全面更高的需求。混合现实有三个基本特征：真实性、实时与互动、构想性。
动作捕捉在3D动画领域的使用原理简单来讲就是记录演员的肢体动作或者表情，将生成的动作数据通过软件赋予到虚拟的角色人物身上，最终成为动画序列并实现角色动画。在动作捕捉技术的帮助下，创作者可以展现动作流畅逼真的3D虚拟人物。
在电影和游戏这样的娱乐行业中，动作捕捉技术用于获取更真实的人体运动，角色的动作可以像现实中人的动作一样无比真实自然，这在某种程度上给了受众视觉上的冲击力，把人们对会动虚拟角色的认知从夸张变形的卡通动画中解放出来。
增强真实体验，提高观众兴趣
相对于虚拟现实技术而言，混合现实技术最大的优越性就在于其真实感和临场感，能够激发受众更多真实的感官体验。动作捕捉的应用能使虚拟角色的动作更加逼真流畅，并且可以使虚拟角色与真实演员进行实时交互。
这样观众在观看表演时，在动作真实的角色带领下，融合混合现实技术所带来的奇特效果能大大提高观众的观感体验。
缩减制作成本
相比于手工绘制动画，动作捕捉技术能以高出几百倍甚至几千倍的制作效率去实现逼真的动画制作，这是动作捕捉在大幅度提升三维制作的生产效率和产品质量时所具有的优势。
在角色动画的制作过程中，动作的制作非常耗时耗力耗耗资，角色的动作要符合运动规律，走路、跑步及说话时的口型及开心生气哀伤的表情等，为了达到这样的效果动画师要仔细推敲和研究各种事物的运动规律。而动作捕捉可以将动画师从繁重的调帧工作中解脱出来专注于角色动画的创意。
“这是我做过的节奏最快的项目，节目需要在排练之前能够预览Demo。因此项目原型必须在一周内制作完成并提交审核。”加里在采访中这样说道。动作捕捉技术无疑为他的特效团队节省了许多时间和制作成本。
使用Xsens动作捕捉系统进行创作
驱动《舞动奇迹》成功的关键因素之一是Xsens动捕套装的使用，舞者们使用的Xsens MVN Link套装能够适应舞厅舞台等特殊环境。
“舞台地板上有wi-fi信号干扰，舞台装饰品中有金属干扰，因此舞台环境并不是一个理想的无干扰环境，幸好Xsens动作捕捉系统具有很好的抗磁干扰能力。我在使用以前的动捕套装时发现，清理数据比做创造性工作花费的时间还要多，这就有些本末倒置了。我最初选择使用Xsens的主要原因之一就是其能够采集到足够清晰干净的数据，这帮助我们节省了大量清理无用数据的时间。”加里说道。
在混合现实表演中对动作捕捉的探索和实验将为更多的创意提供动力。以Unlimited Motion的《舞动奇迹》为例，当你能够使用更加有效工具时，那么花在处理数据上的时间就会减少，这会让你有更多的时间和精力专注在创作本身上。
法国知名哲学家梅洛·庞蒂认为，世界本身即是一种现象场域。体验，实质上就是对“现象场域”的感受，由于计算机拟像和仿真技术的发展，数字媒体艺术公共“场所”的知觉感受已进入到了多样现实并存、交叠互动的异质空间时代。
因此，现代意义上的“混合现实” (Mixed Reality)体验是不同类型的现实的彼此混合，这种混合生成了物理对象与虚拟对象可以共存与互动的新环境。而通过将动作捕捉技术与虚拟现实技术相结合的全新表演形式将更加能够激发观众们观看演出的热情。
如需获取相关设备方案及报价，欢迎致电4006-111-556详询！