Xen动作捕捉赋能混合现实技术，沉浸式体验再升级！
机器人与人共舞，能带来怎样一种视觉体验？请大家先看下方视频
，时长02:51
这段精彩的表演来自于英国知名舞蹈真人秀电视节目——舞动奇迹(Strictly Come Dancing) 。节目自2004年开播至今已走过了18个年头，时代不断变化，节目也在不断地创新。在最新一季中，参赛者Dianne Buswell通过混合现实的形式在编舞中加入4名机器人，让观众们惊叹不已。
为了实现这一创意，节目组找来了专业的特效工作室Unlimited Motion为舞团打造虚拟金属机器人，并运用虚幻引擎的即时渲染技术搭配Xsens MVN动作捕捉系统，进行即时逼真的舞蹈动作录制。伴随着Kraftwerk和Yazoo的舞曲，这些虚拟角色与演员一同在舞台上舞动。
Unlimited Motion的总监，Xsens的长期合作者Ryan Garry， 向我们讲述了创作这极具未来感表演的过程，以及他和团队遇到的一系列困难。
混合现实技术加持大型演艺秀
沉浸式体验再升级
当人人都在谈论“元宇宙”，演出行业如何理解和应用“元宇宙”？
《舞动奇迹》是一个有着特定模式的成熟节目，但节目组一直在寻找新的方法进行创新。2020 年，该节目渴望突破创意界限和新冠疫情的限制，于是通过合作伙伴Potion Pictures将AR技术引入节目中。在过去和Potion Pictures的合作中，曾使用两个Mo-Sys动作跟踪摄像机将虚拟人物显示在舞者身后的大屏幕上。而这一次，他们想尝试新的元素——动作捕捉技术。
“我们发现舞者们在穿戴Xsens MVN Link动捕套装时感觉很舒适，因为它类似于穿着戏服表演，且相对贴合身体，在舞者表演时并不会影响其动作，” Garry分享道。
由于布景导演和舞蹈编导以前从没使用这类技术，所以特效团队需要向导演解释动作捕捉的每一个步骤，“你可以将MVN Link套装用于任何类型的动作捕捉之中，不一定是特定的舞蹈。以前我们会被限制只能在AR中表演舞蹈，但动作捕捉技术让我们不再局限于这种形式，这为我们提供了足够的灵活性。” Garry说道。
动捕技术对于电视行业内大部分人来说仍是一个新事物，虽然表演者们很快接受了这项技术，但是导演们的思维模式仍然需要转变。
，时长02:10
幕后视频
“目前我们遇到的困难是如何实时观看舞蹈排演的问题，即导演在预览窗口上看到的并不一定是最终的呈现效果，他们担心彩排中出现的问题都会反映到最终的表演中，于是我们不得不向他们解释，我们可以在之后解决这些问题。”加里说道。
在这次与机器人共舞的表演获得前所未有的成功后，Unlimited Motion将继续与《舞动奇迹》合作，并使用同样的方法为节目的圣诞特别栏目制作了会跳舞的企鹅。
对动捕技术的应用实例
随着大众对元宇宙日渐增长的兴趣，以及相关技术的持续发展，混合现实表演如今已经开始进入大众视野，并融入主流娱乐媒体之中。美国虚拟选秀节目《Alter Ego》便将此技术作为主要卖点；说唱歌手ShiGGa Shay在电竞大赛上的表演也展示了该领域令人兴奋的创新性。
说唱歌手ShiGGa Shay
位于新加坡的多媒体公司Anomalyst Studio，其团队为说唱歌手ShiGGa Shay制作了混合现实表演，并在2021全球电子竞技大赛（Global Esports Games）的开幕式上演出。
，时长02:17
ShiGGa Shay演出视频
摇滚乐队21 Pilots
摇滚乐队21 Pilots在Roblox的虚拟舞台中为3500万用户举行了虚拟演唱会。表演动捕的清晰度对于Roblox和21 Pilots来说是一个重要因素，乐队希望将音乐会的情感传递到虚拟空间，因此选择正确的工具和方法至关重要。乐队在表演时身穿MVN Link套装，并佩戴Manus的Xsens手套来确保手部动作的精准捕捉。
TikTok红人Michael Le（五千五百万粉丝）最近分享了一个他与自己的虚拟形象共舞的视频，引起了极大热度。目前为止已获得超过8万的点赞数。Michael是通过Xsens的动捕服来制作虚拟形象。
像《舞动奇迹》这类节目演出通过动作捕捉、实时虚拟现实制作和虚幻引擎等技术，实现多维感知的异空间场景共存，创造出令人难忘的“沉浸式”数字媒体艺术媒体异质空间混合现实体验，势必成为一种火热趋势。
那么，混合现实到底是什么？动作捕捉技术又将如何为混合现实赋能，给观众带来更真实的沉浸式体验呢？
动作捕捉技术在混合现实中的价值
混合现实是利用各种传感器和显示设备，将虚拟现实和物理现实无缝连接在一起的高精尖技术。将虚拟的信息应用到真实世界，现实环境和虚拟物体同时存在于同一个时空。就像在共同组成的一幅画中，无法分辨哪些是真实哪些是虚拟的。
作为虚拟现实技术的“升级版”，混合现实技术部分整合了虚拟现实下的三维重建技术，但是由于引入了对物理世界的实时感知，对三维重建的实时性、精度和逼真度都提出了全面更高的需求。混合现实有三个基本特征：真实性、实时与互动、构想性。
动作捕捉在3D动画领域的使用原理简单来讲就是记录演员的肢体动作或者表情，将生成的动作数据通过软件赋予到虚拟的角色人物身上，最终成为动画序列并实现角色动画。在动作捕捉技术的帮助下，创作者可以展现动作流畅逼真的3D虚拟人物。
在电影和游戏这样的娱乐行业中，动作捕捉技术用于获取更真实的人体运动，角色的动作可以像现实中人的动作一样无比真实自然，这在某种程度上给了受众视觉上的冲击力，把人们对会动虚拟角色的认知从夸张变形的卡通动画中解放出来。
增强真实体验，提高观众兴趣
相对于虚拟现实技术而言，混合现实技术最大的优越性就在于其真实感和临场感，能够激发受众更多真实的感官体验。动作捕捉的应用能使虚拟角色的动作更加逼真流畅，并且可以使虚拟角色与真实演员进行实时交互。
舞动奇迹中逼真流畅的机器人动作
这样观众在观看表演时，在动作真实的角色带领下，融合混合现实技术所带来的奇特效果能大大提高观众的观感体验。
缩减制作成本
相比于手工绘制动画，动作捕捉技术能以高出几百倍甚至几千倍的制作效率去实现逼真的动画制作，这是动作捕捉在大幅度提升三维制作的生产效率和产品质量时所具有的优势。
在角色动画的制作过程中，动作的制作非常耗时耗力，角色的动作要符合运动规律，走路、跑步及说话时的口型及开心生气哀伤的表情等，为了达到这样的效果动画师要仔细推敲和研究各种事物的运动规律。而动作捕捉可以将动画师从繁重的调帧工作中解脱出来专注于角色动画的创意。
使用Xsens动作捕捉系统进行创作
驱动《舞动奇迹》成功的关键因素之一是Xsens动捕套装的使用，舞者们使用的Xsens MVN Link套装能够适应舞厅舞台等特殊环境。
“舞台地板上有wi-fi信号干扰，舞台装饰品中有金属干扰，因此舞台环境并不是一个理想的无干扰环境，幸好Xsens动作捕捉系统具有很好的抗磁干扰能力。我在使用以前的动捕套装时发现，清理数据比做创造性工作花费的时间还要多，这就有些本末倒置了。我最初选择使用Xsens的主要原因之一就是其能够采集到足够清晰干净的数据，这帮助我们节省了大量清理无用数据的时间。”加里说道。
在混合现实表演中对动作捕捉的探索和实验将为更多的创意提供动力。以Unlimited Motion的《舞动奇迹》为例，当你能够使用更加有效工具时，那么花在处理数据上的时间就会减少，这会让你有更多的时间和精力专注在创作本身上。
因此，现代意义上的“混合现实” (Mixed Reality)体验是不同类型的现实的彼此混合，这种混合生成了物理对象与虚拟对象可以共存与互动的新环境。而通过将动作捕捉技术与虚拟现实技术相结合的全新表演形式将更加能够激发观众们观看演出的热情。