Xen让21 Pilot’虚拟音乐会在Roblox元宇宙中栩栩如生
21 Pilots’乐队曾在格莱美、温布利竞技场和雷丁音乐节上进行过演出,但他们从未经历过3500万观众同时在Roblox中观看他们的虚拟音乐会。在当下媒体和科技行业试图寻找他们自己的元宇宙时,Roblox的数字世界为他们提供了一个窗口,让人们了解音乐会体验在互联网的下一个阶段将会发展成何等形态。
虚拟音乐会其实并不是新鲜的代名词,其最大的障碍是如何在数字世界中实现现场演出的氛围。尽管如此,对于21 Pilots’来说,他们激情的表演已经超越了虚拟空间的束缚。为了创造出更真实的虚拟人物动作表现来烘托现场气氛Actor Capture和GSU的CMII工作室找到了Xsens,并将其基于惯性的动作捕捉技术带入本次音乐会体验中。
Actor Capture的技术总监詹姆斯·马丁为我们讲述了这个项目是如何产生的,他指出Xsens的动作捕捉技术在捕捉21 Pilots’演唱会的现场表现了方面至关重要。
“对于鼓手来说,尤其是对于音乐表演来说,利用惯性动捕是至关重要的因为鼓手的动作非常快而且经常会由于鼓架遮挡动作从而不能进行光学动捕,此外,手部动捕解决方案也可以让键盘手的动作更加真实。这非常重要。Xsens的所有技术对本次演出都非常有帮助。”
Xsens的作用
Lil Nas X的Roblox 演出为Symbol Zero带来了难以置信的成功,但随着他们下一场虚拟音乐会的筹办 ,他们希望将项目推向下一个阶段,并以前所未有的表现力吸引线上观众。通过对Xsens过去项目(Suicide Squad 2和Cardi B’s ‘Cardi Tries’)的研究,他们对Xsens有了更深入的了解,詹姆斯很清楚的认识到Xsens的技术是解决21 Pilots’虚拟演唱会可能带来挑战的最佳方式。
“我们知道这部作品会有超过15分钟的动画。因此我们对面部动作捕捉和手部动作捕捉非常感兴趣,因为这些动作会涉及到乐队使用的乐器。他们(Symbol Zero)不仅仅寻找精通Xsens工作流程的人,还在寻找能够利用像Manus手套这样的产品的人,Manus手套现在可以携带时间码,这对手指动作的清晰度非常重要。当然,他们还需要一个足够强大的面部捕捉解决方案,以获得虚拟角色所有面部表情的表现。”
捕捉表演中的高清晰度动作是Roblox和21 Pilots面临的难题。乐队希望将音乐会的气氛传达到虚拟空间中,因此选择合适的工具和方法变得十分重要。乐队表演时穿着MVN Link动捕服,而Xsens Gloves by Manus手套也能够确保准确的捕捉手部动作。除此之外,詹姆斯还利用iPhone的ARkit追踪了乐队队员的面部动作。
关于元宇宙
在构成元宇宙的虚拟空间中,用户希望寻求个性,使自己脱颖而出。就目前而言,这些都是以数字服装或NFT艺术的形式在元宇宙中展开的,但随着用户群的增长,他们对在虚拟空间中模拟现实的需求也在增长。此次在Roblox上的音乐会就成为了Xsens在元宇宙中发挥自身优势的地方。对演奏者来说,鼓或吉他的演奏方式必须与乐队的演奏方式相匹配。毫无疑问有了动作捕捉技术元宇宙中的虚拟化身将会更加真实,动作也更加独特且多样化。
录制表演
21 Pilots’一直寻求与他们忠实的粉丝建立联系。正如乐队的创意总监马克·埃什曼所说“他们想要向乐队的粉丝、全新的技术和历史致敬,以确保这种体验符合人们对一场演出的期望。”
如今的问题不再是能否为虚拟空间做出动捕表演,更重要的是,虚拟音乐会能否捕捉到真人表演带来的情感与氛围?使用Xsens基于惯性的解决方案,詹姆斯能够轻松解决这些问题,这使得21 Pilots’能够在世界各地的任何舞台上进行表演。
元宇宙的成功将取决于使用的难易程度。这项技术允许詹姆斯和演员捕捉记录表演的基本、复杂细节。
吸引观众
在Roblox的世界里举办一场音乐会,让21 Pilots’有了新的机会,以一种只有在虚拟空间才有可能的方式与观众互动。对于Symbol Zero来说,有互动的观众们仍然是表演最重要的一部分。
“想象一下在演唱会开始你只是一个观看演出的普通的观众,通过Roblox提供的交互性你现在可以与现场的乐队进行互动。在他们的第一首曲目中,其中一个选项是,观众们会沿着歌曲的副歌部分上下移动,如果泰勒唱到“向上”时观众们没有跳起来,那么他们就会掉到地板上。正是这些细小的交互性让游戏玩家对表演有了更多的互动体验。”詹姆斯说道。
有了惯性动作捕捉技术,用户将踏入元宇宙的虚拟世界,获得更好的现实体验,而也这不仅仅是对现实的一比一刻画。Roblox在21 Pilots’音乐会中加入了任务、奖励和虚拟商品等元素,这不仅仅是为了宣传和推广演唱会,同时也是为了让观众以不同于面对面体验的方式参与到虚拟演唱会之中。