动作捕捉技术如何帮助实现元宇宙中的虚拟演唱会？

美国知名摇滚乐队21 Pilots曾在格莱美、温布利球场、雷丁音乐节等大型场合为成千上万的乐迷表演过，但在多人在线3D创意社区Roblox的虚拟舞台为3500万平台用户表演，这还是第一次。

虚拟演唱会已不再是新鲜事物，过往的表演中也面临着些许挑战，但最大的障碍是如何在虚拟世界中传递出现场表演的活力与气氛。尽管如此，让演出的激情能够超越虚拟时空对于21 Pilots来说至关重要。因此Actor Capture工作室和美国佐治亚州立大学的CMII工作室找到了荷兰的惯性动作捕捉设备生产商Xsens，通过运用Xsens基于惯性传感器的技术，将虚拟演唱会体验带给用户。

Xsens的长期合作对象，来自Actor Capture的技术总监James Martin表示：“在音乐表演中，利用惯性传感技术的手部解决方案对于乐手来说是必不可少的，它可以捕捉到演出过程中手部的细节，例如手指在琴弦和键盘上的动作。”

Xsens动作捕捉系统的实际应用

说唱歌手Lil Nas X在Roblox上的成功演出让Symbol Zero非常振奋，他们希望在下一场虚拟演唱会中能提升到新的高度，以前所未有的水平吸引线上观众。通过在电影《 X特遣队2》和真人秀《Cardi Tries》这两个项目中的合作，James对Xsens有了深入的了解。他知道在举行21 Pilots虚拟演唱会上将面临的挑战，Xsens的技术会是理想的解决方案。

“我们清楚这场表演会有超过15分钟的动画，并且乐队对面部和手部的动捕非常感兴趣，因为演出会涉及到乐器。Symbol Zero不只是在寻找精通动捕和使用Xsens产品的人，他们还寻找可以使用像Manus手套这类带有时间码功能产品的人，这对于手部动捕的清晰度非常重要。当然，他们还需要一个优秀的面部捕捉解决方案来捕捉演唱时的嘴型。”

乐队表演动捕的清晰度对于Roblox和21 Pilots来说是一个重要因素，乐队希望将音乐会的情感传递到虚拟空间，因此选择正确的工具和方法至关重要。乐队在表演时身穿MVN Link套装，并佩戴Manus的Xsens手套来确保手部动作的精准捕捉。此外，James还利用iPhone的ARkit来捕捉面部表情。

元宇宙体验

随着用户群的增长，对元宇宙中模拟现实方面的需求日益增加。21 Pilots Roblox音乐会是一个很好的例子，展示了Xsens在元宇宙中所能发挥的作用。在演出捕捉过程中，21 Pilots乐队成员们的动作非常具有价值。用户在观看虚拟演唱会时，动作的真实度非常重要，例如乐手们使用鼓和乐器的姿势。毫无疑问，在元宇宙中对逼真且独特的虚拟形象的要求会越来越多，像Manus手套这类的技术将发挥其作用。

演出的录制

如今通过动捕来进行虚拟表演已不再成为技术问题，如何将现场表演中的情感与气氛传递出去才是人们关注的重点。得力于Xsens的惯性传感器解决方案，James解决了这些问题并创造出一个能让21 Pilots表演的环境，正如他们在世界各地的舞台表演一样。

“在幕后花絮中，你会看到我们在CMII工作室的录制间准备了21 Pilots所有的乐器，乐队没有受到技术原因的限制从而能尽情地表演。得益于惯性传感器技术，我们能为表演者提供解决方案，并让他们在熟悉的环境中进行演出。”

元宇宙的成功将取决于采用和使用的难易程度，其中的关键在于技术。正如Xsens的产品在虚拟演唱会中发挥的作用一样，它使得James和Actor Capture能够捕捉到表演中重要且复杂的细节，这是在元宇宙中得到身临其境的感受所必需的。