1610年1月7日，伽利略首次窥探太空，将世界的边界扩展到无垠宇宙。

四百多年后的今日，【锋尚互娱】的青年力量也成为我们的“伽利略”，开始了锋尚集团对元宇宙世界的探索旅程。

从2022年北京冬奥会、线上交互式虚拟冰雪音乐嘉年华《集光之夜》到近日的《动感地带世界杯音乐盛典》，他们一步步以科技预见未来。

元宇宙世界，需要一场前所未有的狂欢

在当下虚拟现实技术和设备日臻普及和成熟的情况下，我们认为舞台或者演艺内容可以焕发新的生机，创造更多的可能性。如果要做一场共同狂欢，彻底改变传统演艺的框架，创造一个前所未有的虚拟音乐盛典，我们认为，要从三方面突破：临场感、真实感、观演模式。

先说临场感，虽然是线上演出，但是我们希望最大限度还原观演之间在线下应有的临场感。

在本次动感地带世界杯音乐盛典中，我们渴望以这种纯粹的观念为指导，不希望这场演出仅仅是在世界杯的IP和光环之下呈现一个常规的内容，而是通过各种方式使用户与内容共情，在世界杯期间打造一场全民狂欢的视听盛宴，这更像是一场世界杯期间的线上“超级碗”。

在主体内容上，我们希望能够跳出传统常规的XR表演“形式大于内容”的怪圈，而是从观看体验出发，尽可能还原舞台和场景的真实性，用真实感让用户最大限度产生与内容的共情。

我们要让观众和歌迷相信艺人的演唱空间是一个真实的舞台，其中所有的机械变化都具有物理逻辑，所有的灯光都是真实的。

真正意义上的创建新世界

本次咪咕汇世界杯音乐盛典包含六大主题空间和很多主题小场馆以及50多个虚拟节目，可以说迄今很少见到如此大体量的虚拟节目和虚拟内容制作量。

所以从最初的创意策划及脚本设计分镜设计，我们就投入了多名概念美术师，与导演一起创作，绘制了近百张效果概念图以及海量的分镜图。然后模型师根据概念设计图中的模型场景、角色模型进行初始的模型搭建，贴图绘制等工作。

在制作节目中，我们对每一个节目都进行了预演虚拟模拟，与导演、导播一起在搭建好的虚拟场景中对相机以及艺人的走位、拍摄角度进行了多次模拟。方便及时与艺人沟通，并能对节目内容进行及时快速的调整修改，并满足最终的拍摄。

做平行世界的“引导者”

本次音乐盛典中我们还为多名艺人制作超写实“数智人”虚拟形象。

对艺人进行动态捕捉获取数字孪生形象运动轨迹，并运用多模态捕捉技术最大化实现虚拟内容与实拍内容之间的交互，并结合虚拟实时拍摄技术，进行虚拟引擎实时和后期的合成工作，最后呈现出艺人与“数智人”之间的跨次元联动，我认为是本次音乐盛典的一大亮点。

目前我们最常用的工作流程一般是先根据秀案和演出脚本，使用UE出预演，在艺人、导演还有制作团队对预演效果达成一致认可的时候再请专业的动捕演员来驱动并录制“数智人”的演出动作、表情等等。

最后的同台直接使用虚拟拍摄的方式将UE里面实时渲染出的舞美、特效、“数智人”等内容与真实XR舞台前的演员共收于一镜之内。

打破虚拟与真实的那堵墙

此次活动中的观众角色服装、发型、道具等模型数量也是超越以往项目数倍之多。我们还给观众角色设计了上百种动作，在我们自己的动捕棚内完成了角色的动作捕捉。

待UE4制作人员拿到模型角色等资产后，开始进行对虚拟场景的搭建，灯光的蓝图动画，模型材质的制作以及蓝图编写等工作。程序开发人员也开始对场景内各种功能以及玩家的多种交互玩法进行开发。并在游戏场景中反复的进行测试，排除各种程序上的Bug。

我们在2021年的集光之夜活动中，首次完成了虚拟艺人与虚拟观众在虚拟世界中的表演与互动，因此我们决定在今年的世界杯音乐盛典中对上次的模式进行一个升级，完成“真实艺人与虚拟观众在虚拟世界中的表演与互动”。

我们通过自研点云技术对艺人进行了360度的扫描采集，使玩家观众可以操作自己的虚拟形象与艺人共处同一个虚拟世界，感受比以往XR视频更加丰富震撼的舞台空间效果。

我们在直径7米，360度和地面全包裹的绿箱中，放置了4套深度摄像机和6台实时采集摄像机，实时采集现场数据，将真人艺人真正“邀请”到元宇宙当中。再将艺人的素材融合到UE引擎的虚拟场景中，根据不同的演唱歌曲进行相应的节目调度。以沉浸式的线上观演方式让观众近距离一览歌手的风采。