Voltaku利用动作捕捉技术将实时动漫制作带入到元宇宙中

Xsens动作捕捉 2023-04-18 5414

Voltaku始于2020年,由演员兼企业家Charles Borland和视觉效果技术总监Sally Slade创立。Voltaku公司作品涉及电影、游戏、动漫和元宇宙,主要面向被称为“御宅族”的硬核动漫迷。


如今这家跨媒体公司正忙于一部新的系列项目,此系列项目包括一个名为Vodcasto的实时puppeteering iPhone应用程序,一个用于化身创建和共享的通用描述符,以及一个基于Dave Cook和Craig Paton的漫画小说《杀戮国度》而创建的电视节目。Voltaku已经展示了一些概念验证镜头,他们在项目中使用了Xsens MVN Link套装并将动画输入到与Chaos Vantage合作的虚幻引擎中进行实时光线跟踪。


Voltaku成立的原因


Charles:当我还是一个名为《侠盗猎车手4》电子游戏的动作演员时,我会花很多时间穿着mocap套装,我参加了很多电视和电影的拍摄,看到了好莱坞的制作过程是多么低效。我记得那时我在想,天哪,当这项技术和经济发展到一定程度时,所有这些游戏技术和实时技术将彻底改变电影制作和你制作内容的方式。

因此从那以后我便想在制作方面突破极限,我认为有一种方法可以创造一种新的工作室类型。如果围绕这些实时技术和虚拟制作从头开始创建公司,那么也许可以开启一些好莱坞传统上服务之外的观众——御宅族市场,而那时好莱坞并没有御宅族内容创作公司。


我们不是仅仅在创作一部电影或电视剧:我们正在将虚拟制作和互动体验管道合二为一。因此,用户可以一次性创建这些数字3D资产,然后跨平台和生态系统部署它们。


Sally:我真正进入实时领域大约是在2019到2020年,那时我意识到我为Magnopus、为狮子王、为实时虚拟制作所做的一切都可以应用到动画中。所以我开始编写自己的动画软件来帮助制作动画风格的作品。再然后Charles把我挖了过来,现在我正在为Voltaku制作工具,我们试图让这条管道继续下去,这将有助于我们创作这部以御宅族为中心的电视节目。


Voltaku利用动作捕捉技术将实时动漫制作带入到元宇宙中  第1张


如何跨平台创建和共享化身系统


Sally:LayerCake是我们的化身创建软件。它是用PyQt (Python)编写的,因此它的UI可以很容易地插入现有的DCC(数字内容创建)管道。目前,它支持通过png分层创建静态2D化身。它拥有组合工具,如禁止或强制任意组合资产,以及集中审查工具。我可以将这些资产着色并重新组合,这种自组装可以通过元数据文件来完成,这样就可以拥有跨项目共享和映射的属性。这些元数据文件可以让化身生成器自动填充它的字段,然后产出一个近似值,我们称这些元数据为通用化身描述符(UAD)文件。它能够跨越任意平台和项目的化身系统之间的鸿沟,并从最小的独立化身系统扩展到AAA级系统。因此,我们将定义一个中央UAD主文件,然后用户可以在该文件和他们的项目之间进行映射,而不是进行数千个映射(在平台之间)。我们认为这种风格转换、高水平互操作性的想法更有趣,用户可以通过每个不同项目的镜头看到他们自己。


Voltaku利用动作捕捉技术将实时动漫制作带入到元宇宙中  第2张


为什么元宇宙平台的分散化对你很重要?


Sally:对于分散化其实有很多的角度,但是从技术的角度来看,我觉得为了投资互操性,利益相关者和项目所有者需要知道他们为之构建的资产不会有任何变化。当然,如果你说的分散化是指应用区块链的话。最棒的是它是不可改变的,而且是公开的。所以我知道,如果我围绕一个项目进行建设,即使它失败了,我的管道也会保留下来。因为我一直在参考和关注的东西将在这个分散化的文件托管系统中始终保持在线。


是什么促使你开始使用动作捕捉


Charles:作为工作室,我们为自己设定的第一个任务是,如果我们要在一个游戏引擎中构建项目,比如虚幻引擎,那么我们必须要开始做一些事情,比如在虚幻引擎中设置一个摄像头。我们将会有一个女演员并进行实时拍摄。但我们所关注的另一件事是实时光线追踪,并在此基础上推进。所以,好吧,我们打算从头开始建造这种新型工作室,试想一下如果你只有一个后院,一台联想ThinkPad,一套Xsens套装和一部iPhone,你能走多远?实际上,我们正在这么做。


Voltaku利用动作捕捉技术将实时动漫制作带入到元宇宙中  第3张


由于我们不能进入工作室进行全面的相机跟踪,所以我们想‘让我们找到一些基于惯性的东西,显然Xsens是这方面的领导者……Xsens支持我们在后院进行动作捕捉,让我们看到我们能走多远,以及帮助我们发现究竟遇到了什么问题’。这就是我们开始的地方,我们能够识别一系列问题,例如光线追踪和其他一些问题。使用Xsens套装,捕捉原始的mocap数据,这感觉非常棒!

The End