使用Unity立体捕捉技术创作全新恐怖电影《恶魔》

Xsens动作捕捉 2023-05-04 3731

导演尼尔·布鲁姆坎普(Neill Blomkamp)使用了视觉效果背景。这在某种程度上也表示了他倾向于用创新的VFX方法来制作电影,比如著名的《第九区》,《极乐世界》等电影。


在新片《恶魔》中,导演尼尔·布鲁姆坎普更进一步,在恐怖片中使用体积捕捉完成“模拟”或梦境场景,据悉影片于8月20日在影院和视频点播(VOD)中上映。对于那些梦幻般的场景,导演通过使用多摄像机阵列捕捉对演员进行捕捉,得到的体积点云数据用于渲染演员们的外观。影片中的立体场景是迄今为止故事片中最长的。


影片的捕捉服务由体积摄像系统提供。来自UPP的维克多·穆勒(Viktor Muller)他是《恶魔》的视觉效果负责人(也是这部电影的执行制片人)。此外,在与Unity的合作中,电影制作人采用了游戏引擎的新技术,名为Project Inplay(当前代号),该技术允许将体积点云数据带入引擎并进行实时渲染。


尼尔·布鲁姆坎普说:“因为我对与计算机图形学相关的东西非常感兴趣,对可以让观众进入的3D环境非常非常感兴趣,所以我们使用了基于VFX制作的背景,这可能就是我最终选择Unity的原因。”


“比起游戏本身,我更喜欢让观众沉浸在3D环境中的想法。我认为随着分辨率的提高和物理引擎变得越来越真实,影片将变得越来越有趣。”


使用Unity立体捕捉技术创作全新恐怖电影《恶魔》  第1张


《恶魔》中娜塔莉·博尔特饰演“安吉拉”,卡莉·波普饰演“卡莉”。


使用体积拍摄场景,首先要解决的问题是什么


尼尔·布鲁姆坎普说道:“显而易见的直接问题是它的浮华,因为它太新了。你必须以一种合理的方式把它写进故事里,而技术必须成为故事的根基。所以,这就是我所做的。我只是把它融入到故事中,从某种意义上说,它是故事的基础。这样就不会出现分辨率问题或观众可能会感到困惑的小BUG。”


“我们的解决方案基本上就像是对单个物体进行摄影测量,然后让计算机从中推断出一个三维物体。不仅仅是对象。这也是所有的RGB数据,所有的阴影、不完美因素以及一切的一切。所以这也意味着所有的网格彼此不相连。它们都是单独计算,都是作为一块粘土单独存在的,一次一帧。在某种程度上,这就像老派动画,你只是在每秒24帧的周期内隐藏和不隐藏不同的对象。”


“因此,在人们真正开始以正常的VFX方式使用它之前,该技术实际上还有一段路要走。但是在这部电影中,我们通过Unity实现了这一设想。我喜欢这些东西。这正是我想做的,故事的叙述也的确允许我这样做。”


使用Unity立体捕捉技术创作全新恐怖电影《恶魔》  第2张


《恶魔》中娜塔莉·博尔特饰演“安吉拉”,卡莉·波普饰演“卡莉”。


“我们很幸运地在温哥华找到了体积捕捉系统(VCS)。工作人员在脚手架上搭建了265台4K摄像机。这些相机成半球形式排列,实际上是一个圆柱体。除此之外,我们还有一个1米宽的移动半球,里面有40到50个摄像头,可以拉近距离进行面部捕捉。”


“事实是,如果我尝试的话,我无法想象更糟糕的环境来安置我的演员!如果它们是半水下的,也许这是唯一会让情况变得更糟的东西。因此,我要向演员卡莉·波普和娜塔莉·博尔特致敬,他们在那个疯狂的环境中做了令人敬畏的工作。”


“另一件非常奇怪的事情是,除了摄像机,没有其他明确的方法来观察表演。所以我们会有摄像机和摄像机操作员,他们在移动并试图跟踪演员,然后我就从那些摄像机得到演员的信息。因为,很明显,所有其他的265个摄像机,它们只是静态的,它们记录了演员在画面中的所有动作。这意味着你没有从体积捕捉设备得到任何反馈,你当然也没有虚拟相机,因为数据还没有计算出来。基本上你只能像个看舞台剧一样坐着。”


在mocap(动作捕捉)场景中,这是不同的。因为在mocap里,你会拿着一个虚拟相机,自己拍,演员在不在都无所谓。有了vol-cap,经过几个月的数据处理后,我们可以将其加载到Unity中。然后我们有了这个令人惊叹的实时环境,在那里我们可以引入虚拟摄像机。。它几乎超越了正常的动作捕捉,因为现在你看到的画面即是最终画面。


关于Unity


提到关于Unity时尼尔·布鲁姆坎普说道:“实时的东西,比如说Unity,可能是我最感兴趣的。如果你正在寻找像Quixel Megascans这样的工具,可以抓取和放入东西合成树叶、实时模拟、实时光能传递、实时光线追踪和反射,那么你完全可以坐在环境中构建它们。这是一种不可思议的体验。”


使用Unity立体捕捉技术创作全新恐怖电影《恶魔》  第3张


卡莉·波普在《恶魔》中扮演“卡莉”。电影制作人使用了Unity的InPlay项目(代号)来动态地重新点燃体积捕捉数据。


“实时电影和虚拟电影的全部意义在于能够摆脱日常制作的束缚;当太阳落山,或者有一场暴雨来临,或者无论是什么外界因素。虚拟制作的全部意义在于,你可以在一个安静的、受控的后期制作设施中,将你的三维素材加载到Unity中,拿起一个虚拟相机,花上几周的时间,如果你想的话,完全按照你想要的方式进行拍摄。我不认为在收集体积数据和把它处理成3D模型之间的延迟有什么关系,因为这样你就可以进入的实时环境创建你自己的电影了。”尼尔·布鲁姆坎普说道。

The End