异世界冒险的实时可视化——时光坐标《刺杀小说家》虚拟拍摄特辑
文 | 陈奕 朱骥明
2020年，“虚拟拍摄”这个词一下子火了起来，在动作捕捉（Motion Capture）、实时引擎（Realtime Engine）、摄影机追踪（Camera Tracking）等一系列技术的加持下，似乎“一切皆可虚拟”。
其实，虚拟的终极目标恰恰是真实，早期的电影拍摄，都是在“实景”中完成的，只不过在蓝绿幕技术盛行了20余年后，新的技术升级在现代电影拍摄流程上划了一条美妙的弧线，用数字模拟的方式再一次将导演和主创们带入到了全新的“异世界”，在这个世界里，既有光怪陆离、天马行空的无尽想象力，又有“真实”的角色、场景、道具和光影，将文学剧本虚拟的无尽想象和现实影像的纤毫毕现巧妙地融为一体，正如《刺杀小说家》（下文简称《刺杀》）中关宁所经历的冒险一样，为电影人开启了新的创作之旅。
蓝绿幕拍摄和实景拍摄的最大问题在于——拍摄现场面对蓝绿幕“背后”（抠像后）的影像统一性，虽然有了概念设计（Concept Art Design）前期预示（Previz）等手段，但与实景拍摄相比，蓝绿幕拍摄任然无法让所有主创们“身临其境”，实现多部门高效、精准的协同。
“现场虚拟拍摄”（On-set Virtual Camera）就是在这样的要求下诞生并发展的。通过实时追踪、实时抠像、实时渲染技术，将摄像机拍摄与CG元素实时合成，将数字化的空间、透视、运动、光影带到拍摄现场，为导演提供实时的画面预览，这种实时预览作为前期动画预览（Previz）的延展，结合现场实拍画面继续传递叙事与视效相结合的创作意图，从而使整个团队的创作更加顺畅。它可以看做是蓝绿幕拍摄技术的“现场升级版”。为影视工业化全流程的贯通提供了保障。
虚拟摄影系统的“三重异能之一”——实时摄影机运动追踪（Realtime Camera Tracking）
电影诞生百年来，运动（Motion）方式的始终只有两种——摄影机的运动和被摄体的运动，通过这两种运动的结合，创作出了千变万化的叙事方式。因此，虚拟拍摄系统首先必须具备实时摄影机运动轨迹追踪能力（Realtime Camera Tracking）。在《刺杀》的拍摄现场，每台摄影机都会有一套Ncam跟踪系统进行实时的摄影机跟踪，通过安装在摄影机上的两个鱼眼镜头，可以实时计算摄影机的位置和旋转，不管是手持还是电子伸缩炮，各种复杂的运动都会被实时的记录和解算，并传递到数字三维场景中，将CG制作的虚拟场景的空间透视无缝地与现场摄影机轨迹匹配。
每一台摄影机和镜头都有自己的物理光学属性，在使用虚拟摄影前，虚拟摄影系统也需要将所有的摄影机和镜头都进行详细的标定，获取每一个镜头精确的数据。在《刺杀》中，时光坐标虚拟摄影团队标定了3套摄影机，建立了近50支镜头的光学参数数据库。
现场实时双眼相机和实时显示引擎
虚拟摄影系统的“三重异能之二”——实时抠像（Realtime keying）
虚拟摄影系统具备实时抠像能力，就像传统的CG制作一样，虚拟系统需要通过抠像、模型、动画、渲染、合成这些复杂的步骤才能最终将复杂的现场画面和CG渲染结果合成到一起，不同的是这些步骤在现场实时的产生。在现场不管是复杂的CG场景 还是角色动画都可以被抠像和合成，实时看到最终的合成效果，从而协助导演和主创人员更好的把握“实”与“虚”的关系，将现实与虚拟的场景和角色真正融入到创作的“异世界”中。
实时抠像和实时合成系统画面
虚拟摄影系统的“三重异能之三”——实时渲染输出（Realtime rendering）
虚拟摄影系统具备实时合成渲染输出的能力，最终在监视器上实现可视化，同时还可以保留元数据进行画面录制，这样剪辑可以使用现场合成画面进行剪辑，同时也可以很轻松的在后期进行素材回套。
现场虚拟摄影系统会记录每个镜头摄影机数据和现场点云数据，实时生成精确的虚拟摄像机路径文件、包含摄像机焦距等重要参数，以及追踪稳定的点云，提高后期制作中摄影机跟踪精度和质量，实现前期数据到后期的无缝对接，用科学化的生产方式为后期制作节省大量成本。
虚拟拍摄技术现场（截自《刺杀小说家》预告片）
作为科学的数字化现场流程，虚拟拍摄系统用可视化方式帮助剧组更好地理解拍摄目标，确定机位、虚拟物体的位置，以及帮助各部门严格执行导演及视效总监的创作意图。正如导演路阳说的：“拿出中国的办法和流程来，拍一部非常新鲜感，视效非常好的讲中国故事的电影。”时光坐标虚拟拍摄团队凭借多年积累的数字虚拟拍摄经验，有幸在2017年协助主创将全流程工业化拍摄流程运用到拍摄现场，从空间、虚拟角色、互动等多个维度为《刺杀》提供专业的虚拟拍摄技术服务。
一、空间——场景的延伸
虚拟拍摄的场景延伸（截自《刺杀小说家》预告片）
《刺杀》的场景在拍摄过程中，虚拟摄制团队在现场置景的基础上，实时合成并反馈蓝绿布上的画面，根据拍摄场景进行延伸。
场景延伸左右对比（左：实拍画面/右：虚拟合成画面）
除了实时跟踪本身，真实场景和虚拟场景的一致性也至关重要。每个场景拍摄前都需要预制现场扫描文件、最终虚拟场景和虚拟角色，开拍前每个虚拟物体都需要和现场进行快速对位，现场会产生点云，这些点云和已经完成的模型进行准确的对位，这样可以确保虚拟物体在画面中的位置和构图的准确性。
虚拟拍摄赤发鬼数字化宫殿
《刺杀》中场景宏大，摄影棚的现场的制景对应巨大的场景来说也只是冰山一角，在大量蓝绿布的环境下现场灯光和画面风格是一个巨大的挑战，很多虚拟场景现场烘焙了灯光，实时显示了整体画面的环境和气氛。
赤发鬼宫殿现场虚拟光影
而当虚拟场景被完整的显示在画面中时，相机的透视情况、场景完整度、画面构图，以及特效最后会呈现的大致效果都会清晰化，导演、摄影、视效很容易判断该画面是不是想要的，从而加快整体效率。
二、位置——虚拟角色的呈现
赤发鬼拍摄现场（截自《刺杀小说家》预告片）
《刺杀》中的赤发鬼体型巨大，高达15米。处理这种巨大的虚拟角色，对于前期拍摄而言是很大的挑战。
在传统拍摄现场，一般会采用等高的杆子等作为参照物，或者标定一个点作为虚拟角色的位置，当面对动态的虚拟角色时，这种方法完全无法满足赤发鬼的拍摄呈现，也无法满足精准镜头运动和演员调度的需求。
赤发鬼虚拟拍摄对比
赤发鬼虚拟拍摄对比
而在《刺杀》的拍摄中，虚拟拍摄团队将事先动作捕捉完成的虚拟角色预合成到现场画面中，主创人员可以实时看到虚拟角色的大小、位置和运动。画面越接近电影完成效果，越有助于导演对演员、摄影机以及虚拟角色进行调度，尤其当遇到复杂的拍摄角度和空间位置关系。
另一位值得一提的就是《刺杀》中的另一重要角色——红甲，当“红甲”高速运动、跳跃时，通过虚拟拍摄，我们可以轻松实现摄影机对虚拟角色的跟随。 这种对虚拟角色的精准拍摄，使现场工作目标一致，不用去猜需要给后期预留多少时长。
红甲虚拟拍摄对比
三、互动——虚实的结合
截自《刺杀小说家》预告片
正如导演在幕后视频中说的，对演员来说凭借想象力表演绝对是一大挑战，通过虚拟拍摄技术实现演员和虚拟角色互动，实时把控演员和虚拟角色互动的速度、节奏及位置，根据现场预演实时调整位置构图，使演员与虚拟角色置身其中，实时可视化帮助演员找到更好的表演状态。基于稳定的摄影机追踪技术，主创团队在设计镜头时，也可以更精准把控虚拟角色资产的比例、运动，从而实现良好的表现效果。
数字虚拟拍摄与动捕技术结合
《刺杀小说家》向中国视效新高度发起挑战，国内电影制作的发展轨迹也映射了当下技术革新的过程。剧情里平行的现实与虚拟时空，在虚拟拍摄技术的帮助下在摄影棚内合二为一，谁能说这不是一个电影创作的异世界呢？
我想，每一个中国的视效人进入这个充满挑战的行业的初心，无不因为我们可以在虚拟与现实之间穿梭，在想象力的异世界中成为那一个无所不能的英雄。时光坐标虚拟摄制团队作为《刺杀》影视科技全流程创作的重要一环，很高兴能在一个充满信念和力量的异世界冒险历程中，与同行们一起畅快淋漓地向顶峰冲了一回，虽艰险，而满足！感谢所有的帮助、信任与期待！
虚拟的终极目的就是真实，只要相信，就能实现，一起去电影无尽的空间冒险吧！
本文为作者 时光坐标影视传媒 分享，影视工业网鼓励从业者分享原创内容，影视工业网不会对原创文章作任何编辑！如作者有特别标注，请按作者说明转载，如无说明，则转载此文章须经得作者同意，并请附上出处(影视工业网)及本页链接。原文链接
https://107cine.com/stream/134337