《现代电影技术》｜LED虚拟化制作中基于深度图像的LED虚拟实时绿幕变形方法
本文刊发于《现代电影技术》2022年第5期
专家点评
LED虚拟化制作是近年来热门的电影制作话题，其利用方式正在快速普及，国内外大量影片引入LED屏幕虚拟制作，北美已有一百多个LED虚拟摄影棚，国内虽然成熟的LED虚拟摄影棚还很少，但基于实验的摄影棚并不少，发表的实验报告很多，从对不同品牌LED屏幕的测试对比到拍摄的技术要求都有了比较准确的结论。其实虚拟拍摄的核心目的在于“真实”与降低制作成本，本论文所介绍的实验结果是对这一目的深入研究，其成果是对LED虚拟化制作的进一步研究，同时也极具现实意义。核心解决的问题是将LED屏幕作为绿屏工作时降低拍摄主体高光反射和溢色问题。论文及实验创造性地提出了“基于深度图像处理的虚拟绿幕变形方法”，将LED虚拟化制作中“内视锥”绿幕合成方法与动作捕捉原理相结合，将真实的光线效果与后期CG合成方便化的问题解决向前又推进了一步。本文作者团队近年来就虚拟拍摄的科研成果，取得了多项国家专利，解决了多项LED背景虚拟化制作的关键问题。本人向读者特别推荐论文《LED虚拟化制作中基于深度图像的LED虚拟实时绿幕变形方法》，并望读者关注其团队在《现代电影技术》上发表的其他相关论文。
——穆德远
北京电影学院教授、博士生导师
中国影视摄影师学会会长
摘要
基于LED背景墙的电影虚拟化制作是影视制作领域的研究热点，该技术方案也可以在LED屏幕上显示纯绿色背景兼容传统的特效制作流程。针对LED虚拟化制作中使用绿幕背景拍摄存在的溢色等问题，本文首先进行了对比实验，得出虚拟绿幕大小是影响虚拟绿幕拍摄效果的主要因素，然后提出了一种基于深度图像的LED虚拟绿幕实时变形方法，最大程度减小了被摄主体的绿幕背景区域，达到更好的拍摄效果。方法具体分为三步：深度图像的获取与处理、深度图像与游戏引擎的交互、内视锥虚拟绿幕实时变形。最后本文设计了对比实验进行验证，实验结果表明本文提出的虚拟绿幕实时变形方法能够大幅度降低虚拟绿幕给表演主体带来的溢色和高光反射等负面影响。
电影虚拟化制作 绿幕 抠像 LED背景墙 深度摄像头
1引言
1898年，特效电影艺术家乔治·梅里爱把一块涂有黑色颜料的玻璃板作为蒙板，用它挡住镜头的一部分，使得胶片的一部分不会感光，拍摄完成后，再用蒙板挡住镜头的另一部分继续拍摄，如此一来，不同的场景经过多次曝光后就会留存在同一副胶片上。这种手法被后人视为绿幕合成技术的原始雏形。
此后的几十年间，合成技术进入了一个高速发展期，期间出现了“黑幕技术”“邓宁蓝幕技术”“黄幕技术”等基于传统胶片电影制作流程的合成技术[1] 。上世纪90年代开始，数字技术迅速崛起，数字电影摄影机开始逐渐取代胶片摄影机成为电影拍摄的主流设备，与此同时，计算机生成图像越来越被广泛应用于电影内容创作。而数字电影摄影机感光元件上滤光片通常以“拜尔排列”的方式排列组合，这种排列方式使得绿光的感光面积是蓝光或红光的两倍，因此，更加有利于数字图像抠像的绿幕抠像技术逐渐成为了当今色键抠像技术的通用解决方案。
图1 绿幕合成技术
如图1所示，将拍摄前景置于蓝/绿幕背景下，通过色键抠像的方式将蓝绿色背景抠除得到前景画面，并通过在蓝/绿幕背景上布置跟踪点的方式，在后期反求出摄影机的运动轨迹，实现虚拟资产与实拍素材在透视关系上的统一，最终将前景画面与虚拟资产合成得到最终的特效镜头。这种技术极大地提高了镜头内容创作的自由度，电影艺术创作进入了一个全新的天地。[2]
2绿幕合成技术的弊端与解决方案
在一套典型的实时交互预演流程中，拍摄现场往往要布置面积巨大的绿色幕布作为色键抠像的背景，这将不可避免地带来一些问题[3]：首先是真实场景与虚拟场景的动态光效配合问题，在现场拍摄之前就需要创作团队提前设计好成片镜头中最后的动态光效，在此基础上对表演者进行现场动态照明，而且，为了使现场的照明信息与后期三维场景中的照明信息相匹配，需要在拍摄特效镜头时在场景中放置一个反光铬球用来记录现场照明信息。其次，在大面积的蓝/绿幕背景下进行灯光照明，很容易在被摄主体边缘产生溢色现象，或是将蓝/绿幕的颜色反射到演员或前景物体的高光上，这给后期抠像带来了很大的麻烦。一般的解决方案是：均匀照亮绿色背景，否则阴影区域将难以抠出，对于细毛或透明物品后面的背景尤其如此。被摄主体需要远离绿屏，以免屏幕上的反射光溢出到主体上。此外，前景中的主体必须使用单独的光源打光，以便控制场景所需光源的曝光和方向[1]。最后，常见的绿幕往往是棉布与涤纶的混合纺布材料，由于其质地较为柔软，表面容易产生一些褶皱或者波纹，虽然目前一些影视专用的抠像喷漆可以作为绿色幕布的替代品，但实际使用效果不尽人意。
图2 实时交互预演中的绿幕①
总体来说，这些弊端属于绿幕合成技术本身不可避免的系统性问题，从业人员总结的解决方案也只是一种无可奈何的妥协。一种根本上避免这些问题的方法是基于LED背景墙的电影虚拟化制作技术。
基于LED背景墙的电影虚拟化制作技术（以下简称LED虚拟化制作）直接将视效与实景融合后的内容拍摄下来，即达到所谓的摄影机内视效（In-Camera VFX）拍摄效果[4]。这一技术极大地改进了实时交互预演的不足，它使用LED背景墙代替蓝/绿幕实时渲染显示三维场景，同一型号的LED模组发出的光在理论上应该是完全均匀一致的，这在一定程度上规避了传统蓝/绿幕反射不均匀或存在褶皱的问题；其次，移除了大面积的绿色幕布后，它完全解决了蓝/绿幕溢色和反射问题；最后，LED背景墙画面更是为现场提供了高还原度的真实环境光照，无需在后期进行光照匹配，同时也极大地提高了镜头内照明效果的真实感。
图3 内视锥与外视锥
在典型的基于LED背景墙的电影虚拟化制作流程中，LED背景墙上显示的渲染画面被分为了两个部分，分别被称为内视锥和外视锥[5]（图3）。外视锥不需要渲染高精度图像，而是将LED面板转变为一种动态光源，以还原光线照射在真实世界位置上的效果。当摄影机移动时，外视锥画面保持静态，模仿了光照和反射在真实世界中不随摄影机移动的原理，这样就可以为演员和前景物体提供真实的动态环境照明。在摄影机视场（FOV）内的高质量实时渲染画面被称为内视锥，它的画面透视关系会随着摄影机位置变化而变化，用以实现摄影机内视效拍摄。
但此种方案仍然存在一些问题。首先，LED面板上的灯珠排列非常密集且规律，当摄影机聚焦于LED面板上时，会产生摩尔纹现象，影响最终的画面效果。其次，由于目前的三维实时引擎的渲染能力有限，对于一些非常复杂的效果实时渲染质量不佳，还不能满足实拍后直接作为最终镜头的要求。因此在这种情况下，可以在LED屏幕上显示纯绿色背景兼容传统的特效制作流程。
故LED虚拟化制作一些特定镜头的拍摄，可以将内视锥替换成带有跟踪点图案的纯绿色画面用于提供后期抠像素材，而外视锥依然可以提供真实的动态环境光照明，此种方案兼具了两种流程的优点，并且提供了更好的便利性和可用性（图4）。将内视锥全部替换成纯色，除了演员与前景物体，在摄影机视场内所拍摄到的画面将会是一片纯色。LED屏幕属于自发光照明，LED屏幕发光有更高的亮度和饱和度，而传统蓝/绿幕是漫反射的方式，两者有很大区别。因此在基于LED背景墙的虚拟化制作流程中，传统绿幕合成技术中常用的技巧无法继续使用。本文分析在现有流程中影响最大的可控因素进行定量分析，并研究及实现一套新颖的解决方案。
图4 《曼达洛人》幕后制作
3 虚拟绿幕对前景的影响因素分析实验
为了分析LED虚拟化制作中虚拟绿幕对拍摄效果的影响程度，本文针对不同的影响因素进行了相关的测试实验。
3.1 内视锥绿幕大小对拍摄的影响
在LED虚拟化制作中，使用内视锥作为绿幕，外视锥依然显示虚拟三维场景是目前常用的拍摄方法之一，其目的是为了还原被摄主体上的反射（如《曼达洛人》[6]）。内视锥的大小将直接影响前景物体的拍摄效果，因此研究团队首先针对目前LED虚拟化制作中内视锥绿幕的大小不同所导致的溢色与反射情况，设计对比实验进行分析。实验现场如图5所示。
图5 实验现场
在LED虚拟化制作中，为了保证内视锥画面足以完全覆盖摄影机的拍摄范围，内视锥的大小会随着镜头焦距的变化而变化。焦距越小，视场越大，内视锥也就越大。
本实验改变内视锥的大小，观察不同情况下画面的溢色与反射表现。为了便于观察对比，摄影机的实际焦距不作改变，结果如图6所示，内视锥越大，灰球以及人物脸上的溢色越严重，铬球与墨镜中的绿色反射面积越大。
图6 内视锥大小对画面影响的对比
当拍摄焦距长，内视锥较小时，基本无法观察到明显的溢色现象，反射物体上也基本上没有绿色。但墨镜中反射的绿色会根据人物头的朝向不同而有所不同，当演员头部偏转到一定角度时，墨镜可能会将绿色的LED背景反射到镜头内，但内视锥越小，这种情况发生的概率也越低。
因此，可以得出一个初步结论：内视锥的大小对前景的溢色和高光反射影响非常大，应该尽可能地缩小。
3.2 内视锥绿幕亮度对拍摄的影响
在LED背景墙上显示的绿幕不仅仅均匀平整，并且亮度调节也十分方便。合适的绿幕亮度有助于更好地进行抠像处理，同时也影响着被摄主体的溢色和高光反射。
图7 内视锥亮度对画面影响的对比
针对内视锥亮度的对比实验中，人物距离屏幕4米，在关闭内视锥绿幕时人物所处位置的照度约为200勒克斯，内视锥大小为16mm焦距视场。如图7所示，在内视锥绿幕亮度为400尼特时，人物身上和灰球表面出现较为严重的溢色，而在100尼特时溢色基本可以接受。
可以从灰球和铬球的边缘表现看到，其高光和溢色随着LED屏幕亮度降低而降低。当内视锥亮度为50尼特时，铬球表面上仍然有可见的绿色边缘，但如果继续降低内视锥亮度将不利于后期抠像。实际上，影响被摄主体的溢色还有照明光源本身的亮度、被摄主体距离绿幕的距离等因素。溢色本质上是由照明光源与绿幕反射的光照强度比值所决定的。因此在实际生产过程中，应当根据现场环境和光照条件适当选取合适的LED背景亮度，不宜盲目追求低亮度。
从以上两组实验可得知，内视锥的大小和亮度均会很大程度上影响前景物体的溢色和高光反射效果，此外，还有一些其他影响因素诸如虚拟绿幕的色彩饱和度、现场光源亮度等，由于条件所限并未进行测试实验。其中内视锥的大小对前景的高光反射的负面影响很大，且不能通过降低亮度的方式将其完全消除。因此我们认为内视锥的大小是一个更为关键的因素。而在实际生产过程中，亮度的选择将会基于现场的光照条件和创作团队的创作意图。因此为了减少前景物体溢色的高光反射，应该最大程度上减小内视锥的大小。
4 虚拟绿幕实时变形方案原理与实现
为了减轻内视锥全部显示纯色带来的问题，本文提出一种基于深度图像处理的虚拟绿幕实时变形方法，可以利用拍摄画面中的深度图像信息将演员等被摄主体与LED背景墙分离出来，再将分离后的深度信息以蒙板的形式作用于内视锥，使得在摄影机画面中被摄主体恰好完全被绿幕包围，即可在满足抠像需求的前提下最大程度上减少蓝/绿幕的面积，有效规避影片制作中溢色和绿幕穿帮等技术问题。
图8 虚拟绿幕变形原理示意图
如图8所示，本实验方案将深度摄像头与摄影机绑定后同时拍摄被摄主体，在摄影机所拍摄的画面中，被摄主体应被一个略大于其自身轮廓的绿幕所包围，剩余部分的LED背景墙显示三维实时引擎所提供的外视锥画面。
本实验选用了基于ToF的深度摄像头RealSense L515用于捕获深度信息。我们无需识别出演员等被摄主体自身精细的深度，而只需要区分出前景被摄主体与LED背景墙，就能得到满足要求的的深度图作为遮罩。
图9 虚拟绿幕变形方法技术流程图
具体流程如图9所示，深度摄像头获取场景中的深度信息，计算机将深度信息进行处理后作为深度图实时传递给三维实时引擎。与此同时，摄影机跟踪设备获取摄影机到LED背景墙的距离，以该距离作为临界阈值将深度图进行二值化处理，保证LED屏幕前的被摄主体均为白色，LED屏幕自身均为黑色。然后，通过深度摄像头提供的接口，将二值化处理后的蓝/绿幕轮廓发送至三维实时引擎。
图10 二值化处理后的深度图示意图
为了能够拍摄到可以正常进行色键抠像的拍摄素材，必须使该绿/蓝幕轮廓白色区域能够完全覆盖被摄主体，因此需要对该绿/蓝幕轮廓进行膨胀处理（如图11所示）。实现思路为将该深度图在平面的多个方向上进行适当的位移后叠加，其蓝图函数实现如图12所示。
图11 膨胀处理后的深度图示意图
图12 UE4中膨胀函数的实现
LED绿幕轮廓膨胀的大小可以根据具体拍摄情况如焦距、镜头运动速度等因素决定。由于深度图从获取到最终显示在LED背景墙上需要多步运算处理，为避免画面延迟，当拍摄快速运动的镜头时，应适当增大膨胀值。
将膨胀后的LED绿幕轮廓进行着色，根据摄影机的位置跟踪信息映射到LED背景墙上，最后使用摄影机记录下画面。实现效果如图13所示。
图13 实现效果图
在拍摄完成后，需要进行后期抠像合成，而这种制作方式所得到的摄影机画面仅有环绕被摄主体的一圈绿幕，仅使用色键抠像无法完成制作。为此提出对应的后期抠像合成方法。
图14 虚拟绿幕变形方法抠像流程图
后期抠像方法流程如图14所示，现场拍摄所录制的摄影机画面经过色键抠像得到蒙板，而同样是现场拍摄录制的绿/蓝幕轮廓，再经过膨胀后得出另一个蒙板，值得注意的是这里的膨胀值应略小于现场拍摄时的膨胀值。然后将两个蒙板相叠加得到一个合并后的蒙板，使用该蒙板进行摄影机画面抠像，并与后期三维虚拟画面合成，以完成后期制作。
5 虚拟绿幕应用效果测试及分析讨论
为验证本方法与系统的实用性，本文在LED虚拟化制作过程中，设计LED背景墙全绿、内视锥绿幕和虚拟绿幕三者的对比实验，验证其在溢色控制、镜面反射等问题上的表现。在验证实验中，摄影机、镜头参数保持一致，分别对比LED背景墙全绿、内视锥绿幕和虚拟绿幕在灰球、铬球以及人物拍摄中的表现。实验现场如图15所示。
图15 实验现场图
（1）溢色测试：分别在LED背景墙全绿、内视锥绿幕和虚拟绿幕的情况下对灰球进行拍摄，观测其溢色情况。在LED背景墙全绿的情况下，溢色几乎充满整个灰球，这种情况下进行抠像会产生严重的问题；在内视锥绿幕的情况下，仅有边缘出现溢色的情况；而在虚拟绿幕的情况下，灰球上几乎没有出现溢色的情况。如图16所示。
图16 不同形式绿幕下灰球的溢色状况
（2）反射测试：分别在LED背景墙全绿、内视锥绿幕和虚拟绿幕的情况下，观测其对铬球的反射影响。如图17所示，在LED背景墙全绿的情况下，整个铬球上都是绿色穿帮，在内视锥绿幕的情况下有所改善，但仍有大面积绿幕穿帮。而在虚拟绿幕中，仅在一侧出现小面积绿幕穿帮，大部分画面显示虚拟画面内容，能更好地还原场景中具有镜面反射的被摄物。
图17 不同形式绿幕下铬球的反射图像
（3）演员测试：分别在LED背景墙全绿、内视锥绿幕和虚拟绿幕的情况下对人物角色进行拍摄，观测其效果。如图18所示，左中右分别为LED背景墙全绿、内视锥绿幕和虚拟绿幕情况下，人物皮肤和墨镜上的图像。溢色情况从左到右依次有所改善，在虚拟绿幕中基本没有溢色。从墨镜上的反射上可以看出，在全部LED背景墙显示全绿和仅内视锥显示纯绿时墨镜表面反射绿色较为严重，而使用虚拟绿幕时，溢色和反射等负面影响基本肉眼不可见，且墨镜反射图像真实还原了演员所处的虚拟环境，很好地兼顾了绿幕抠像和镜面反射的问题。
图18 不同形式绿幕下人物皮肤与墨镜的表现
综上所述，本文提出的一种基于深度信息获取的虚拟绿幕实时变形方法，能有效地改善LED虚拟化制作中绿幕的溢色与反射穿帮的问题。相比于在LED背景墙中手动添加小面积的绿幕，这种方式能实时跟随摄影机的朝向自动调整绿幕的位置，始终让绿幕在摄影机画面中包围被摄主体，无须在镜头运动时再人为调整改变绿幕的显示位置。
由于实验条件限制，我们无法搭建同等大小的传统绿幕环境，以进行控制变量的实验。LED背景墙全绿的情况可一定程度上类比传统绿幕的情况，供读者参考。
但本方案也存在一些问题，首先，LED绿幕只能显示在 LED 背景墙上。如果被摄主体的后景还包括地面等，则仍然需要传统绿幕，因为地板往往会用来布置和角色交互的前景和地面。
其次，由于本方案的系统复杂度较高，视频信号需要先后通过深度摄像头、游戏引擎、数字信号分发等系统，会产生较大的延迟，对于快速移动的物体比如演员的手臂，虚拟绿幕并不能及时反馈在LED屏幕上。
最后，实验使用基于激光ToF的深度摄像头，其精度有限，画面分辨率较低且存在一定噪波，一些较小的物体无法被正常识别。此外，一些黑色吸光物体、镜面反射物体的深度识别还需要进一步完善。
图19 基于深度图像处理的虚拟绿幕变形方法
6 总结和展望
基于LED背景墙的电影虚拟化制作是当前最为先进的影视制作技术之一。在LED背景墙上显示虚拟绿幕背景，其画面平整，并且可以方便地调整大小和亮度、添加标记点，能够兼容传统绿幕拍摄，完成特定的镜头拍摄。本文研究了影响LED虚拟绿幕对拍摄效果的影响因素，在此基础上提出了基于深度图像处理的虚拟绿幕实时变形方法。通过将LED虚拟绿幕的大小降至最小，最大程度减少了LED面板发出的绿光对表演主体的溢色和高光反射等负面影响，解决了LED虚拟化制作中的内视锥绿幕合成问题。
由于实验环境、设备精度、系统复杂度等方面的影响，本文提出的技术存在一些局限性和适用范围。我们将在后续工作中进一步深入研究这部分内容，不断完善发展基于LED背景墙的电影虚拟化制作的相关技术，促进新技术的推广应用。
注释、参考文献
（向下滑动阅读）
① 图片来源：https://www.fxguide.com/fxfeatured/vanishing-points-vector-for-virtual-production/.
［1］FOSTER J. The Green Screen Handbook: Real-World Production Techniques［M］.Routledge，2014.
［2］陈军. “虚拟”的技术,“实在”的手段——谈电影虚拟化制作技术对电影创作的影响［J］.北京电影学院学报, 2019(01): 119–124.
［3］吴悠.《曼达洛人》与StageCraft影片虚拟制作技术分析［J］.现代电影技术, 2020(11): 6–12.
［4］陈军, 赵建军, 卢柏宏.基于LED背景墙的电影虚拟化制作关键技术研究［J］.现代电影技术, 2021(08): 17–25.
［5］In-Camera VFX Overview［EB/OL］.［2021-12-27］. https://docs.unrealengine.com/4.27/en-US/WorkingWithMedia/IntegratingMedia/InCameraVFX/InCameraVFXOverview/.
［6］The Mandalorian: This Is the Way-The American Society of Cinematographers［EB/OL］.［2021-12-27］.https://ascmag.com/articles/the-mandalorian.
主管单位：国家电影局
主办单位：电影技术质量检测所
刊号：CN11-5336/TB
标准国际刊号：ISSN 1673-3215
官方网站：www.crifst.ac.cn
期刊发行：010-63245082