基于LED背景墙的电影虚拟化制作中摄影机跟踪技术研究
本文刊发于《现代电影技术》2022年第1期
专家点评
近年来，作为新概念的“基于LED背景墙的虚拟化制作技术”的应用场景持续丰富、重要作用日益凸显，逐渐成为相关学术探索聚焦的热点议题，呈现出多角度、多层面、多意涵的研究动态。摄影机跟踪系统是电影虚拟化制作的前提与基础，LED虚拟化制作技术的兴起为视觉跟踪的实际应用带来了机遇与挑战，是考察电影制作新技术发展的题中之义。诞生于上述现实语境的《基于LED背景墙的电影虚拟化制作中摄影机跟踪技术研究》通过在典型摄影棚环境中进行科学实验的方式，测试了多种摄影机跟踪系统在LED虚拟化制作中的应用，对其精确度、稳定性、鲁棒性等系统特征展开了数据分析。文章实验合理、结构清晰、逻辑严谨、写作规范，具有一定的理论创新价值与实践指导意义。
——程樯
教授、博士生导师
北京电影学院视听传媒学院院长
作者简介
李想，北京电影学院中国电影高新技术研究院2019级硕士研究生，主要研究方向：电影虚拟化制作；
赵建军，北京电影学院影视技术系副教授，主要研究方向：虚拟现实、图形学在影视制作中的应用；
陈军，北京电影学院影视技术系研究员，主要研究方向：数字电影摄影技术、电影虚拟化制作。
摘要
电影虚拟化制作技术是近年来提出的一种新型影视制作技术，随着其发展和创作需求的提升，电影虚拟化制作不断推陈出新，制作方式也由最初的基于绿幕的虚拟化制作发展到近两年最新提出的概念——基于LED背景墙的虚拟化制作技术。摄影机跟踪系统是虚拟化制作的前提，本文依托北京电影学院影视技术系与青年电影制片厂联合建设的LED电影虚拟化制作摄影棚，以基于LED背景墙虚拟化制作在电影制作过程中的应用为例，对摄影机跟踪系统进行深入探究，通过在LED显示环境下设计实验并进行数据分析。对比实际制作环境中常见的不同跟踪系统的精确度、稳定性、鲁棒性等系统特征，结合实际操作感受，对不同的跟踪系统进行了分析，最后针对摄影机跟踪技术的发展进行了总结与展望。
电影虚拟化制作 LED背景墙 实时渲染 摄影机跟踪
1前言
基于LED背景墙的电影虚拟化制作技术（下称“LED虚拟化制作”）是指在拍摄现场，通过摄影机跟踪系统和实时渲染引擎，将渲染画面显示到LED背景墙上，演员在LED背景墙形成的环境中进行表演，从而实现拍摄时的“合成”。这一技术极大地提高了虚拟化制作的效率，降低拍摄风险，摆脱传统拍摄过程中的诸多限制，为影视拍摄、赛事直播、广告制作、大型演出等不同领域的创作者营造更加友好的创作环境，如图1所示。
图1 LED虚拟化制作技术在不同领域中的应用
摄影机跟踪系统是电影虚拟化制作的基础，在实际应用中，对于跟踪系统的要求往往强调定位精确度、稳定性、鲁棒性和用户创作的自由度。目前市面上已经存在多种对于刚体进行姿态估计和运动跟踪较为成熟的解决方案，考虑精度、重量、成本和适用环境等因素，基于视觉的摄影机跟踪方案已经成为目前进行虚拟化制作的热门选择。
随着LED虚拟化制作技术的兴起，人眼对于真实场景与虚拟背景的相对稳定性更加敏感，同时摄影机自身的运动规律与普通刚体又存在着差异，再加上LED虚拟化制作环境带来的动态变化使得基于视觉跟踪的应用环境又重新面临挑战。
本文对摄影机跟踪系统在典型LED虚拟化制作环境中的应用进行研究，通过一系列测试，利用客观数据对跟踪的精度、稳定性、鲁棒性、数据处理传输速度、合成效果等方面进行分析，同时结合主观操作感受，对摄影机跟踪技术在LED虚拟化制作这一新领域进行研究。
2跟踪系统简述
真实世界中的摄影机运动往往受到空间限制，LED虚拟化制作技术则给予了创作者无限的空间，在虚实结合的创作环境中提供了更多镜头运动的可能性。
2.1 摄影机运动简述
在真实的电影拍摄中，一个运动镜头由起幅、运动、落幅组成，其中运动镜头主要包括：推、拉、摇、移、跟、升、降、甩。摄影机在进行拍摄时可视为一个不会产生形变的刚体在进行欧式变换运动，这一运动的特点是无论位置和方向发生变换还是在不同坐标系下观察同一个物体，它的长度、夹角、体积等形状和大小都保持不变。在影视制作环节中，摄影机实际上是对人眼行为的模拟，摄影机拍摄呈现画面的目标是观众，所以摄影机的运动往往有连续、平滑等特性。
对于具体的镜头运动行为，Dolly（推拉）、Pedestal（升降）、Truck（横移），对应刚体位移运动中的沿物体正方向指向进行前后位移、沿物体纵轴方向指向进行上下位移、沿物体水平轴方向指向进行左右位移；Pan（横摇）、Tilt（俯仰）、Roll（横滚）对应刚体旋转运动中的绕物体纵轴旋转、绕物体水平轴向进行旋转、绕物体正方向指向轴向进行旋转（图2）。其中，对于Roll即横滚运动，在影视摄影制作中较少涉及该类的镜头运动。因此对于刚体运动轨迹的优化，则需要针对摄影拍摄时的运镜规律进行重新配重与优化。
图2 摄影机运动类型
现有的对刚体进行姿态估计的解决方法侧重于通过提升观测设备的刷新率以捕捉物体更加快速的变化，或提升观测设备的分辨率以捕捉更加细节的变化和更加精准的3D特征点的定位精度。这些举措都缺乏针对摄影机位姿变化和运动规律的的精准重建与优化，更加适用于普通刚体，例如机器人或SLAM技术。然而过度的滤波平滑又会造成对摄影机动作还原的失真，因此选择算法优化适度的摄影机跟踪系统同样重要。
2.2 摄影机跟踪常见的集成方案
跟踪设备选择方面，因摄影机的跟踪所关注的内容是如何从像素坐标系还原回世界坐标系的位置，所以对目前常见的跟踪解决方案进行分类，根据实现原理的不同可以分为由内向外跟踪及由外向内跟踪两种方式。由内向外跟踪不需要外部传感器或信标，被追踪对象需要搭载不同的传感器利用算法来获取对象的精确位置，通常在由内向外的位置跟踪中，摄像机或传感器位于被跟踪的设备上，典型的由内向外跟踪设备有Ncam、Lightcraft、MoSys、RedSpy等；由外向内跟踪采用某种信标的任何方法都属于外向内跟踪技术，通常采用光学跟踪方式使用摄影机或其他传感器放置在一个固定的位置，面向被追踪的物体，典型的由外向内跟踪设备有Vicon、OptiTrack、HTC Vive等。
在跟踪设备与其他三维渲染系统集成方面，根据跟踪数据使用的场景或阶段不同，可以将系统管线分为实时和后期两个阶段。在实时阶段，跟踪设备软件端可以通过插件与第三方DCC（Digital Content Creation，数字内容创作）软件或实时渲染引擎进行通信，将摄影机的外参（6DOF的位姿变换数据）以及镜头内参（焦点、焦距、镜头畸变等）参数实时地传输给引擎中的虚拟摄影机，最终渲染出位置、透视、视场等显示正确的画面；在后期阶段，经过前期跟踪数据的实时传输与录制，后期部门可以选择对跟踪数据进行清洗修正再利用，减少摄影机反求操作，可以极大地提高后期工作效率。
2.3 基于LED背景墙的虚拟化制作对跟踪系统的需求
目前LED虚拟化制作技术从原理上可以看作是增强现实技术在影视行业的应用，该技术被广泛地应用于影视制作、大型演出直转播等泛娱乐行业，不同的应用场景对于跟踪系统提出了新的不同需求。由于LED显示屏幕的广泛参与，实时渲染的虚拟背景直接显示并且被摄影机同步记录下来，这使得虚拟场景与真实场景之间的坐标系匹配更为重要。动态画面和复杂闪烁的光环境变化也给跟踪技术带来了新的挑战，面对各种不同技术原理的跟踪设备，本文设计以下实验对HTC Vive Pro Eye、Ncam、stYpe RedSpy、OptiTrack PrimeX 22四款在行业内广泛使用的基于不同原理的跟踪系统进行对比分析并对设备特性及应用场景做出总结。
3 实验设计
对于跟踪系统而言最重要的系统属性是跟踪的精度、稳定性及鲁棒性，本文将通过测量在相同LED显示环境下不同跟踪设备的跟踪精确度、稳定性、鲁棒性，结合数据处理传输速度、跟踪使用的场地要求、操作时主观感受等要素，对不同实时跟踪解决方案进行对比分析。
3.1 实验对象
本实验分别以由外向内基于红外视觉的跟踪设备OptiTrack动作捕捉系统、基于激光扫描的HTC Vive Pro Eye虚拟现实眼镜，以及由内向外跟踪设备基于双目视觉的Ncam摄影机跟踪设备、基于红外单目视觉的RedSpy红外摄影机跟踪系统为对象，根据实验对象设备的安装要求装配至本实验设备摄影机SONY F55上，装配情况如图3所示。
图3 四组实验对象装配方式
3.2 实验环境及要求
本实验依托于北京电影学院影视技术系与青年电影制片厂联合建设的基于LED背景墙的电影虚拟化制作摄影棚实验环境。首先，该LED虚拟化制作实验环境最大纵深为9.73m，宽度为10.60m，高度为4.20m。三面均由点间距为2.6mm、亮度可达1500nit的雷迪奥（ROE）DM系列LED屏幕环绕，其中，左右两侧屏为平面，前侧主屏为面板夹角为5°的22列LED面板组成的弧面。其次，顶部由132只诺华视创六基色LED照明灯构成11×12排列组合的灯光矩阵，覆盖LED显示区域。最后，可移动影视照明灯光系统是由南光等LED面板灯具以及Froza系列聚光灯及柔光布组成影视制作拍摄领域常见的灯光配置环境。经测光表测量，在拍摄范围中间能够捕捉到的整体照度达2900lx，整体实验环境与照明环境如图4所示。
图4 LED屏幕、灯光矩阵、影视照明灯光系统实验环境
3.3 实验步骤
根据测试计划，将实验步骤（如图5所示）分为设计实验、数据采集、数据处理、数据分析及实验总结五个阶段，分别设计静止状态、慢速及快速的运动状态，以及在俯仰和横摇等旋转轴上的运动、左右上下平移等位移轴上的运动动作，对影视制作拍摄运动进行模拟再现，针对摄影机跟踪系统的精确度、稳定性、鲁棒性进行数据分析。
图5 摄影机跟踪系统分析实验步骤
（1）精确度即“准确和精密的程度”，是一种统计学概念。其中，准确度是指测量数据的平均值偏离真值的程度；精密度是指对某一量进行测量时，每次测量的数据大小彼此接近程度。因此，对系统精确度的测量分析即是对该系统测量结果的综合评价：测量的精确度越高说明测量的平均值越接近真值，并且测量数据较为集中，代表测量系统的系统误差与偶然误差都比较小，测量结果既准确又精密。在摄影机跟踪技术中，跟踪设备的精确度是系统组成最为重要的特性之一，系统精确度越高，由跟踪数据求得的摄影机运动越能够真实地还原摄影机在现实世界中的运动。通常情况下，在进行设备精确度分析时需要绝对的外部信息，但绝对的外部信息在大多数情况下是未知的，则可选取由更高阶测量精度的传感器得到的参考值进行确定。
（2）稳定性通常是指“测量仪器保持其计量特性随时间恒定的能力”。与其他的增强现实或SLAM技术不同，基于影视制作的需求，我们对于摄影机跟踪除了要求能够快速准确地跟踪目标之外，稳定性是重中之重。经过分析，我们认为在影视摄影过程中，摄影棚的变化错综复杂，可以总结为复杂的现场光线环境和不断变化的前景遮挡关系均会对跟踪系统产生较大的影响。因此我们在不同环境下对数据进行采集与分析，对不同的跟踪系统进行对比。
（3）鲁棒性通常指控制系统在一定（结构、大小）的参数摄动下，维持其它某些性能的特性。对于LED虚拟化制作环境，摄影机跟踪系统的鲁棒性干扰则在于刚体跟踪点的遮挡丢失。本次实验设计针对实验对象的刚体跟踪点进行鲁棒性实验，选择的OptiTrack Active Puck有8个主动发光点正在进行运动，遮挡主动发光点数的百分比依次增加，进行相同运动行为并且记录，绘制运动路径，观察波动增加直至跟踪丢失的过程；RedSpy是由内向外跟踪，因此对红外摄像头进行人为遮挡；Ncam对双目摄像头的视野范围进行遮挡；HTC Vive对跟踪器上的红外反光点进行遮挡。
4 实验结果
4.1 跟踪精确度实验
对于摄影机在不同的运动情况下进行分析，我们通过测量每个轴的读数，就能够绘制出被跟踪物体在跟踪系统的三维空间中随时间变化的位置。
4.1.1 对静止情况进行模拟实验
摄影机静止时，在设备开机稳定运行一段时间后，获取任意时间段摄影机的位置信息，由Matlab中的scatter3( )函数绘制可得跟踪数据在三维可视化环境下的位置坐标如图6所示。
图6 精确度分析——静止情况下
经处理后的数据以坐标系原点为基准，在静止状态下，RedSpy三维坐标点最为集中，在各轴向上均匀分布；OptiTrack所得的三维坐标点也较为集中，主要分布在水平面上，垂直面上及所得Z轴的数据较为集中；Ncam集中程度较差，并且跟踪点坐标呈线性分布状态；HTC Vive的离散程度最高，跟踪点具有随机分布的特点，在水平面及垂直面上没有明显区别。从精密程度上来看，设备精密程度排序为RedSpy>OptiTrack>Ncam>HTC Vive。
对跟踪坐标数据的离散程度进行样本标准差计算，标准差越大，样本的离散程度越大，结果见表1。
4.1.2 对于旋转、平移运动进行模拟实验
摄影机运动时，在设备进入稳定运行状态后在水平方向上分别进行慢速和快速横摇运动，在垂直方向上分别进行慢速和快速俯仰运动，之后随机截取摄影机的位置信息，运动情况绘制后如图7所示。当设备进入稳定运行状态后，摄影机在水平方向上运动时，分别进行慢速和快速平移运动，随机截取摄影机的位置信息，运动情况绘制后如图8所示。
图7 精确度分析——旋转运动情况
图8 精确度分析——平移运动情况
（1）横摇运动
慢速：Ncam在做慢速横摇运动时，在水平面与垂直面上浮动都较小，运动轨迹较为平滑且符合摄影机横摇的运动特征；OptiTrack在Z轴方向产生了抖动，频率较高，与运动平滑的特征稍有不符；RedSpy在做慢速横摇运动时，在Z轴上的数值出现阶梯性下降，对于这一运动，Z轴最大值和最小值相差0.5cm，对于渲染画面显示将会产生影响；HTC Vive产生高频在±0.1cm幅度之间抖动。由此可见，在做慢速横摇运动时，跟踪精确度排序为OptiTrack>Ncam>HTC Vive>RedSpy。
快速：Ncam在进行快速横摇动作时数据过于稳定平滑，符合横摇动作，但会丢失细微动作特征；OptiTrack运动轨迹符合运动特征，存在轻微波动；RedSpy在做快速横摇运动时精密程度更差，对于Z轴的估值产生了更大的波动，在做横摇这一Z轴不变的动作时的最大值和最小值差距达0.8cm；由运动轨迹可见，HTC Vive数值产生了高频、大幅度的抖动，不符合横摇运动平滑的特点，但整体在可接受范围内。由此可见，在做快速横摇运动时，跟踪精确度排序为Ncam>OptiTrack> HTC Vive>RedSpy。
（2）俯仰运动
慢速：四个被测设备在运动过程中均表现良好。RedSpy、HTC Vive轨迹平滑，符合运动轨迹；Ncam在启动时产生了轻微的数据波动；OptiTrack整体轨迹良好但存在小幅度低频的波动，对跟踪效果影响较小。跟踪精确度排序为RedSpy>HTC Vive>Ncam>OptiTrack。
快速：在进行快速俯仰运动时，Ncam的运动轨迹在折返点出现了Z轴数据跳跃现象，整体运动轨迹产生偏移存在累积误差；RedSpy数据在折返点产生数据中断但轨迹还原正确不影响跟踪效果；OptiTrack在末端产生了轻微的波动，但整体轨迹还原最较好；HTC Vive数据较为稳定，表现优秀。由此可见，在做快速俯仰运动时，跟踪精确度排序为HTC Vive>OptiTrack>RedSpy>Ncam。
（3）水平位移
慢速：三个被测设备在运动过程中均产生了轻微波动，Ncam数据滤波平滑效果最为明显；OptiTrack不管是从波动频率还是波动幅度上来说都较小；RedSpy次之；HTC Vive在运动启动的时候产生波动幅度较大。因此，在进行慢速水平位移运动时，跟踪精确度排序为OptiTrack>RedSpy>HTC Vive>Ncam。
快速：Ncam的平滑作用较为明显，但失去了对运动特征的准确还原；其他三者对于跟踪路径的反馈较为一致，符合运动平滑的特性。由此可见，在做快速水平位移运动时，跟踪精确度排序为OptiTrack>RedSpy>HTC Vive>Ncam。
（4）垂直位移
慢速：四个被测设备在运动过程中的运动整体路径有较大差别。Ncam运动轨迹体现出对于垂直平移运动记录的失真；运动中的特性在RedSpy的图像中也丢失了一部分，平滑处理较多；OptiTrack和HTC Vive保留运动轨迹虽有轻微波动，但仍可以接受。综上所述，在慢速垂直位移中，跟踪精确度排序为RedSpy>OptiTrack>HTC Vive>Ncam。
快速：Ncam的平滑作用较为明显，出现运动特征的丢失，路径与真实运动轨迹有区别；其他三者对于跟踪路径的反馈较为一致，符合运动平滑的特性，RedSpy的平滑处理更为出色。由此可见，在做快速水平位移运动时，跟踪精确度排序为RedSpy>OptiTrack>HTC Vive>Ncam。
4.2 跟踪稳定性实验
光环境变化：在设备进入稳定运行状态后，保持现场光线稳定且光照适中，能够满足影视拍摄现场光线需求，当前光照环境稳定状态下，通过测光表测量摄影机四周的照度数值为摄影机上方2700lx、下方520lx、前方2200lx、后方900lx。对现场的光线环境进行动态调控，同时对LED显示屏、现场影视级照明灯光进行调控，如图9所示。据检测，在变化的环境中，摄影机周边的光照环境极值可达最亮上2700lx、前2000lx、后1100lx、下560lx；最暗上240lx、前800lx、后57lx、下80lx；中间值上1000lx、前1300lx、后450lx、下210lx。
图9 光线动态变化环境示意
遮挡条件变化：该实验对现场可能会产生的极端遮挡环境进行模拟，利用影视拍摄中的黑旗道具在摄影机前运动，如图10所示。
图10 前景遮挡变化示意
对不同光线环境与遮挡环境进行静止状态模拟：其中图11是当前光照环境下静止不动时各被测设备的位置轨迹，图12是当前光照环境下各被测设备动作表现。
图11 稳定性分析——静止状态模拟
图12 稳定性分析——运动状态模拟
以光线稳定且光照适中的环境下的运动状态作为参照物，分别以在现场光环境进行动态变化的运动轨迹和在现场摄影机前不断产生动态遮挡的情况下运动轨迹进行对比。对于静止状态下的模拟可以进行坐标离散程度分析，如表2所示：光线稳定且光照适中的环境记为E1，光环境进行动态变换记为E2，摄影机前景不断产生动态遮挡记为E3。
在现场光照环境不断产生动态变换的情况下，Ncam受到了较大的影响，跟踪数据在Z轴上分布广泛，最大值和最小值相差0.3cm；OptiTrack受到的干扰十分明显，跟踪数据出现了两部分分化，在水平与竖直面上均有分布，可能会对实时渲染效果产生影响；RedSpy影响较小，跟踪点仍旧较为集中；HTC Vive跟踪受到影响较少，波动不明显。稳定性排序为HTC Vive> RedSpy>OptiTrack>Ncam。
在现场摄影机前景不断产生动态遮挡的情况下。运动过程中，OptiTrack的运动轨迹在小幅度内高频波动；Ncam轨迹中间出现了明显波动；其余的设备受到的干扰较小。稳定性排序为RedSpy>HTC Vive>Ncam>OptiTrack。
4.3 跟踪鲁棒性实验
将遮挡程度设置为0%、25%、50%、75%、100%，分别对运动轨迹进行记录，如图13所示。
图13 鲁棒性分析——不同遮挡程度运动轨迹
在遮挡程度达到25%时，Ncam运动轨迹出现轻微偏移，RedSpy产生严重失真导致轨迹还原错误，在Z轴上的坐标差距达2cm；HTC Vive、OptiTrack产生轻微波动但总体轨迹还原正确。
在遮挡程度达到50%时，Ncam运动数据产生明显偏移，只有惯性传感器在工作，视觉矫正逐渐减少；RedSpy丢失视觉图像矫正内容，只剩惯性传感器在工作并且运动轨迹轴向严重错误；OptiTrack波动幅度加剧，但整体运动轨迹符合运动规律；HTC Vive受到的影响较小，整体能够维持运动轨迹，仍产生了轻微的波动。
在遮挡程度达到75%时，Ncam、RedSpy均基本上丢失画面内容信息，只剩惯性传感器在工作，运动趋势正确但轨迹产生了严重失真；HTC Vive出现明显波动并且产生运动方向上的错误；OptiTrack的运动数据直接丢失。在遮挡程度达到100%时，Ncam、RedSpy依靠惯性传感器仍然能对运动进行部分还原但轨迹严重失真；OptiTrack与HTC Vive的运动数据直接丢失。
综上所述，在鲁棒性实验期间，对于产生遮挡这一行为最先产生反应的是RedSpy跟踪系统，当遮挡达到25%时便已经无法正常工作；在遮挡50%左右的范围表现最好的跟踪系统是Vive与OptiTrack，没有产生严重错误；75%遮挡程度下几乎使所有的跟踪设备都无法正常工作；直到100%遮挡，虽然RedSpy与Ncam内部的惯性传感器仍在作用，由于没有视觉矫正得出的错误结论，也会对摄影机内失效造成严重影响。
5 分析与讨论
在电影虚拟化制作发展的历史中，摄影机跟踪方式伴随着科技的发展、日渐更新的创作需求也在一步步发生变换，从最原始的机械跟踪，到体系庞大场地限制的由外向内跟踪，再到目前应用广泛的由内向外跟踪，这些技术的发展无一不是为影视创作提供更大的自由。但目前最广为人知的剧集《曼达洛人》等影片则回溯了技术发展历程，选择了曾经被虚拟化制作“淘汰”的由外向内跟踪技术OptiTrack动作捕捉系统。针对此现象，当前LED虚拟化制作技术对跟踪系统的需求，只有由外向内跟踪的设备更能满足。因此本文基于跟踪系统在LED环境下运作的精确度、稳定性、鲁棒性等因素进行设计实验并展开分析。通过上述所有实验，不同跟踪设备在LED显示环境下的跟踪精确度、稳定性、鲁棒性，经过运动轨迹分析对比得出如下结果：
在跟踪精确度方面，稳定状态下RedSpy>OptiTrack>Ncam>HTC Vive。又因为每个跟踪系统的原理不同，对于不同运动行为的跟踪结果表现略有不同，进行横摇及横向运动时Ncam、OptiTrack设备表现较好；在俯仰及纵向运动时RedSpy、HTC Vive表现较好。对于该实验结果，Ncam是横向双目镜头识别场景中的特征点；而RedSpy是纵向识别跟踪点反算自己的位置；OptiTrack在实验环境安装时红外摄像头都在LED屏幕上方，距离运动范围约3~4m，故对于纵向上的运动分辨程度不及横向运动。
在跟踪稳定性方面，RedSpy及HTC Vive设备表现较为优异。因为Ncam实现原理是双目视觉，并且跟踪设备与摄影机方向一致，即架设在摄影机下方，所以动态光照和前景遮蔽对于Ncam产生了较大的影响。OptiTrack跟踪刚体时需要对每个红外发光点进行识别并且计算出刚体的形状与中心点，从而得出运动轨迹，因此动态光照的变化对于红外没有影响，但遮挡对于刚体的识别会产生较大的干扰。动态光线与前向遮挡对于RedSpy的向上影响较小、HTC Vive的基站在摄影机遮挡的反向，不存在干扰。由此可见，跟踪设备的安装方式、方向及运动习惯需要进行提前设计规划，避免摄制现场带来的稳定性干扰。
在跟踪鲁棒性方面，由于摄影师操作及工作习惯、摄影机装配零件、现场置景环境、灯光柔光布等一系列因素的区别，会对摄影机跟踪系统的四周及上方产生一定程度上的持续遮挡。基于红外视觉原理与激光的跟踪设备OptiTrack、Ncam、HTC Vive对于跟踪设备跟踪点遮挡情况下的鲁棒性较强，在遮挡程度达到50%后还能较为正确还原；但同样作为融合了惯性传感元件的RedSpy，其鲁棒性表现最差，在进行摄影机运动行为跟踪时产生了较大的误差。在RedSpy与Ncam这两个视觉与惯性共同作用的摄影机跟踪系统中，Ncam的传感器融合算法表现更为优秀，RedSpy在跟踪区域遮挡程度为25%丢失后，就会产生跟踪轨迹严重失真的情况，在视觉跟踪信息与惯性跟踪数据融合技术方面还有待提升。
除了精确度、稳定性与鲁棒性，实时性作为跟踪系统的另一重要性能也需要考虑，但在本实验中不具备对传输速度进行测试的条件，在后续的研究中亟待进一步分析。跟踪系统数据实时处理及传输速度在此处是指从摄影机产生运动到运动捕捉软件得到刚体的运动数据，再经过算法处理优化，传递到第三方DCC或实时渲染引擎的时间。LED虚拟化制作技术的核心概念是摄影机内视效拍摄,即摄影机直接拍摄得到真实画面与虚拟背景的合成结果。在LED屏上,我们使用相对固定的外视锥形成的光照环境，来模拟真实的光照与色彩匹配，使用内视锥作为摄影机直接拍摄的背景，内外视锥的渲染要分别单独进行。由于硬件计算能力的限制，从摄影机产生运动到对跟踪数据进行捕捉、解算、传输，再到引擎渲染生成画面，该过程还无法完全实时完成。运动速度较大时，前景内容与LED屏幕显示的画面内容将会产生漂移，人对前后景撕裂的变化非常敏感，因此在渲染端及信号传输端硬件限制的前提下，建议尽可能选择处理算法数据传输高效的摄影机跟踪系统。
基于该实验环境、实验设计与数据处理方式，综合所有属性及使用方便性、对于拍摄场地需求、价格等进行分析总结如表3所示（不同跟踪系统在不同实验环境下表现效果不同，本表格内容仅是在特定实验条件下的结论，数据仅供参考）。
摄影机的跟踪系统在实际应用中，除了其本身能力之外，对虚拟空间的定义、跟踪设备原点与虚拟空间中跟踪原点定义也需要特别注意。跟踪设备中心与摄影机的光心同样需要进行匹配：根据摄影机成像原理与虚拟摄影机成像原理，摄影机光心是凸透镜的光学中心，一般位于透镜的中央点，摄影机在进行理想中的绕Yaw轴横摇运动时，其旋转中心应该是镜头的光心，而非摄影机云台的旋转轴。所以在控制虚拟摄影机旋转时，需要将刚体进行旋转运动的轴心与真实摄影机的光心重合，由此虚拟摄影机才能进行正确地位移旋转等操作，渲染出正确的画面。综上所述，摄影机跟踪技术在基于LED背景墙的虚拟化制作环境中还有许多需要进行深入研究与优化的内容，本文受客观条件所限，只做了一些基础性的测试，希望能起到抛砖引玉的作用，对其他研究人员有所启发。
6 总结
摄影机跟踪技术从诞生开始就不断地迭代更新，呈现螺旋式上升发展趋势。本文在典型摄影棚环境中进行了实验设计与论证，测试了多种摄影机跟踪系统在LED虚拟化制作中的应用，研究了多种方法的相关特性。实际拍摄生产中，面临不同的创作需求与现场条件，创作者需要根据实际应用场景，了解每个跟踪设备的原理及特点，分析其对跟踪系统的性能需求，从而选择合适的摄影机跟踪系统，才能更有效率地进行影视生产与制作。
摄影机运动是摄影语言表达的基础，是贯穿影视制作前、中、后期的关键环节，而摄影机跟踪的技术又是电影虚拟化制作的最关键技术之一。希望本文的研究能够为搭建、优化虚拟化制作系统提供参考，为科学选择摄影机跟踪系统、优化拍摄体验提供借鉴，为电影虚拟化制作的应用推广提供帮助。
注释、参考文献：略
主管单位：国家电影局
主办单位：电影技术质量检测所
刊号：CN11-5336/TB
标准国际刊号：ISSN 1673-3215
官方网站：www.crifst.ac.cn
期刊发行：010-82139735/56