基于UE4全实时？影视级实时真人虚拟CG交互，真正的即时出片技术来了！
本文为4月7日“CG世界”对“世优科技”的深度报道，发布在“CG世界”微信公众号
原创报道 CG世界
早早，早上好小伙伴们！
还记得春节期间我们解析的那篇春晚现场技术的文章么？一下冲到热搜，阅读一时间达到了3万多。后台很多小伙伴问其中详细的技术实现过程，还有一些是询问我们想找技术制作公司做项目的。后来我们询问了好久，终于找到一家公司，然后详细的了解了下幕后制作，今天就带大家学习下幕后的技术实现过程吧。
我们追踪到的这家虚拟技术提供商是为央视春晚刘德华《牛起来》节目提供技术支持的世优（北京）科技有限公司。
通过采访相关负责人得知，此次节目，他们利用虚拟演播室系统，通过北京&香港录制与控制的方式，采用全4K+HDR的信号格式，将远在香港的刘德华成功的请回了春晚现场。通过VR技术，让歌手和整个场景以及植入进来的元素产生交互，呈现出一场视觉盛宴！
我们将通过对技术的详细分解，希望能够给大家带来一些制作应用的启迪。
1.
虚拟演播室系统
首先要讲到的就是刘德华此次运用的这套虚拟演播室系统。在这套流程中，会使用摄像机和绿幕布景的传统广播设置，同时搭载运行的是世优的一套基于UE4的实时广播合成系统。它是目前世界上第一个存在于GPU上（基于图像）工作的实时抠像器。
虚拟演播室系统的实时抠像技术是其点睛之笔，应用针对GPU进行高度优化的软件色键器，不需要额外的硬件色键器，就能完成实时抠像与合成。
利用色度抠像生成虚拟抠像区域的空背景，将拍摄的视频与空背景对比，从而能够保留微妙的透明度细节和阴影。
为了给移动的摄像机创建空背景，这套系统提供了创建虚拟抠像区域的功能，将拍摄的实体绿幕布景的影像映射到这个数字化副本上。然后将来自摄像机的跟踪数据输入这个节点中，使系统能够为每一帧画面创建空背景。
在虚拟引擎的作用下，在绿幕中进行带跟踪的实时抠像。虚拟演播室系统的跟踪技术有4种方式，网格跟踪技术、传感器跟踪技术、红外跟踪技术、超声波跟踪技术。
其基本原理都是采用图像或者机械的方法，结算并记录真实摄像机的位置和姿态参数、镜头参数等，将其同步给虚拟摄像机，以和真实场景进行无缝融合，创造出科技、无违和的舞台呈现。
此外，支持垃圾遮罩、强制填充和消色处理旁通遮罩等功能。这些蒙版可实现虚拟工作室的虚实混合，可以将虚拟环境与真实环境结合在一起。
透明物体往往是抠像最为避讳的，因为透明物质对光的透过率较高，抠像处理的难度比较大。
虚拟演播室系统的色渐器基于16位浮点运算合成图像，在引擎内部进行画面抠像合成。即可将发丝、白色毛领、水瓶、阴影、烟雾等精细或透明物体从绿幕分离并与实景融为一体。抠像边缘没有任何杂色，抠像质量清晰、细腻、色彩还原度高。
虚拟演播室系统发丝抠像测试像素级别快速处理发丝抠像
虚拟演播室系统透明矿泉水瓶抠像测试保留透明质地和光感
虚拟演播室系统地面阴影测试阴影自然逼真
虚拟演播室系统人与环境的融合
以上实时抠像合成后的场景，是由制作团队根据实体虚拟演播室绘制，扫描了各种实体元素确保和虚拟场景完美吻合。
与传统虚拟系统不同，这套虚拟演播室系统是UE4内生系统，完全支持其物理材质，蓝图控制，粒子效果等。传统的CG制作，是把人物先绿幕抠像再结合场景、特效进行渲染合成，输出视频。但是世优科技虚拟演播室系统能在一台机器上实现视频输入/输出、键控、 合成和渲染的实时呈现视觉效果。
场景建模只需在传统的3D软件中创建，并通过FBX导入UE4中。画面渲染合成同时在引擎内完成，真正做到了实拍画面和虚拟物体完美融合。
亮点一：打破了空间环境的限制。
亮点二：可实时预览。
亮点三：基于UE4引擎。
亮点四：超高质感的画面渲染能力，游戏级的粒子效果以及动画。
亮点五：现场即时可出片。
这套“随时随地搭建，即装即用”高效便捷的系统，让实时效果达到了后期影视级别。为CG工作人员带来了便利，非常的灵活，效果也是杠杠滴。
除了抠像效果外，这套系统还具有XR功能。
2.
XR功能
XR（Extended Reality，扩展现实）是指通过计算机技术的一个真实与虚拟组合、可人机交互的环境，是AR、VR、MR三者视觉交互技术融合。
XR以三面LED屏幕构建了可视化的虚拟三维空间。现场通过摄像机跟踪系统实时提供演员在虚拟三维空间的位置数据。
通过渲染引擎在LED屏幕上实时呈现动态虚拟场景，用“假”的画面填充覆盖某些“真”的地方，起到补充和扩大场景的效果。演员能够根据屏幕画面，与身边的虚拟元素可以进行沉浸式互动，打破了传统虚拟制作抠像技术限制，实现了虚拟空间与现实世界的无缝衔接。
独有的遮罩虚化可以让虚拟内容和实景融合天衣无缝，而三维遮罩控制还可以自行定义实景上的遮挡关系。
这就意味着，游戏、电影电视里的演员不需要长途跋涉到现场去参加拍摄。也能实现三A级游戏质量的画面。此外，世优提供的虚拟演播室系统具有AR、VR等功能。
3.
除了实时抠像与虚拟场景合成之外，虚拟角色亦是影视制作中不可或缺的一环。电影《阿凡达》的重新上映是动作捕捉技术的又一次普及。
而虚拟演播室系统，将动捕服等硬件全都借助软件-虚拟演播室系统连接在一起，让虚拟角色接入到虚拟演播室系统中。通过实时表演捕捉数字化人物，可以实时预览，并与虚拟场景渲染合成，无缝整合到现有的动画&直播制作流程中，让制作时间大大缩短。
虚拟演播室系统使用3D虚幻引擎实时处理动捕演员肢体运动、面部表情、手指等部位的动捕数据，实时给观众呈现鲜活的形象。
基于3D虚幻引擎可以创造出卡通形象、二次元形象、照片级的数字人类，并且配备完整的骨骼绑定和毛发服装。让数字人拥有着以假乱真的面部表情，细腻的皮肤纹理以及毛发细节。
当动捕演员和真人嘉宾都在绿幕中，想要不出现虚拟形象但要保存真人嘉宾，传统做法是让动捕演员穿上绿色动捕服，或用体型相似的虚拟角色直接挡住动捕演员。虚拟演播室系统即可实现为动捕演员加上遮罩，达到隐身的效果，完美在画面中隐藏。
表演捕捉数据在虚拟演播室系统中实时捕捉、实时渲染，并支持文件导入Maya、UE4等软件、实现高质量表演捕捉动画。
动捕技术结合虚拟演播室系统，已经被广泛用于虚拟制作的方方面面，比如预览、布景、实时动捕、模拟摄影、现场合成、镜头内特效（In Camera VFX）和最终成像渲染等。
目前，虚拟演播室系统已广泛应用在直播、广电领域。
这套系统完美地将游戏制作科技和电影电视融合在一起，用最短的生产周期实现了电影级的效果。
局限你的不再是技术，而是想象力。相信在世优科技演播室系统的加持下，未来会创造出更多的应用场景，为直播、广电、影视行业带来更多的革新与突破。