成立不到2年已预研UE5实时管线，探访腾讯IEG旗下最神秘的部门

导语

满天都是小星星

去年12月，我有幸与腾讯虚拟偶像星瞳背后的运营团队成员进行过一番交流，通过腾讯CDD虚拟人业务线负责人ice与腾讯QQ炫舞系列运营负责人Nina之口，我知道了IEG方面对于星瞳的投入与重视，同时也看到了腾讯在虚拟人业务上的强势以及技术积累。

在那次采访中，我曾抱着开玩笑心态给ice说“你看现在UE5测试版已经发布了，是否考虑迭代UE5？”，而ice真的一脸淡定的告诉我她们真的有在同步研究UE5的一些技术，并且准备应用在星瞳之上。

当时的ice并没有告诉我外界看到这让人兴奋的东西具体需要多久，但我确实没想到星瞳的UE5尝试会来的这么快，甚至比UE5正式版的发布还早了10天。直到后来我才知道，这短短49秒舞蹈视频背后是星瞳团队近4个月时间的心血成果。

“我们希望让外界直到星瞳背后的团队每天都在做些什么，星瞳企划具体是怎么在运作，星瞳对于腾讯的大家意味着什么，而腾讯的同学各自又在其中扮演着什么样的角色？”

ice这次不是一个人来，同时还有腾讯互娱内容生态部的总经理“光芒”，跟我一聊就是2个小时。

01

开场前的寒暄

茶馆：两位好呀，老规矩，请两位先自我介绍一下吧。

ice：大家好我是ice，腾讯互娱内容生态部虚拟人业务负责人，去年和大家聊过星瞳的故事。今天的主角是光芒，我就负责暗中观察啦。

光芒：大家好我是腾讯互娱内容生态部（简称CDD）的总经理，大家都叫我光芒。

茶馆：光芒好，ice也别闲着没事儿唠两句不是（笑）。好了我们回归正题，其实关于CDD很多读者相信就算是不少业内朋友都会觉得比较陌生，这里还是麻烦光芒简单介绍一下CDD吧。

光芒：当然没问题。CDD全称Content Development Department，成立于2020年底，是隶属于腾讯IEG事业群下的独立部门，下面有虚拟人、虚拟制片等多个业务线，为腾讯IEG乃至整个腾讯各事业群提供内容制作技术相关的支持，对内扮演着内容制作中台的角色。

CDD作为一个单独的部门，我们成立的定位就是希望探索游戏引擎在非游戏领域的应用，这里面涉及很多过往我们并未尝试过的技术点，也是尝试将游戏技术应用到不同的领域中，这其中包含了实时渲染、实时交互、CG和VFX技术、拟真以及其他传统影视行业应用等。

这其中所需要的基础能力是虚拟世界与真实世界在时间、空间上的对位问题，也是我们核心研究的课题， CDD的虚拟业务线主要就是解决这些问题。

茶馆：这里我有一个问题，也是我去年12月采访后才想到的，当时我是认为星瞳是腾讯IEG内部多部门在协同没有明确的归属，但目前看来CDD似乎是扮演着“主轴”?

光芒：主轴谈不上，CDD、腾讯QQ炫舞项目组、腾讯人工智能实验室（AI Lab）等等不同的部门都有明确分工，各司其职。

比如QQ炫舞项目组，因为星瞳诞生于《QQ炫舞》系列游戏，所以炫舞项目组主要负责星瞳IP的定位、特殊节点星瞳的物料以及商务合作，并且星瞳也依然是《QQ炫舞》的虚拟代言人这一点是不会变的，而AI Lab在中国乃至世界的人工智能领域都有着极高的权威，所以像星瞳动捕数据修正、镜头算法的很多技术处理我们都会跟AI Lab积极沟通合作。

CDD负责的板块主要在内容策划、直播运营、离线视频等部分，所以从用户的感受上来说，大家日常看到关于星瞳的部分，主要是CDD在负责的，但是还有很多大家看不到的背后工作，是由其他很多部门来合作的。

茶馆：我的理解是，类似一些游戏里常驻卡池与活动UP卡池的相处状态？你们是常驻，其他的一些部门是活动UP？

光芒：可以这么理解。比如前期有部门支撑了某个模块，随着项目的开展，这个模块成熟应用以后，相关部门也就自动淡出了；相反，如果在项目运转中我们需要其他部门的协同与帮助，那么随时有可能就会拉对应的职能团队加入支持，这个主要还是看星瞳这个项目的实际需求，当然从目前的情况来看，在直播板块所应用到的技术基本都是由CDD来负责的。

茶馆：这个解释很好，打消了我之前的一些困惑，好了那我们今天的采访就算正式开始了。

ice：好，正式开始。

茶馆：首先我想问问大伙最近都很关心的问题吧，其实这也是一直以来星瞳粉丝或者说外界都比较陌生的，因为技术，因为项目定位，甚至是因为腾讯对星瞳的很多东西存在一个似是而非的理解状态，所以也希望借着这个机会好好聊聊星瞳企划的一些故事，光芒你准备好了吗?

光芒：当然，我们也希望多交流。

茶馆：既然如此我先来个重量级的，作为虚拟偶像的星瞳和商业化之间的关系你们是怎么看待和处理的？

光芒：是个好问题，也有很多小星星之前非常关心这个问题。

其实外界一直有声音说，腾讯做星瞳这个项目就是做着玩，不在乎收益，事实情况不是这样的，对于任何一个商业项目来说，都必然会有商业化的目标，只是看目标到底是什么，如何实现。

茶馆：事实不是这样吗？(笑)

光芒：实际的情况是不管是星瞳这个项目还是CDD其他所负责的项目，都希望可以走上一条内容、商业都能成功的道路，特别是内容这种本来就难以证明什么叫做成功的形式来说，商业化的收益都是非常有说服力的一项指标。

很多人包括一些业内人士都问我们说以星瞳这个项目投入体量基本上不太可能回本吧，真实情况也是这样，星瞳的项目投入极大，有很多小星星包括业内人士也在猜测单场直播的投入有多少，我也看到了，但是不乐观的说，目前星瞳的实际投入比大家的猜测还要大不少。

茶馆：所以，你们是怎么考虑这个问题的呢？

光芒：从去年开始我们就在思考这个问题，这期间我们捋清楚了两个逻辑，简单归纳就是通过成本控制与TOB型商业模式去打破这个商业循环。

成本控制这个很好理解，从去年开始就关注星瞳的粉丝肯定会有最直观的感受，直播的整体效果在逐步提升，但是与大家感受相反的是，实际平均每场直播成本却在逐步下降。

这其中涉及到我们在引擎端的功能、插件的开发，直播管线上的流程优化，单场人力投入优化、提升直播棚的使用效率等等。事实上，如果今天放到全行业来看，做一场星瞳同样品质的直播，我相信CDD的成本会是市面上解决方案里最低的。

随着星瞳影响力的不断扩大，目前也有很多公司内外的客户找到我们，希望由我们来提供工具、产品甚至解决方案，对于CDD目前看起来的最好的商业化模式，也是对外进行工具产品或者解决方案的打包售卖。

简单来说，在虚拟人这条线上，星瞳可能会是个投入大于回报的项目，甚至在比较长的时间内都会持续这样的情况，但这不代表我们不在乎星瞳的IP商业化收入，这并不矛盾，我们也在积极探索。另外，通过我们的技术解决方案，为虚拟人行业甚至是传统行业提供我们的能力，来获得商业回报，很快大家也会看到更多使用了CDD技术的虚拟人登场。

茶馆：听起来已经有元宇宙的感觉了，我看有不少小星星的评论里提到了元宇宙。

光芒：事实上我们部门内部是不允许提“元宇宙”这个词的（笑），目前这个词还是太空洞了，不同的人对于这个词的理解都不太一样，这很容易造成内部沟通上的错位，我们还是希望能把，虚拟和现实的空间时间对位、实时交互这两项最基础的能力给做扎实。同时我也希望工具人团队是个踏实做事的团队，不要浮躁，好的数据人人都喜欢，但好的数据应该是你认真做事所带来的结果，而不是把好的数据当成目的，因为仅仅想要好的数据，那方法可太多了。

茶馆：我觉得， 小星星们就只听了光芒这一番话就可以安下心慢慢阅读后面的内容了。

ice：所以有一点小星星们可以放心的是，星瞳是CDD自成立以来最重视的项目，也会是CDD未来几年内容策划、技术实践、商业探索上的核心项目。

02

积累经验与解决问题

茶馆：不好意思强行分了个段，光芒实在太能聊了。

光芒：不好意思，但是这才刚开始。

ice：冒泡防踢。

茶馆：很多问题已经在前面得到答案了，所以我们不妨聊点稍微轻松点的话题，比如最近被小星星们大溜特溜的《TOMBOY》以及4月8日的“神回”，你们对这天的直播感觉如何？

光芒：其实这次技术测试回准备了很久，算是个阶段性成果吧，对我们来说经过了8个多月，技术方面的准备总算是到了可用的程度。原本其实在技术测试回我们准备了很多新的技术点，但是在彩排过程中发现没有达到我们的要求，所以临时拿掉了，会在优化后再和大家见面的。很开心大家会喜欢这次直播，星瞳和整个工具人团队都很开心。

茶馆：差点忘了，恭喜千舰达成。

光芒：谢谢，我们也对4月8日整场直播进行了详细复盘，开心归开心，但也总结了不少问题。

茶馆：对，我还是想问近期吵得特别热闹的一个话题，就是“导入引擎的到底是什么数据呢？”

光芒：最近这个问题有不少朋友是比较关心的，小星星们也很关心（笑），简单来说导入引擎的数据是未经处理或者自动简单清洗后的骨骼体数据，当然这么说很多人会不太理解，这其中涉及到CDD在星瞳直播的运转机制。

茶馆：具体运转机制指的是什么呢，比如彩排？彩排的环节对于星瞳的直播来说是必要的吗?

光芒：在正式的直播过程中，整体管线说起来是比较简单的，通过光学动捕收集到的数据直接发送到我们现场渲染机中，然后所有渲染机的画面汇入到导播台中，最后经过导播台进入录机中然后推流，也就是大家最终所看到的画面。

当然，你提到的彩排也是非常必要的，这次我们也放出了彩排的花絮，其中的“静电”并不是节目效果，其实是头发结算上的bug，类似这样的bug在彩排过程中我们发现了50多个，可重现只有10来个，也就是说还有非常多的bug我们无法重现，也就无法保证在正式直播的稳定性，解决这些问题是比较头疼的，所以其实细心的小星星也会发现，在正式直播里星瞳的头发是没有彩排的时候那么蓬松的，正式直播前我们调低了相关的参数，算是为了直播效果的稳定做的妥协。当然在技术测试回的正式直播中，也依然还是出现了不少bug的。

我前面讲到的那个流程，是基本的大体管线，但因为直播内容的不同使用的设备也会调整，相应的现场布局与安排就会发生变化。4月8日的UE4测试直播，CDD团队一共用到了超过20台渲染机来保证整体效果，其中有部分镜头的渲染机是一主一备冗余配置的，如果出现问题会立即做切换。

茶馆：我是外行，但我想知道20台渲染机采集数据是什么概念?

光芒：我不知道其他虚拟人团队是怎么做的，但是我理解20台渲染机并不算是个很值得拿出来讲的地方。

渲染机的问题先放一放，后面在镜头环节里我会提到。实际上在这8个多月的直播过程中，我们解决了几大类问题。因为不同于传统真人直播，3D虚拟偶像在虚拟环境下的直播有着非常多的难点，主要有：

第一是动捕。其实动捕技术算是整个管线中技术比较成熟的了，但是在直播中应用动捕，最大的难点还是如何剔除掉“脏数据”，包括丢点、掉点或者抖动，这是目前无法避免的技术问题，而且十分影响观感，初期我们只能告知星瞳尽量避免做一些会造成人物穿模的动作，现在我们能通过软件升级和算法的方式做到骨骼体数据的尽量精准。

第二是镜头。在中秋回直播的时候，我们在运镜上出比较严重的问题，其实在传统节目制作中是有细分的“导播”这个岗位的，我们当时并没有，所以在生日回，我们请了传统经验丰富的导播来配合，并且调了一台专业导播台进棚，解决了“传统导播不会操作引擎，操作引擎的工具人不擅长调度镜头”的难点，各自发挥特长，大家都很舒坦。

我们在现场配置了两大类摄影机，一类是真实的摄影机，通过关联引擎内的虚拟摄影机，将空间位置信息、光圈、焦距等数据传递给引擎，再由引擎渲染对应的画面。这些真实摄影机，我们配备了3台，分别是摇臂、游机和固定机位，摇臂是之前万子姐提到的那台，我们也请了专业的传统摄影师来操作，当然为了优化成本，我们也不会每场直播都请导播老师或者摄影老师。（笑）

另外一类摄影机是引擎里的虚拟摄影机，这也能充分发挥虚拟直播的优势，事实上从生日会开始，我们意识到虚拟摄影机的控制方面，我们远远不如asoul做得好，由于星瞳在生日会前都是一个人在直播的，所以我们没有开发绑定在角色身上并且自动跟随角色的镜头，这个问题到了生日会联动的时候才被发现，因为万万和冰糖来了以后，要即时给到某一位镜头是实现不了的，后续我们也立即做了专项的开发。

多个镜头通过多台渲染机渲染，汇入导播台，由导播老师做画面切换，这就是我们常用的解决方案。当然这里就牵扯到多个机位之间画面同步的问题，这个问题在现实世界是不太会出现的，因为在现实世界里时间线是单向的，但是在虚拟世界里，由于不同渲染机的渲染时间并不一致，因此如果大家仔细看的话也会发现，星瞳复杂的舞蹈或者时长较长的舞蹈前都会有一个空间及镜头对位的过程，同样的，在舞蹈结束后回到主渲染机上的也会重复这一过程。

第三是渲染效率的问题。这个问题比较复杂，涉及的面也比较多，其实和大家猜测的不一致，我们渲染机所使用的显卡是3090，我们也尝试过使用a6000这样的专业显卡，但是效果并不理想，容易出现衣服、头发结算失效的问题，这里面还涉及到驱动层面的开发，所以我们还是使用的3090，并且每一台渲染机都是独立运转的，并没有采用集群渲染或者云渲染的模式。这对整个工程的性能提出了非常大的挑战，因为至少要保证40-50帧的渲染效率，所以无论是模型、绑定、解算、场景地编、灯光、TA各个模块的同学都需要一起来解决这个问题，拿这次的头发举例，这次的头发一共做了20多版，最终这一版使用了9000根头发，观感和渲染性能上能达到比较好的平衡。从目前优化的情况来看，我们目前的渲染技术能做到星瞳这样精度模型，在同场景下3-4人的实时渲染。

第四是灯光，舞台表演是无法离开灯光的，当然目前我们还是用的比较笨的办法，就是在引擎里操作灯光，事先编排灯光序列，但是这对舞蹈彩排的难度提升了不少，如果你仔细看是能看出十连跳的某段舞蹈中灯光出现问题的状况，未来的规划是通过我们在虚拟制片上的灯光方案来解决，这样灯光工具人也可以通过灯控台来实时调整灯光了，比如星瞳觉得这个面光太暗了，灯光工具人可以马上推上去，而不是在引擎里去调试。当然灯光也牵扯到渲染效率的问题，这里就不展开讲了，确实在较早直播过程中，也因为灯光问题造成某些渲染机的性能极剧下降的情况。

哎呀，一口气讲了这么多听起来很晦涩的内容，我收一下再回到“为什么需要彩排”的问题其实就很好理解了。

茶馆：所以彩排其实不仅是为直播负责，同时也能看作是你们在这个过程中对团队的无数场反复试炼。

ice：对于星瞳与CDD团队来说，这确实是最好的发现问题与解决问题的方式之一。

当然还有很多待解决的问题，比如实体镜头的防抖问题等，这些问题需要依靠虚拟制片的技术一起来解决。

茶馆：真不容易，我相信不管是部门内部还是对于观众而言，大家都能明显感觉到星瞳身上的技术越来越成熟，这些都是长期不断持续积累的下来的结果。

光芒：我认为这些经验对我们来说是个很好的沉淀，当然技术只是一方面。

其实看看我们部门的名字叫做内容生态部，而不是内容技术生态部，我们认为内容包含两个模块，前段是内容策划，后段是技术。必须在内容策划，或者内容创意上做得好，再加上足够好的技术来表现才能呈现最好的内容，这两者缺一不可。好在这两者都是一个逐步积累的过程，我们也逐渐摸到了一些方向，后续我们也会启动星瞳的故事叙事，以及新一轮美术风格上的优化了。

在前面介绍CDD部门愿景的那里我也提到了，CDD是希望用游戏引擎去探索游戏与非游戏领域应用，这里面如果细分的话，其实有各种不同的应用，包括虚拟人进入现实世界，虚拟人在虚拟空间，真人进入虚拟空间等多种不同的组合，各自代表着不同领域与技术方向的探索。

所以，包括星瞳在内的CDD部门所有项目，我们都在不断去尝试解决这其中的共性问题。

茶馆：那我真的很希望，能够尽早看到那么一天。说到这里，我有个问题想问，星瞳那个UE5的视频你们做了多久？

光芒：前后算起来大概有三个多月的时间。

茶馆：这么久?

ice：这里我说两句，因为UE5到现在正式版也刚刚上线，它现在还不是一个非常稳定的商用状态。

光芒：ice说得对，CDD之前在UE4管线上大概花了8个多月的时间，跑通UE5管线需要的时间可能会比这更长，很多东西都要从0开始，包括有非常多硬件接口需要重新适配、模型资产的重新制作，事实上这次UE5的视频里的模型是全部重新制作的，所以才花费了这么久的时间，但是实际来说UE5我们还没有吃透，现在还仅仅是预研阶段。

茶馆：虽然但是，我先放个桃子在这里不过分吧。

光芒：我们其实比大家更希望能尽快用上UE5，敬请期待吧。

03

虚拟制片与CDD与IEG

茶馆：聊到这里，相信读者对星瞳背后工业化制作逻辑已经有相当深刻的了解了，那么能不能讲一讲CDD在虚拟制片这块的能力，我听说CDD或许是目前国内游戏企业里最懂虚拟制片的团队。那么研究虚拟制片这么久，CDD对于虚拟制片最大的感受是什么?

光芒：“最懂”真的不敢这么说，传统影视行业也探索了几年，只能说我们在LED虚拟制片做得比较早，在部门成立之初就立项了。

这项技术和星瞳的虚拟人直播技术还略有一点差异，所见即所得是虚拟制片的优势，制造一个虚拟的环境，达到以假乱真的效果。由于虚拟制片技术解释起来比较复杂，还是看一个短片吧，比较容易理解，这是我们部门今年年会制作的内部测试片，在后半段有拍摄花絮，整段片子都是在LED虚拟拍摄棚拍摄的，能很好的展现这个技术的应用场景。

这些视频里的场景，除了人与近景是真实的，整个背后的场景都是虚拟的，高挂的月亮、远处的大树、下雨的特效，能解决一些时间或者空间上特别难拍的镜头。比如日落在真实世界中只有约20分钟，但在虚拟制片棚里，你可以拍一整天的日出日落。

茶馆：真不错。其实我看过一些UE官方发布的视频，里面提到了一个叫做“可视化”的概念，这个概念应该如何理解？

光芒：其实就是所见即所得。

传统的制片环境下，现场拍摄与后期是分开的，如果这个片子涉及很多特效，那么就会非常考验演员以及导演组的个人功底，因为其没有身临其境的感觉，需要依靠想象与台词调动情绪，如果后期特效制作过程中发现某个镜头或者什么不对，那么大概率你需要重拍。

而在虚拟制片的环境下，将资产与特效前置，不管是导演还是演员都能实时感受接近成片的现场效果，这个效率太高了，对于任何一个工业级产品来说，所见即所得都是令人兴奋的。

茶馆：所以，除了在影视上，虚拟制片目前在其他领域有哪些比较成熟的使用案例?

光芒：发布会、音乐会、各种大型活动都是非常典型的应用场景，因为虚拟制片可以把原本一个舞台的束缚给打破，将背后的空间扩展成你希望呈现的样子，可以是雪地、可以是沙漠、甚至是太空。

再来就是虚拟人，这个把星瞳项目上我们积累的相应能力再应用到虚拟制片中，但我们的期望远不止这些，我们希望能够更多借助于虚拟制片的技术去实现真人与虚拟人在同一空间下的完美互动，包括真人与虚拟人交接物品、眼神对位、物品交互等等。

ice：其实前段时间的冬奥会特别节目《赢战冰雪》也算是一次尝试，星瞳作为嘉宾与庞清佟健老师互动，由于疫情的影响，星瞳和工具人在这次直播中无法到达北京，因此在这种极端情况下，星瞳在深圳直播棚内完成动捕，传输给腾讯视频的北京演播厅，然后再用渲染机输出合成。

茶馆：最后，聊聊游戏吧。其实作为IEG旗下的部门，我惊讶的发现到现在为止我俩没怎么讨论到游戏，那么对于IEG的游戏业务来说CDD部门作为技术中台可以做到哪些？

光芒：对内只要有需求，CDD就会提供支持，事实上IEG目前的很多工作室很多项目都和CDD有合作，这些合作里有虚拟人项目，也有基于游戏制作的，甚至发布会、各种舞台表演我们都有提供协助。

不仅如此，对于CDD来说是开放的，虚拟技术的核心是交互，而游戏引擎由于具备实时渲染和实时交互的能力，在影视、虚拟交互、拟真等各方面都具备比较明显的优势，也是我们主攻和擅长的方向，因此我们这项能力也不是仅仅服务游戏的。

CDD的能力还面向全行业，包括传统行业，对外我们也广泛在进行合作，包括虚拟人行业，相关的需求我们也会有选择性的承接相应业务，这对我们商业价值的实现也很有帮助，商业回报才能使得这个业务持续健康的发展。

茶馆：最后的最后，给一直以来陪伴的小星星们说点什么吧~

ICE：小星星们对这个企划而言是非常特别和重要的存在，星瞳的成长是我们一起努力的结果，真的非常谢谢大家。

光芒：非常感谢小星星对星瞳的喜爱和陪伴，希望不辜负这份热爱。