《逆水寒》又放出新大招:以人脸4D表情技术开启端游变革序章
近期的国内游戏行业,《逆水寒》可以说是出尽风头
先是宣布将针对魔兽国服合作到期事件,定制推出“魔兽老兵服”,收获了不少玩家的好感度。随即又在近期新公布的资料片《致江湖》的重点篇章《武林旧事·叶雪青》里,大胆地加入了一段比肩国际3A大作的“单机模式”,再次引发业界的热议。有不少玩家在宣传片的评论区惊呼“这开头去了声音你说是「对马岛」我都信”“从这个PV就能看出如今游戏行业的内卷有多严重”。
但俗话说:外行看热闹,内行看门道。在笔者眼里,许多人夸赞这条宣传片的品质、战斗流畅度、打击感、画面细节等等,实际上是《逆水寒》本就能达到的水准。大家翻翻过去几年关于《逆水寒》的游戏新闻就不难发现,这对于雷火工作室的能力而言属于“基操勿6,皆坐”。
这条片子里真正的技术彩蛋,其实是一个看似不起眼,但却是实打实的黑科技——人脸4D扫描技术。
多个顶级团队献上助攻:表情细微处,方可见真章
在细聊人脸4D扫描技术之前,还得先说说它的幕后功臣们,也正是《逆水寒》这次拉到的强力助攻团队——网易伏羲实验室、仓颉动画中心、雷火3D扫描实验室。相较于《逆水寒》而言,这些技术支持部门或许要低调不少,但这并不影响它们坐拥游戏界、乃至整个互联网IT领域都能让专业人士所尊敬的地位。
就拿伏羲实验室来说,其成立于2017年,是国内首家游戏人工智能研究机构,在AI学习、虚拟人、图像动画、NPL、乃至元宇宙的前沿探索方面均有深耕。实验室目前已经发表国际权威论文上百篇、拥有超过200项专利。今年暑期,我国信息通信研究院所举办的AI峰会中,伏羲实验室的多项成果更是入选首批大规模型优秀应用案例,获得行业的高度认可。
除伏羲实验室以外,主攻动作捕捉的仓颉动画中心,以及负责物体扫描建模的雷火3D扫描实验室也同样在业界享有极高口碑,人脸4D扫描技术,就是它们的前沿成果在《逆水寒》中获得的实际应用,实现了从3D扫描到4D扫描、从照片到视频的维度级跨越式升级。
众所周知,人类的面部表情非常复杂。对于同样的一种情绪状态,不同的人就会有迥异的表达和呈现。在影视行业,优秀的演员就是通过细致入微的表情来传达角色的人设特征以及所对应的戏剧张力。而在游戏领域,如何让虚拟角色也能有出色的表情细节、从而给玩家带来更沉浸的体验,则是一个技术层面需要解决的难题,成为了不少厂商持续攻坚的板块。
目前在游戏行业里,虚拟角色的表情模拟通常会用“人脸3D扫描”的技术手段来解决。简单来说就是通过多台相机组成的阵列,同时单次曝光采集多角度的人脸二维图像,再重建生成人脸面部的高精度模型。
雷火实验室的3D相机阵列
这一手段虽然相对成熟,所还原的人像静态图看起来似乎也栩栩如生。但它依然有一个大硬伤——那就是一旦画面从静态转为动态、角色开始模拟表情动作时就会产生失真。在玩家眼里就是:虽然说不上来,但总觉得哪里不太对。
基于这一痛点,伏羲实验室在人脸3D扫描的基础上进行时序拓展,从而更精细地捕捉并模拟人脸每一帧的模型、贴图、材质变化。通过对4D数据的训练,算法能够还原出直接驱动3D模型时不具备的细节,从而更加逼近人类真实的表情效果。
《逆水寒》技术升维:虚拟角色亦可实现“眉目传情”
从《逆水寒》官方释出的素材里可以看出,以玩家们熟悉的角色叶雪青为代表,真正诠释了什么叫“水是眼波横,山是眉峰聚”。其一颦一笑、两眼凝神、眉眼间传递出的忧思、甚至是人物面部肌肉的细微变化都得以充分展现,乍一看仿佛就是真人实拍,足以见得《逆水寒》的技术力。
师姐眼眸灵动,传递出许多细腻的感情
师姐言语之间透露出对“我”的担忧之情
在这背后,基于伏羲实验室的研究成果,《逆水寒》得以捕捉到面部更细微的动作序列、并采集更丰富的动态数据。同时《逆水寒》项目组针对性地研发了让成果得以落地的三个关键流程——“扫描重建”“同拓扑”以及“拟合绑定”。
扫描重建,就是将相机阵的单次曝光升级为连续曝光,每秒曝光多达50次——相当于足足50倍于3D人脸扫描的数据量,串联为每秒50帧的3D模型序列,从而保证了对面部表情把握的细致入微。
同拓扑,就是通过专门的图像算法技术,在建模阶段让所有表情动作在迁移过程都能保证高度精准,确保“面部任一细节的模型顶点索引在建模中完全一致”,进一步保证最终生成的结果无虞。
拟合绑定,则可以理解为“极限压缩”,是将体积巨大的模型数据拟合到游戏中角色面部的关键步骤,基于游戏内的面部绑定系统,利用高精度AI表情迁移算法,对3D模型序列进行rig参数拟合,形成高还原度且数据量小的rig动画参数,在高度压缩数据量的同时,也保证了高还原度和最终呈现出的细腻表情效果。
值得一提的是,以上素材还仅仅只是作为发布阶段的概念展示。随着《致江湖》资料片的正式上线,《逆水寒》的各个角色都将逐步获得人脸4D扫描技术的加持,玩家们就能看到一个个栩栩如生的NPC。笔者大胆猜测,或许未来人脸4D扫描技术还会有2.0、3.0的迭代,有朝一日,对虚拟角色的表情调控或将非常逼近真人演员的效果,届时《逆水寒》NPC打破次元壁、做到与屏幕前的玩家“眉目传情”就不是天方夜谭。
品质飞跃计划:让会呼吸的江湖更加鲜活灵动
人脸4D扫描技术,是《逆水寒》2023年品质飞跃计划中的重要一环,也是国内游戏行业具有代表性的技术突破。实际上,从《逆水寒》公布之初开始,这样的自我革新一直在持续进行。
今年中旬,《逆水寒》就与全球顶级硬件大厂英伟达深入合作,推出了全新渲染技术“微光渲染”和“无矩渲染”,让游戏中的场景细节、光影效果得以更加逼真。
(微光渲染加持下的游戏画面效果)
去年,《逆水寒》则自研了国内游戏界的首个流体物理引擎组件,让游戏中的水流及液体流动效果可以更加自然。
(游戏内的水流表现)
类似的例子还有很多。很容易发现它们的共同特征:都是细节处的提升。这样的优化或许会让一些人不以为意,在许多厂商的需求列表里也长期后置——毕竟在许多从业者眼里,水流再逼真、表情再自然,对游戏商业化有直接帮助吗?这样费时费力的前沿探索,对于商业产品而言,多少显得有些吃力不讨好。
但是,这或许就代表了雷火工作室调性。正如它们的slogan所言:以技术推动创新,以文化传递信心。《逆水寒》所呈现的,就是这样的结果。
十余年前《阿凡达》上映时,这部电影超高的制作规格、超高的资金投入让业界不甚理解,在3D影厅都不甚普及、国内仅有20多块IMAX荧幕的年代,国内许多影评人甚至认为《阿凡达》的国内票房会一塌糊涂。但事实证明,《阿凡达》在全球范围内掀起的热潮,不仅带动了3D电影的井喷,更是直接带动了影院硬件的升级,最终在接下来若干年里,让用户的观影体验全方位提升。
在笔者看来,《逆水寒》至于国内游戏行业,其所做的也是类似的事情,产生了鲶鱼效应——正是在《逆水寒》推出后的这些年里,国内不少端游被“卷”到,纷纷应声宣布重制。这对于国内玩家而言,何尝又不是一件好事。
如今的《逆水寒》不仅在技术领域全面发力,在文旅、非遗、公益等领域的合作亦是多点开花,也让我们看到了游戏更多样的可能性。在未来,《逆水寒》这条“鲶鱼”还能搅动出怎样的水花、又能激起行业怎样的变化,我们不妨拭目以待。