网易游戏用19个案例告诉你，怎么用AI技术赋能游戏

4月27日，2021 N.Game网易游戏开发者峰会（以下简称峰会）在线上举行。

在第二天的技术论坛上，网易互娱AI Lab技术总监林悦发表了题为《当游戏遇见AI》的演讲，就AI在美术资源的制作、玩家体验的优化、游戏运营及营销的支持等多个方面的探索成果进行了分享。

为了提升阅读体验，内容有所删减，以下是手游那点事整理的演讲全文：

大家好，我是来自网易互娱AI Lab的林悦，很荣幸能够和大家分享我们的一些成果。今天我分享的题目是《当游戏遇见AI》，会对网易互娱AI Lab是如何利用AI技术赋能游戏研发和运营进行介绍。

一、AI与游戏的渊源

其实AI与游戏一直都是密不可分的，在这方面人类也已经做了很多探索。

早在1952年，科学家们就已经尝试利用AI技术让机器打败人类。最近特别有名的几个机器人，包括在围棋界搅动风云的AlphaGo，AlphaZero；以及在星际争霸中扬威的AlphaStar，在德扑中击败全球顶尖玩家的Pluribus。

这些机器人的最终目标都是击败职业玩家，从而证明AI的决策能力和计算能力。

除了游戏AI这个方向外，人们也发现，通过对2D、3D的视觉技术以及语音处理、自然语言处理等其他一些AI技术的运用，完全可以优化玩家的游戏体验，这也将是AI技术更大的价值所在。

我们互娱AI Lab从成立起就致力于将AI赋能于游戏，将技术落地。这里列的也是我们在游戏领域应用方面一些落地的思考和洞见。

从美术资源制作到游戏体验优化到运营和营销，AI能够在游戏的各个领域赋能，帮助降低开发的成本，大幅提高生产的品质和效率。我们希望通过领先的AI技术推动产业的技术革新，为游戏行业带来新的破局点。

二、AI赋能于游戏，降低研发成本

网易互娱AI Lab在成立的时候，主要目标是降低游戏的研发成本。考虑到现阶段高昂的游戏研发成本，在降低成本方面我们做了许多尝试和探索。下面就给大家介绍一些具体的实践场景，也会针对一些固定场景做出简单的技术介绍。

（1）语音驱动嘴型动画技术

首先我们在这里介绍的是语音驱动嘴型动画技术。

游戏内容对于角色人设是非常看重的，这就需要大量的剧情动画来完善游戏角色的人设。为了让角色栩栩如生，游戏公司需要为这个角色录制大量的声优对白，当游戏角色念这些对白的时候，策划也非常希望这些角色能够拥有比较生动的面部表情和正确的嘴型。

但是嘴型和面部表情的制作成本是非常高的，目前AI技术已经可以根据语音生成对应的表情及口型。这就大大提高了美术的动画制作效率，也降低了制作成本。目前这项技术已经在网易多款游戏中落地，像已经上线的《梦幻西游三维版》、《时空中的绘旅人》以及《神都夜行录》等等。

目前这项技术已经非常的robust，它支持不同的引擎，像我们自研的弥赛亚、NeoX引擎，包括其他商用引擎。已经能够支持多语言，包括中、英、日、韩等。无论是说话还是歌唱，这项技术都能够完美地去对齐嘴型并生成相应的表情。

当有的游戏还没有对应语音文本的时候，我们也可以通过这项技术生成对应嘴型动画。针对不同的游戏风格和类型，比如2D、3D、二次元、写实、古风等等，生成的嘴型和表情都有比较好的效果。

这里对背后技术进行简单的介绍，整个的流程就像是这样。

首先我们需要制作一些嘴型模板，当然语言不同所使用的模板也会有一些差异。在实操过程中，我们需要同时输入语音以及对应文本，通过语音识别技术，按帧来做对齐，不同的帧会对齐不同的音素。根据对齐的结果，我们用模板融合权重生成的算法，计算出每一帧所对应的嘴型模板，最终输出为整个嘴型动画帧。

前面我们也提到过可以不直接提供语音文本，这时候通过运用语音识别技术比如结合CTC加边界检测的算法，一样可以做到自动生成嘴型的效果。

（2）风格化头部模型生成

第二个要介绍的技术是风格化头部模型生成。

目前游戏领域中Avatar除了写实风格以外，还会有比如日系卡通、美式卡通、科幻以及唯美等多种不同的游戏风格。相较于真实模型，这一类可参考的头部模型比较少，所以对于美术来说，制作头部模型会有比较高的成本，同时周期会延长，流程也会更慢。

针对这个问题，我们自研了一个风格化头部模型生成的算法。工作室只需要提供少量的符合游戏风格的头部模型，就可以批量化地生成同风格的头部mesh。

下面展示的是两个例子。

第一个例子是和《猎手之王》的合作，左上角是制作方提供给我们的游戏角色资源。在实际运用过程中，我们只需要输入真实图像，就能生成和游戏风格一致的头部模型，当然还需要制作方再去进行微调。

第二个例子可能会对这个技术展示得更清晰。这是和《故土》这款游戏的合作，这款游戏的脸模风格非常有特点，根据这些游戏角色资源，算法就能够做出对应的效果。在把整个头部模型生成出来之后，就可以直接放入到游戏里，从而生成符合游戏风格的不同的NPC资源。

这里也简单介绍一下整个流程。首先输入一张图，我们需要对其进行模板预处理，接着做人脸检测和人脸关键点的对齐，然后是3D人脸重建。

因为人脸重建的结果和制作方提供的头部模型的拓朴很大概率会不一样，所以我们还需要做一个步骤，叫做拓扑对齐。

下一步非常重要，叫做形状风格化。即根据制作方提供的脸模进行风格化，对3D模型进行风格转变，并生成对应的纹理风格化贴图，最后输出资源给游戏方。

这里展示的就是拓扑对齐的这一步。

重建的人脸和游戏制作方提供的人脸风格分别是下面左边的两个图。我们需要通过mesh deformation的方案，把这两个拓扑完全不一样的脸模进行拓扑对齐。

然后再根据一些特征规则和组合部件的方式，先分解五官，再按不同的五官顺序进行组合，最后添加脑壳，使得生成形象符合游戏风格。

（3）面部动捕技术

近些年，用户也非常喜欢运用智能手机直接捕捉自己的表情，并通过一些APP去制作虚拟角色的表情动画。针对这一点，网易互娱AI Lab自研了一项面部动捕技术。

这个技术既可以用于离线表情资源制作，也可以用于游戏中实时捕捉玩家表情，譬如说制作玩家特有的表情动画，或者制作UGC内容。

我们这里看一个例子。

大家可以看到，在捕捉这些细微表情时，面部动捕技术是非常准确的。这项技术也和浙江卫视合作过，为他们跨年晚会的虚拟形象“万一”提供技术支持。可以看到技术捕捉的整个嘴型和面部都是非常自然的。