“克隆”新华社女记者，全球首个3D AI合成主播是如何炼成的？
来源：ailab
或许在不久的未来，你再也分不清视频中的主持人，究竟是真人还是虚拟人，而这一天正在到来。
先看这张图，主持人迈着轻快的步伐走进演播室，面带微笑，姿态端庄得体，动作自然。
「新小微」走进虚拟演播室）
再看她讲话时的神情，面部表情生动形象，身体随着讲话自然摆动。
「新小微」播报时的面部表情
逼真否？如果不告诉你，你能猜到它是一个虚拟人吗？
它由搜狗公司联合新华社推出，是全球首位 3D AI 合成主播，编号「新小微」。
「逼真」大概是我们对于表现力极高的一种赞扬，比如在《霸王别姬》中，「袁四爷」看到程蝶衣出神入化的演技后，发出「虞姬再生」的感叹。搜狗 3D AI 主播又何以做到逼真？
栩栩如生的形象之下，它还是一个完全由 AI 算法实时驱动的 3D 数字人。这和那些游戏影视中依靠美术师逐帧勾画的 3D 动画人有本质不同。
两会开幕前夕，这位「新小微」已正式「上岗」，为你带来两会新闻资讯报道。
一、「高逼真」的背后
「新小微」，是一个 3D AI 合成主播。
它以新华社记者赵琬微为原型，通过超写实 3D 数字人建模、多模态识别及生成、实时面部动作生成及驱动、迁移学习等技术「熔炉」，炼就而成。
你只需要输入一段文本，它就能生成语音数据、3D 肌肉运动参数，最后通过渲染，生成一段 3D 合成主播视频，可以 360 度多机位多景深呈现。
从效果上来说，3D AI 合成主播给人的最大印象便是高逼真，它较好的还原了真人的发肤、表情；在特写镜头下，连头发丝和皮肤毛孔都清晰可见。
其次是灵活性、可塑性更强，3D AI 合成主播可以走动、转身、可以摆出各种复杂的动作和姿态，具备在更广阔空间使用的潜力。
透过 3D AI 合成主播技术实现过程，我们可以得知它为何拥有如此逼真的效果。
首先基于真人原型采集海量数据：原型戴着数据采集头盔，几百个摄像头会对其身体各个部位进行全方位「打点」扫描，采集每一处细节，并对其多种形态的表情和动作进行细致入微地捕捉记录。
其次，搜狗采用了行业领先的扫描还原算法，以及面部肌肉驱动、表情肢体捕捉等技术，生成高逼真度的 3D 数字人模型。
然后，通过搜狗的 AI 算法对 3D 数字人模型进行实时驱动、渲染，使其面部表情唇动、肢体动作和语言表达能力达到一个较高的度契合。
搜狗 AI 交互技术部总经理陈伟谈道，3D 合成主播的难点在于如何做到高逼真度。为了让模型效果更逼真，搜狗采集了更为精细的数据，并进行精准标注。
另一方面，搜狗采用更符合人体生理结构的肌肉模型，让机器去学习肌肉的运动规律，从而让表情、动作之间的过度更加自然。
搜狗一位产品经理也谈道，为了让「新小微」更加逼真，他们花了很多精力去了解超写实的制作行业，如何把一个真人的动作映射在模型上，并反过来改善 3D 制作行业的模型，让模型驱动起来更加逼真。
为此，从去年 10 月到今年 5 月，搜狗技术团队投入近半年时间，完成这一挑战。
二、完全 AI 驱动的 3D 数字人
随着游戏、影视的发展，逼真的 3D 数字人似乎早已存在，搜狗为何敢号称是全球首个 3D AI 合成主播？
仔细观察你会发现，3D AI 合成主播和 3D 数字人有着本质不同，前者是完全基于 AI 算法实现驱动，而非人工驱动。
具体来说，3D AI 合成主播靠 AI 算法实时驱动，输入一个文本就能输出一个视频，往往生成一个 1 分钟的视频，仅只需要 1 分钟，相比人工驱动，几乎可以看作实时生成。
而游戏、电影行业多是靠人工驱动来完成一个超写实的 3D 模型。比如在一个 10 人构成的动画中，往往要对这 10 个演员进行扫描、动作捕捉、面部捕捉，进行真人与卡通人物绑定，还需要对他们的声音进行采集等等，需要美术师一帧一帧勾画出来，耗费巨大的时间成本。
在游戏场景中，一个 1 分钟的转场动画，往往要一个动画师工作一天半。可以说，3D 数字人的制作是一个劳动力密集型工作。
其次，二者 3D 模型的制作技术不同。
在 3D 设计中，很多做写实类的 3D 模型多是采用 Blendshape 来做的，其逻辑在于通过一个极限表情乘以不同系数，得到生成的表情，但往往效果较为粗糙，表情之间的过度也不够流畅自然。
而搜狗采用肌肉模型、肌肉绑定来做 3D 模型，一方面它使 3D 人物的动作更加逼真；另一方面肌肉模型中每一个肌肉点的运动，都会连带很多面部脸谱协同运动，整体看起来自然度会更高。
从面部表情到肢体动作的细节程度，搜狗 3D AI 合成主播达到了不亚于一些影视作品及游戏 NPC 的写实度。
此外，搜狗还将迁移学习运用到 3D AI 合成主播中，通过对一般人动作的预训练，仅需真人原型近 1 小时的数据，就合成了如今的「新小微」。
AI 技术的加持，使 3D AI 合成主播在产出视频上成本更低、效率更高。
而在 3D 设计中，制作一个小时完整的 3D 写实度视频，除了耗费大量时间外，往往要花费成百上千万人民币。
可以预见，3D 制作行业，AI 驱动大有可为。
三、「进化中」的搜狗分身
还记得搜狗在 2018 年推出的首个 AI 合成主播吗？它是一个 2D AI 合成主播，以新华社主持人邱浩为原型。
如今推出的「新小微」是 3D AI 合成主播。你可以把它们看做一对「兄妹」，它们共同的父母是「搜狗分身」。
搜狗分身与其说是一项技术，不如说是一个框架、一款产品。它所要做的就是「克鹿（合成）人类的声音、面部表情、动作等，最终变成一个虚拟助理，更好的帮助人类表达。
这也契合了搜狗一直以来的使命——让表达和获取信息更简单。
经过 1 年半的迭代，目前搜狗分身具备了对话交互、多语种播报等能力，在媒体、客服、司法等领域都得到了应用。
需要指出的是，2D AI 合成主播和 3D AI 合成主播是搜狗分身下的两条并行发展路线。
前者的优势在于真实性、逼真度更高，但灵活性略显不足；而后者的灵活性、可塑性更强，应用领域更广。二者在应用场景上具有一定互补性。
陈伟称，搜狗会在 2D、3D 技术上一起往前推进。
从 2D AI 合成主播到 3D AI 合成主播，从表达式到对话交互，搜狗分身正在不断进化。
搜狗分身也在不断进入垂直领域，围绕特定领域进行知识计算，积累「智慧」高度。
一个有形象、多模态的虚拟个人助理正在逐渐形成。