三星实验室推出 MegaPortrait AI 工具，可让“蒙娜丽莎”动起来

IT之家8 月 6 日消息，近日，三星实验室有一个名为 MegaPortraits 的新 AI 换脸工具在国外爆火，简单来说就是这款 AI 工具可以捕捉真人的脸部动作，让静态肖像可以模仿真人的表情、动作，让其“动”起来。

从 GIF 中我们可以看到，一段视频就可以让原本静态的图片动起来，甚至还能展示出侧脸的轮廓，这些都是 MegaPortraits AI 换脸工具自行“脑补”出来的画面，任何细微的表情都可以“魂穿”到图片的人物当中，仿佛它原本就是一段视频一样，看不出破绽。

这项技术的工作方式是将源图像与“驱动图像”的运动混合在一起，然后将“驱动图像”的运动嵌入到源图像中，每一帧生成运动的 AI 模型是从来自源图像和“驱动图像”的两个随机帧中训练出来的，这里的“驱动图像”就是指上面两组 GIF 中最左侧的真人。

“驱动图像”的外观及其运动在被投影到原始图像上之前由模型分别处理。在这项工作中，三星将神经头头像技术提升到百万像素分辨率，高分辨率头像的设计目的是无论真人看起来与图片中的形象相差大不大，都可以实现图片动态化，而不需要像其他 deepfake 软件需要的面部形状或肤色相似才能模仿。

所以即便当“驱动图像”的外观与源图像的外观有很大不同时，也可以利用中等分辨率的视频数据和高分辨率的图像数据来实现所需的渲染图像质量水平和运动的变化。

MegaPortraits 研究人员解释道：“我们的训练设置是相对标准的，我们每一步从我们的数据集中采样两个帧：源帧和驱动帧。我们的模型将驱动帧的运动 (即头部姿势和面部表情) 强加到源帧的外观上，以产生输出后的图像。”

他们还表示：“主要的学习信号是从源帧和驱动帧来自同一视频的训练集中获得的，因此我们的模型预测经过训练以匹配驱动帧。”

IT之家了解到，MegaPortraits 研究人员表示，目前 MegaPortraitsAI 换脸工具在肩膀以及服装区域表现不佳，他们将来也会着重改善这个问题。