用GAN消除视频会议模糊,还能降低90%带宽,神奇的Vid2Vid Cameo模型
无需会议室和出差，打开手机，登录APP，就可以和千里之外的人“面对面”开会。疫情下，这种场景已经成为很多打工人工作的常态。
作为一种实时的网络应用，视频会议对网络的要求比较高。当下视频会议过程中，因网络信号问题，常会导致与会者频频掉线、屏幕共享画面不清晰，影响开会的效率。此外，成像角度不佳、客观原因造成个人形象不佳等问题，也将影响与会者的开会体验。如何在低网络带宽下，进行流畅、清晰的视频会议，成为困扰众多视频会议开发者的难题。
此前，开发者大多通过调整图像分辨率、码流、帧数等方式实现视频数据压缩，解决低网络带宽下视频会议问题。虽然这类方法可以缓解视频会议卡顿问题，但会导致视频图像模糊、不连贯。
而以深度学习为代表的卷积神经网络具有更深的学习层次，能够有效的去除掉冗余数据特征，获得更高的压缩比，开发者们倾向于使用神经网络来替代以前的方法。同时，由于带宽一般很难增加，而增强算力相对容易，所以开发者们也更希望将带宽问题转化为计算问题。
基于此，NVIDIA 研究团队从AI维度出发，开发了一个用于视频会议软件 NVIDIA Maxine SDK的深度学习模型Vid2Vid Cameo，只需一张照片或卡通头像，就能合成逼真的3D人脸说话视频。
一、视频会议Maxine SDK背后的AI生成模型
受疫情影响，远程协作和办公已逐渐成为不可逆转的趋势，这使得各种视频会议APP下载量激增，成为打工人的标配。
为了增强用户的视频会议使用体验，NVIDIA推出了一套基于云的、GPU加速的 AI 视频会议软件Maxine。NVIDIA Maxine 包括三个 AI SDK：视频特效 SDK 、音频特效 SDK 和 AR SDK ，每个SDK里面都配有预训练好的深度学习模型，使开发者可以快速构建或增强其实时应用程序。
Vid2Vid Cameo 是基于 NVIDIA Maxine SDK 专为视频会议打造的深度学习模型之一。它使用生成式对抗网络(Generative Adversarial Networks，GAN)，在一个人的真实照片或卡通头像上合成动态的3D说话视频。
二、仅需一张照片合成逼真的3D人脸说话视频
NVIDIA Vid2Vid Cameo只需两个元素：一张参考照片和一个指导图像应该如何动的视频流。其中，把上传的清晰照片作为源图像，从中获取外貌特征；然后把视频中一帧帧画面作为重构视频的依据，从中提取出面部表情和头部姿势等信息。通过这些信息，模型可以将参会者的面部动作映射到静止的照片上，进而合成视频会议上的逼真人脸说话视频。
同时，该模型基于NVIDIA DGX系统开发，并使用包含18万个高质量人脸说话视频的数据集进行训练。这让该网络学会了识别20个人脸关键点，而这些关键点可以在没有人工标注的情况下用来模拟面部运动，借此修正使用者在会议中低头、看两旁，而未专注于镜头方向的情况，让使用者在会议中看起来更有参与感。
在 NVIDIA Vid2Vid Cameo 提供的交互式体验Demo中，可以在Pitch俯仰角（向下/向上）、Yaw偏航角（左/右）、Roll翻滚角（顺时针/逆时针）三个方向上任意旋转，每个方向上最多旋转30度。甚至眼球也可以上下左右的旋转，每个方向上最多旋转20度。
现在点击【AI Demo | NVIDIA 研究团队】试用NVIDIA Vid2Vid Cameo交互式Demo。
此外，NVIDIA Vid2Vid Cameo还可利用 AI 从专业摄像头或智能手机拍摄的标准 2D 视频中捕捉面部动作和表情，协助动画师、照片编辑师和游戏开发者轻松制作脸部动画。
三、视频会议的网络带宽成本最高可降低90%
NVIDIA Vid2Vid Cameo能够辨识脸部的20个关键点，而这些关键点可以针对包括眼睛、嘴巴和鼻子在内的位置进行编码。接着模型会从通话者的参考图片中撷取这些关键点，并将这些关键点可以提前发送给其他的视频会议参与者。
如此一来，视频会议平台只需发送参会者脸部关键点的移动情况数据，而不用在每一个与会者之间发送庞大的直播视频流。而对接收者来说，GAN 模型在接收端使用这些信息合成一个模仿参考图片外观的视频内容。
由于关键点的分布十分稀疏，比全像素图像的数据量小得多，因此发送的数据要少得多。而Vid2Vid Cameo通过来回压缩及发送头部位置和关键点，而不是完整的视频流，可以让视频会议的网络带宽成本最高可降低90%，从而提供更流畅的用户体验。同时，该模型可以进行调整，传输不同数量的关键点，以实现在不影响视觉质量的条件下，适应不同的带宽环境。
四、视频会议和直播软件开发团队的新Pick
作为 NVIDIA 研究团队的重要成果之一， Vid2Vid Cameo 将网络瓶颈问题转化为计算任务，从而借助本地或云端资源更轻松地解决此类问题。Vid2Vid Cameo 也可用于直播软件，制作表演者说话、唱歌或移动头部的视频片段。此外，它还可减少了对高网络带宽的依赖，这不仅为提供商削减了成本，也为最终用户提供了更流畅的视频会议体验，成为视频会议和直播开发团队解决因网络所造成画面卡顿及模糊问题的新选择。
Vid2Vid Cameo 很快将在NVIDIA Video Codec SDK中作为AI Face Codec推出。SDK 支持免费下载，还可与 NVIDIA Jarvis 平台搭配用于对话式 AI 应用，包括转录和翻译；也可与3D 人体姿态估计工具协作，像Notch 和 Pixotope 等公司，创作者们使用 NVIDIA Vid2Vid Cameo 和 3D 人体姿态估计工具，将自己的动作传输到虚拟角色，从而快速制作数字角色上的特定动作。
之后，我们还将陆续介绍 NVIDIA 研究团队推出的计算机视觉、深度学习模型以及有意思的交互式Demo，如NVIDIA GauGAN360，可将粗略的草图变成可用于3D场景的360度环境。
