SIGGRAPH 22 NVIDIA AI 让所有摄像头都能够实现表演捕捉技术

Derivative、Notch 和 Pixotope 等公司使用 NVIDIA Vid2Vid Cameo 和 3D 人体姿态估计工具来实时驱动表演。

NVIDIA AI 工具可为各个级别的创作者（视觉特效和动画工作室、创意专业人士，甚至是摄像头发烧友）实现由深度学习驱动的表演捕捉技术。

借助 NVIDIA Vid2Vid Cameo，创作者可以利用 AI 从专业摄像头或智能手机拍摄的标准 2D 视频中捕捉面部动作和表情。这种表演可实时用于为虚拟形象、人物或绘画制作动画。

通过 3D 人体姿态估计软件，创作者可以捕捉散步、跳舞和武术表演之类的全身动作，从而利用 AI 让虚拟角色栩栩如生。

对于没有 3D 经验的个人，这些工具可以助力他们使用智能手机视频片段轻松制作创意项目动画。专业人士可以更进一步，结合使用姿态估计和 Vid2Vid Cameo 软件，将自己的动作传输到虚拟角色，用于直播或动画项目。

创意工作室可以利用 AI 驱动的表演捕捉技术进行概念设计或预视觉化，从而快速传达特定动作在数字角色上的样子。

NVIDIA 通过 Vid2Vid Cameo 演示表演捕捉技术

NVIDIA Vid2Vid Cameo 通过 NVIDIA AI Playground 上的演示提供，只需两个元素即可生成头部特写视频：可制作动画的虚拟形象或绘画的静止图像，以及原始表演者说话、唱歌或移动头部的视频片段。

该模型基于生成式对抗网络 (GAN) 绘制面部动作，以捕捉实时运动，进而将该运动传输至虚拟角色。经过 18 万个视频的训练，该网络学会了如何识别 20 个关键点以对面部运动进行建模，即编码眼睛、嘴、鼻子、眉毛等部位的位置。

这些点从表演者的视频流中提取，然后应用于虚拟形象或数字角色。在下面的演示中了解其工作原理，该演示将埃德加·爱伦·坡的《十四行诗 – 致科学》的表演转换为艺术家 Gary Kelley 创作的一幅作家肖像。

视觉平台集成 NVIDIA 的 Vid2Vid Cameo 和姿态估计

虽然 Vid2Vid Cameo 可以捕捉详细的面部表情，但姿态估计 AI 可追踪全身的运动，这是创作者处理负责执行复杂动作或在数字场景中移动的虚拟角色时所需的关键功能。

Pose Tracker 是一个卷积神经网络模型，可作为 NVIDIA Omniverse 3D 设计协作和世界模拟平台的扩展程序。它允许用户上传视频片段或将直播视频作为运动源进行串流，以实时制作角色动画。创作者可以免费下载 NVIDIA Omniverse，并借助分步教程开始使用。

已将 NVIDIA AI 表演捕捉技术集成到自身产品的公司包括：

• Derivative 是基于节点的实时视觉开发平台 TouchDesigner 的制造商，已采用 Vid2Vid Cameo，以提供易于使用的面部追踪。
  
• Notch 是一家为 3D、视觉效果和直播活动视觉效果提供实时图形工具的公司，该公司使用 NVIDIA 的人体姿态估计 AI 来帮助艺术家简化舞台设置。Notch 用户无需依赖自定义硬件追踪系统，而是可以使用标准摄像头设备实时控制 3D 角色动画。
  
• Pixotope 是一家先进的虚拟制作公司，使用 NVIDIA AI 助力的实时人才追踪来驱动实时制作的交互式元素。在近期的 NVIDIA GTC 大会上，这家总部位于挪威的公司分享了其工作成果，在屏幕上实现真实元素和虚拟元素之间的交互。
  

点击“阅读原文”，了解更多 SIGGRAPH 2022 有关信息。