突破传统、低成本、高效实现3D动作捕捉技术升级

Xsens动作捕捉 2022-11-25 10041

点击上方“公众号”可以订阅哦

一个深入人心的动画角色，首先得生动。但是，让虚拟角色变得栩栩如生却并非易事。

动作捕捉技术通过录制并以数字化方式复制人类运动来制作3D动画。在《指环王》系列电影中，安迪·瑟金斯(Andy Serkis)便通过动作捕捉技术扮演了哈比人咕噜（Gollum）一角。

但是，传统的动作捕捉技术需要依靠大量昂贵而笨重的硬件才可完成。同时，进行动作捕捉时，还要求能娴熟操作多机位摄像设置的专业人员、特定的演播环境，以及演员所穿戴的特殊传感器装备。

“传统动作捕捉技术所需的费用、技能要求及时间成本让人望而却步。”RADiCAL联合创始人兼首席执行官Gavan Gravesen说道。RADiCAL公司位于纽约，是NVIDIA初创加速计划的一员。如其公司名“RADiCAL”所代表的含义，该公司定位于突破传统技术束缚。“我们致力于以低成本实现技术的普遍可用性、无缝集成，以及运行速度，” Gavan Gravesen表示。

游戏开发者、3D 图形艺术家、制片人和 AR/VR 爱好者只需一部 2D 相机，甚至手机相机，即可使用RADiCAL基于NVIDIA GPU 的AI解决方案进行3D动作捕捉，而无需其他硬件、演播室环境或精密的传感器装备，并显著降低了制作成本和工作量。

快速的动作捕捉

世界各地的用户可以通过智能手机或网络直接将视频上传至RADiCAL云。RADiCAL利用AI和动作科学处理视频，检测动作形态，并在三维空间中重现人类动作，甚至可以重建摄像机未拍摄到的内容。

RADiCAL解决方案的算法可根据不同身体比例和人体动作自动调整，还可创建模型，在三维空间中复制动作。虽然模型中的流畅动作使得制作过程看起来很简单，但事实并非如此。

“我们需要将深度学习、机器人、计算机视觉和生物力学技术整合在一起，而这需要借助功能强大的 AI 开发环境，”RADiCAL联合创始人兼首席技术官Anna-Chiara Bellini表示。NVIDIA GPU计算为这一目标的实现发挥了重要作用。

实现快速迭代

Bellini表示，如何处理海量数据是RADiCAL开发AI过程中面临的首要挑战。为了开发算法，单张静止图像就需要分析多达 6GB 的数据。而每一秒的动作包含120帧，需要创建720GB数据。

Bellini及其团队选择使用TensorFlow，以将GPU编程集成到其研究过程中，如此他们便可以获得适用于整个管线的“单一执行模型（single execution model）”。“通过使用在CUDA中编写的专门的内核增强TensorFlow，在进行模拟仿真时，短短几个小时内编写的简单内核能够节省数天时间”，她说。

为了支持动作模型，RADiCAL在多卡互联系统中采用交错方式进行多帧处理。“能够并联多个Tesla V100 GPU的最新NVIDIA NVLink使之成为可能。”Bellini说。

借助基于云的GPU并联设备，Bellini及其团队的开发周期（包括构思、部署及制作）缩短了10倍。

她说：“借助NVIDIA GPU，我们可以加快工作速度、探索更多选择，且更高效地利用机器学习工程师的时间。”

随时可用的动画文件

视频处理完毕后，RADiCAL能够通过其网站和MOTiON应用程序，并排呈现实时3D预览与真实的视频片段。