SIGGRAPH 2021美国犹他大学学者分享动捕服如何精准捕捉人类肢体移动变形

你是否一直都对动作捕捉很好奇？之前我整理过一些国外优秀公司对于这部分的技术研发。最近SIGGRAPH 2021期间美国犹他大学的几位研究学者也分享了一个关于人类肢体移动的变形捕捉学术内容。我看了一下，觉得倒是解答了一些之前我很困惑的动捕服到底是如何精准映射动作并且完美呈现数字角色的疑问。所以，视频给大家翻译配音分享出来，大家一起了解一下，也许你会有自己的收获。

动作捕捉(Motion capture)，简称动捕(Mocap)，又称运动捕捉。是指记录并处理人或其他物体动作的技术。它广泛应用于军事，娱乐，体育，医疗应用，计算机视觉以及机器人技术等诸多领域。在电影制作和电子游戏开发领域，它通常是记录人类演员的动作，并将其转换为数字模型的动作，并生成二维或三维的计算机动画。捕捉面部或手指的细微动作通常被称为表演捕捉(performance capture)。在许多领域，动作捕捉有时也被称为运动跟踪(motion tracking)，但在电影制作和游戏开发领域，运动跟踪通常是指运动匹配(match moving)。

常用的运动捕捉技术从原理上说可分为机械式、声学式、电磁式、主动光学式和被动光学式。不同原理的设备各有其优缺点，一般可从以下几个方面进行评价：定位精度；实时性；使用方便程度；可捕捉运动范围大小；抗干扰性；多目标捕捉能力；以及与相应领域专业分析软件连接程度。

当大多数人想到演员的动作捕捉时，他们可能会想到光学捕捉(摄像机捕捉衣服上的标记)或惯性捕捉系统(利用衣服内的磁铁、加速度计和陀螺仪)。

另一种捕捉，基于图像的捕捉(有时被称为“faux cap”)，现在也非常普遍，通过使用带有特定跟踪标记的套装，有时使用多个目击者相机，帮助在3D空间中三角测量性能，来帮助重现现场表演。这一领域的先驱是ILM，该公司在2006年加勒比海盗系列电影《加勒比海盗》第二部期间推出了IMocap专利技术。

今天的学术内容来自于美国犹他大学的 He Chen/ Hyojoon Park/ Kutay Macit/Ladislay Kavan

研究原文献网址如下：

https://ankachan.github.io/Projects/MocapCheckerboard/MocapCheckerboard.html

TIPS:

CNN也叫convnet，中文名称为卷积神经网络，是计算机视觉领域常用的一种深度学习模型。

卷积神经网络(ConvNets或cnn)是一类在图像识别和分类等领域被证明非常有效的神经网络。

我们最近通过对人体上1000多个独特点进行采样的实验，得出来一个新的可以捕获人体运动的详细信息的方法。我们的方法通过输出高度精确的4D(时空)点坐标，它的关键是自动为每个点分配一个唯一的标签。点的位置和唯一的标签仅从单个的2D输入图像进行推断，而不依赖于时间跟踪或任何人体形状或骨骼运动学模型。因此，我们捕获的点轨迹来自输入图像的所有细节，包括呼吸、肌肉收缩和肌肉变形，非常适合用作训练数据，以适合人体及其运动的高级模型。

我们的这个系统背后的关键想法是一种新型的动作捕捉套装，它包含一种特殊的图案，有棋盘式的角和两个字母的代码。我们的多摄像头系统通过一系列神经网络对图像进行处理，这些神经网络经过训练来定位角点和识别编码，同时它具有强适应性，以适应身体的拉伸和自我封闭弯曲。

我们的系统只依赖标准RGB或单色传感器和完全被动的照明和被动适应,这样可以使我们的方法容易复制,部署和使用我们的实验证明高度准确捕捉人类各种各样的姿势,包括具有挑战性的运动,如瑜伽,体操,或在地上滚动等等。

仔细看完，再对比ILM对于IMOCAP的研发，我个人感觉，目前美国犹他大学的这个应该同属于Faux cap，就是基于图像的捕捉。相比而言，IMOCAP的动捕服更加简便好用，并且只要在几条带子上部署几个方格就可以辐射跟踪一定范围。同时，为了适应不同的拍摄需求，IMOCAP suit还可以做到更换颜色。不过，通过这个视频了解了到底是怎么回事也是一种收获。世界真奇妙！其实，Weta Digital在动捕服的研发上也是非常有成绩的。有兴趣的话可以关注Hi VFX 微信订阅号往期给大家整理的相关内容。