人体运动捕捉(motion capture)是一种以三维人体运动为目标的动作捕捉技术，在游戏、运动、医学、VR/AR、电影制作等多个领域中发挥着重要作用。到目前为止，基于视觉的动作捕捉解决方案占据了这一主题的绝大多数。其中一种需要在人体上附加光学标记，并利用多个摄像机来跟踪标记以进行运动捕捉。这种方法足够精确，适用于工业用途，但需要大量复杂的硬件设备和严格的影棚环境，并不适合大众消费者使用。在电子游戏开发过程中使用动作捕捉是常见操作。上图为游戏《黑神话：悟空》的演员穿着带有跟踪球的动捕服在影棚中测试镜头，通过捕捉信息的相机跟踪演员身上的跟踪球，将其在三维空间中的运动及方位轨迹转化为制作动画所需的数据。
《黑神话：悟空》动捕拍摄使用的1500平方米影棚
上图为工作人员合成动捕镜头。有了动画数据，就能够套用到虚拟三维动画角色悟空的身体上，拥有真人拍摄动作数据的角色的动态相比于用软件设计动态，会更加真实自然，也大大节省了制作时间。在影视作品中，动捕技术常用来制作非人类角色，演员穿着动捕服装做动作以驱动数字角色，这时候就需要表演者去揣摩角色本身的姿态和运动特征，若是表演一个笨重的巨人，就要缓慢吃力地行走，若是塑造一只灵巧的猫，就要身手敏捷移动迅速，这样才能让角色看上去更可信。另外，动作捕捉还用于让专业演员完成一些特定的运动，如体操、武术等的高难度动作。电影《刺杀小说家》讲述了一个奇幻打怪故事，影片包含了大量的数字场景和数字角色制作。以最大反派赤发鬼为例，这个15米高的巨物拥有四只手臂、头发40万根、全身毛孔94.8万余，让这样一个“类人”数字角色动起来，就要用到动作捕捉和面部捕捉技术。赤发鬼是一个完全虚构的角色，在现实生活中很难找到参照物，完全存在于导演的想象中，扮演者杨轶就从导演的构想出发，揣测它的整体体态、行为举止、丰富内心，从游戏中相似的鬼怪角色中寻找参考，再将这种内容用自己的表演外化表达出来。上图为杨轶进行面部捕捉拍摄。在表演中，赤发鬼角色与对手戏角色的体型差很大，杨轶就用一根笔作为对手演员的参照物，稳定地表演出这种物体形态的差距。
在实际拍摄阶段，监控器可以实时显示退绿幕后预制好的数字场景与运动的数字角色简单合成的效果。实时显示可以及时调整演员状态、调度演员走位，增加了整个流程的准确性和可控性。另一类基于视觉的解决方案是使用少量RGB或RGB深度相机的姿态估计，也就是通过单个或多个经过相机标定的摄像头估算人体关节点，通过多视角几何计算出关节点的空间位置，进而完成动作采集。虽然这类方法更加轻量级，但由于需要从图像中提取可区分的特征，对人的穿着要求较多。这类方法通常不适用于无纹理的衣服或具有挑战性的照明环境。而且这种基于视觉的方法存在一定的遮挡问题，这种问题按理说可以通过设置密集的摄像头来解决（增加系统负担和花销），但在某些实际应用中是比较难做到的。 上图为云舶科技的直播虚拟偶像，虚拟偶像的形象更美观多变、有趣味性，最近常用于直播带货。它以无穿戴AI视频动捕技术为核心，对视频里左上角的真人进行姿态捕捉，实时驱动人物模型生成中心的三维动画。这使用的就是单目视频人体动捕技术。这种技术的原理大概分为两种：一是从图片中提取出人体的关节点空间坐标数据，然后通过反向动力学计算出每个关节点的旋转信息；二是通过引进数字人体模型来直接估算人体关节点的旋转信息。
在虚拟现实（VR）语境中，要做到完全的沉浸，除了头显设备外，还要配备体感交互，这样才能更好地让用户的身体与虚拟世界中的各种场景互动。Oculus Rift设备就利用了红外光学定位技术来完成对用户的动态捕捉。在头显和手柄上有一些隐藏的红外灯，这些灯发出的红外光会被两个装有红外光滤波片的摄像机接收到，再根据算法得到空间坐标，确定位置。影视拍摄中也大量使用了红外线动捕技术，在《猩球崛起》中，演员身着带有红外线发射器的服装，主动发射红外线被摄影机捕捉，依靠计算机图形识别技术来获得演员的动作数据。这样做的好处是拍摄场景不必限定在室内影棚，在户外的大环境也能够避开自然光的干扰，捕捉有效数据。受到光线传播的限制，数据采集难免有丢失的情况发生，在相对较大的拍摄空间中，需要同时修正几十个摄像机的参数，稍微移动一下就需要对摄像机参数进行重新标定，想做到电影级别的精确捕捉，还是很耗时费力的。对于大范围的行走和奔跑等日常活动，需要精心控制的移动摄像机来记录足够的运动信息，这也很难实现的。
与基于视觉的系统相比，使用穿戴式传感器的运动捕捉就与环境和遮挡无关了，同时它不需要复杂的设置，对移动范围也没有限制。这些特点使它更适合用户使用，因此利用惯性传感器进行运动捕捉成为了近年来的研究热点。大多数项目都是利用惯性测量单元（IMUs）来记录运动惯性的，配合可穿戴设备（如手表、腕带和眼镜）使用。商用惯性动作捕捉系统Xsens 使用了17个IMU来估计关节旋转，虽然结果准确，但密集放置的IMU并不方便，阻止了表演者自由移动。 Xsens的17个惯性测量单元
之后有研究表明仅用6个IMU重建人体运动是可行的，作为一种基于优化的方法，它需要访问整个序列，并且需要较长的处理时间，针对这个问题，可以通过双向循环神经网络（RNN）实现了更高质量的实时性能，但在具有挑战性的姿态上仍然会失败，30帧/秒的帧率不足以捕捉快速的运动。更重要的是，IMU只估计身体姿态，而不包括全局移动，IMU本身并不能直接测量距离。因此使用惯性传感器进行身体姿态和全局移动的实时运动捕捉仍是一个待解决的问题。 近日，论文《TransPose: Real-time 3D Human Translation and Pose Estimation with Six Inertial Sensors》提出了一种方法：TransPose, 这是一种基于DNN的方法，它以超过90帧/秒的速度从6个惯性测量单元(IMUs)执行全运动捕捉(包括全局移动和身体姿态)。对于身体姿态估计，提出了一个多阶的网络，作为中间结果估 leaf-to-full 关节位置。这种设计使得姿态估计更加简单，从而获得更好的精度和更低的计算成本。对于全局移动估算，论文中提出了一种基于supporting-foot的方法和一种基于RNN的方法，以基于置信度的融合技术鲁棒地解决 global translation 问题。定量和定性的比较表明，这个方法优于目前最先进的学习和优化的方法，在准确性和效率上有很大的提升。作为一种纯基于惯性传感器的方法，该方法不受环境设置(如固定摄像机)的限制，使捕捉工作摆脱了常见的困难，如大范围运动空间和强遮挡等问题。6个惯性传感器的位置（左、右前臂、左、右小腿、头部和骨盆）
图为定性比较。在DIP-IMU(前三行)和TotalCapture(后三行)数据集执行离线和在线比较，并选择了一些结果。每个顶点的颜色取决于它到标准结果的距离。一个完全红色的顶点意味着距离大于1米。可以看出TransPose结果基本接近标准结果，表现远好于目前最先进的方法DIP。
动图中灰色为为标准结果，可以看到Transpose与标准结果姿态基本相同，位置略有差别，DIP结果与标准结果相去甚远。再来看一下数据结果。下面是身体姿势捕捉的离线比较结果，将TransPose方法在TotalCapture和DIP-IMU数据集上的结果与先前的SIP/SOP方法和DIP 方法进行比较，括号中表明了SIP误差、角度误差，位置误差、网格误差和抖动误差的均值和标准差。下图是实时身体姿势捕捉的比较结果。TransPose方法与DIP 在TotalCapture 数据集和DIP-IMU 数据集上的实时设置进行比较。可以看到TransPose方法大幅减小。
目前在应用领域还是以光学动捕技术为主导的，其发展时间久且具有极高精确度，已经可以适用于各种需求。但惯性动捕技术的优势是显而易见的，设备更简单、使用更便捷、使用场景更广泛等。任何一项新技术的应用都有一个阶段性的过程，相信随着惯性动捕技术本身的精进，其将会与光学动捕技术平分天下，甚至更胜一筹。
参考文献：[1] X Yi, Zhou Y , Xu F . TransPose: Real-time 3D Human Translation and Pose Estimation with Six Inertial Sensors. 2021.
电影（电视）虚拟空间设计专业自2006年建立以来，以新技术变革下的电影为核心，拓展到未来视听形态和叙事表达的艺术与科技前沿，强调观念和视野的前瞻性，注重以多学科思维和手段实现艺术创新的聚合能力，为业界培养的本科生和研究生，获得众多国际重要奖项。
