详解动作捕捉技术的分类

1.2.1步态分析的技术分类

目前主流的步态分析技术主要有以下几种：基于计算机视觉的人体步态捕捉与分析、基于惯性传感器的人体步态捕捉与分析、基于无线信号的人体步态捕捉与分析。基于计算机视觉的人体步态捕捉又分为基于红外摄像头、基于2D摄像头、基于3D深度摄像头等多种。上个世纪的技术路线还有基于机械式的步态捕捉。其他的技术路线还有基于电磁式的步态捕捉。

1.2.1.1基于红外摄像头的光学步态捕捉

红外光学动作捕捉技术经历数十年的持续发展，目前常用的红外光学动作捕捉技术都是基于计算机视觉原理[4]。红外摄像头的光学步态捕捉主要分为被动式和主动式。被动式是在人体关键部位粘贴反光标记点，主动式是在人体主要部位佩戴上可发射红外线的主动式摄像头。本节主要说明被动形式的光学步态捕捉。在人体的主要骨骼部位以及关节处粘贴反光标记点，利用架设好的红外摄像头追踪反光标记点（Markers），从而计算出反光标记点在空间中的绝对位置。反光标记点和红外摄像头分别如图1-1和图1-2所示。

图 1-1 反光标记点

Fig.1-1 Reflective mark

图 1-2红外摄像头

Fig.1-2 Infrared camera

反光标记点既不会接收无线信号也不会向外发射任何无线信号，它的表面涂抹了一种特殊荧光材料，可以很好地让红外摄像头识别到并反射回高质量的图像信号。

红外摄像头一般采用RJ45接口，通过网线连接汇聚到交换机，再由交换机统一将数据转发到计算机。整个系统如图1-3所示。

图1-3基于红外摄像头的光学动作捕捉系统结构图

Fig.1-3 Structure diagram of optical motion capture system

计算机的上位机软件经过一系列的算法识别还原出人体的步态。其算法流程如图1-4示。

图1-4基于红外摄像头的光学动作捕捉系统算法流程图

Fig.1-4 Algorithm flow chart of optical motion capture system

基于红外摄像头的光学步态动作捕捉系统优点是技术成熟度高，采样频率高，加之目前的高性能计算机数据处理速度极快所以延迟很低，且精度很高，使用范围广，应用领域众多。主要缺点是对光照特别敏感，不能在光变化较大的环境下使用，周围不能有和光学标记点相近的物体或光斑，所以光学步态捕捉一般只在室内使用。由于摄像头的视场角有局限性，且人在运动时有的标记点很容易受到其他物体及自身的遮挡，这就造成被遮挡部位数据的丢失。后期数据处理工作量很大，由于数据量大且需要处理丢失、跳帧等问题，需要较长的后期处理时间。缺点还在于需要架设相机，相机一般架设到钢架结构上，这就造成使用场景一般比较固定，不能轻易的挪动。一般的场景至少需要6个摄像头，如果需要追踪更大的场景，需要的摄像头数量高达几十个，且单个摄像头价格十分价贵，比如Vicon公司生产的单个摄像头价格高达十万元人民币，这就造成红外光学式步态捕捉还是应用到科学研究方面，无法走进大众。

目前市面上生产红外摄像头的光学步态捕捉的公司有英国的Vicon公司、美国NaturalPoint公司、美国MotionAnalysis公司、中国的青瞳视觉公司等。NaturalPoint公司生产的Optitrack系统如图1-5所示。

图1-5 Optitrack系统

Fig.1-5 Optitrack system

1.2.1.2基于3D深度摄像头的动作捕捉

随着3D深度相机技术的成熟，有许多研究者开始研究基于深度相机的动作捕捉系统[5][6]。3D深度摄像头与2D摄像头的区别在于，除了能够获取平面图像外还可以获得深度信息。3D深度技术目前广泛应用在人体步态识别、三维重建、SLAM等领域。目前主流的3D深度摄像头的技术路线有：（1）双目立体视觉；（2）飞行时间（Timeoffly，TOF）；（3）结构光技术等。

双目立体视觉即使用两个2D平面摄像头。两个平面摄像头获得两幅图像，通过两幅图像算出深度信息。飞行时间即由雷达芯片发射出红外激光散点，照射到物体后反射回雷达芯片的时间，由于光速已知，发射返回时间已知即可测量出摄像头距物体的距离， 。结构光是摄像头发出特定的图案，当被摄物体反射回这一图案时，深度摄像头再次接收这一图案，通过比较发射出的图案和接收的图案从而测量出摄像头距离被摄物体的深度信息。3D深度摄像头方案对比如表1-1所示。

表1-1 3D深度摄像头方案对比

Tab.1-1 3D depth camera scheme comparison

利用结构光方案的产品有微软公司推出的Kinect，其广泛的应用在体感交互、人体骨架识别、步态分析等领域。Kinect如图1-6所示。

图1-6 微软公司的Kinect

Fig.1-6 Kinect of Microsoft

基本原理是首先找到图像中移动的物体，然后会对移动的物体进行深度评估，识别出人体的部位，然后将其从背景环境中分割出来。分割之后要做的工作就是模式匹配，将其匹配到骨骼系统上。算法流程如图1-7所示。

图1-7光学动作捕捉算法流程图

Fig.1-7 Algorithm process

以上三种方案的3D深度摄像头方案大部分用在娱乐级别方面，比如脸部识别解锁、人机互动，且由于其探测距离较近，很难用在大空间上。目前基于3D深度摄像头的芯片在不断地研究改进中。其硬件芯片仍是目前的难点之一，再其次是算法的复杂度，大量的图像计算对硬件的主控芯片的计算能力有较高的要求，在功耗上很难做到低功耗的工作，受制于目前的电池技术，单个传感器的工作时间比较短。其优势在于不需要用户穿戴任何传感器和粘贴标记点。利用Kinect进行人体下肢骨架识别如图1-8所示。

图1-8 Kinect人体骨架识别

Fig.1-8 Kinect for human skeleton recognition

1.2.1.3基于2D摄像头的动作捕捉

利用2D摄像头实现3D运动轨迹的捕捉是目前的前沿技术研究。2D摄像头即平面摄像头，没有深度信息。目前基于2D摄像头的动作捕捉主要采用卷积神经网路（CNN）将稀疏的2D人体姿态凸显检测的原理。但是此种捕捉方案需要长时间的运算，并不适合实时的运动分析，且输出精度低。基于2D摄像头的动作捕捉目前可以捕捉人体局部的运动姿态，且捕捉之间需要采集大量的数据样本作为训练数据集。2D摄像头在深度信息的预测上存在着偏差，任何一点错误的数据都会导致很大的偏差，稳定性极差。最大的挑战在于摄像头的遮挡以及快速的运动都是2D摄像头很难追踪到的。其优点在于不需要任何的穿戴，且所需要的2D摄像头触手可得，成本极低，这对大众化的应用是一个不错的选择。利用2D平面摄像头的姿态捕捉应用如图1-9所示。

图1-9利用2D平面摄像头姿态捕捉

Fig.1-9 Using 2D planar camera attitude capture

1.2.1.4基于MEMS惯性传感器的惯性动作捕捉系统

基于MEMS惯性传感器的动作捕捉系统在各个领域都有应用，包括虚拟现实[7]、运动训练[8]、生物医学工程[9]和康复[10][11]。因为它们体积小、重量轻、价格合理[12][13][14]。

惯性动作捕捉系统主要是将惯性传感器绑定在人身体主要骨骼上，如足、小腿、大腿，实时测量出每段骨骼的旋转，利用正向运动学（Forward kinematics，FK）和反向运动学（Inverse kinematics，IK）实时推导计算出整个人身体的运动参数。惯性动作捕捉系统的优势在于他是一种无源的动作捕捉系统，不需要借助任何外部信息，即不受外界环境的干扰。缺点则是由于惯性传感器普遍存在累计漂移会使惯性系统无法精确测量出运动的位移。其全身穿戴效果如图1-10所示。

图1-10基于MEMS惯性传感器的惯性动作捕捉系统穿戴图

Fig.1-10 A wearable image of inertial motion

capture system based on MEMS inertial sensor

惯性传感器主要包括加速度计、陀螺仪、磁力计。其中加速度计、陀螺仪、磁力计多采用MEMS形式，所以称之为MEMS惯性传感器。三轴加速度计可以测量载体的三个轴向上的加速度，是一矢量，通过加速度我们也可以计算出载体静止时的倾角。三轴陀螺仪可以测量出载体的三个轴向上角速度，通过对角速度积分我们可以得到角度， 。三轴磁力计可以测量出周围的磁场强度及与地球磁场的夹角。通过融合加速度、角速度、磁力值的数据我们可以精准的得到载体的旋转。融合后的数据一般用四元数或欧拉角来表示。其中四元数形式如 ，欧拉角包含俯仰角（Pitch）、横滚角（Roll）、偏航角（Yaw）。得到载体的旋转后再拟合各个骨骼的运动，从而计算出穿戴部位的运动姿态。通过对加速度、角速度的积分可以测量出穿戴者的步速、步距、步长等参数。世界上知名的MEMS惯性动作捕捉系统研发生产公司国外有荷兰Xsens、国内的北京孚心科技公司等。综述其原理如图1-11所示。

图1-11 惯性动作捕捉系统原理图

Fig.1-11 Schematic diagram of inertial motion capture system

基于MEMS惯性传感器的动作捕捉系统的步态分析有很大的优势，主要体现在由于惯性动作捕捉系统采用的是MEMS芯片，成本较低，每个芯片只需要十元左右，整套系统的价格在几万元级别。由于惯性动作捕捉系统是一种无源的系统，整套系统的重量在几千克的范围内，所以便于携带，且不需要架设繁杂的相机。惯性传感器只需要开机后就可以使用，没有繁杂的校准、标定等操作步骤，所以使用十分便捷。惯性动作捕捉系统不受使用环境的影响，不管在室内、还是室外都可以正常使用。 但是MEMS传感器的精度相比于光学动作捕捉系统来讲，精度较低，但对于大众人群已经完全满足其需求。由于MEMS式陀螺仪存在零偏且在动态情况下积分累计误差会随着时间的推移而产生较大的漂移。MEMS加速度计在不同的状态下也存在误差，特别是在高动态下。磁力计很容易受到强磁环境的干扰。但是这一系列的误差问题都可以通过算法来补偿。MEMS式惯性传感器补偿后的静态精度一般可达到：俯仰角/横滚角≤0.2°,偏航角≤1°；动态精度：俯仰角/横滚角≤0.5°, 偏航角≤2°，步态位移误差可达5%。已满足步态参数计算的精度要求。

1.2.1.5其他技术路线

机械式动作捕捉依靠穿戴在人身体的机械装置来测量关节角度以及位移。人体运动带动机械装置的运动，从机械装置上的角度传感器可以知道运动角度，根据角度和机械部位的长度从而计算出移动位移。这一技术最早出现在20世纪，由于机械结构的笨重，在步态分析方面机械动作捕捉早已退出发展的主流。但利用机械外骨骼的搬运发展成了主流。其形状如图1-12所示。

图1-12 机械式动作捕捉

Fig.1-12 Mechanical motion capture

其他的技术路线还有基于声学式的动作捕捉，基于电磁式的动作捕捉等。