光学动捕中的软件技术分析

主要目标是确定相机参数，计算相机位置和角度，建立三维空间坐标；常用4点标定法，如Vicon的T型标定，NOKOV的L型标定。

一开始演员进行T-Pose的过程，这个过程，相机会跟踪识别到演员身上每个光学标记点并对其进行命名。同时也会得到基于演员身高体型的一个骨架结构。

即流程中2D Marker Identifiction的过程。对于动捕，连续动作的捕捉是关键，那么关键光学点的跟踪问题就是它的重点核心。

由于遮挡、缺失、标记点靠近干扰等因素使得2D点的跟踪变得复杂；当前一些论文中，多采用4帧跟踪原理，即对于当前帧点轨迹，需要根据前1帧和后2帧来综合判断。原理如下图所示：

也有一些新技术，包括Ubisoft做了通过深度学习的方式去纠正点的方法，前提是他们有大量的错误的数据和手工纠正后的骨骼数据作为训练数据。我们可能还需要要用传统的算法来纠正，纠正后可作为AI学习的训练数据。当然手工修复并作为训练数据也是可以的。

即流程图中3D Marker Reconstruction部分。这部分的核心是：每个相机中输出的数据是识别到的2D光学点信息，已知每个相机在3D空间中的位置和旋转信息，根据3D几何学的运算，则可求得对应2D点在3D空间中的位置信息，当然这个里面还是有很多优化的算法的，也就是校正数据的部分。

从四肢节点开始计算骨骼的旋转信息，这里面会用到一些人体骨骼的约束条件。比如最大的是因为人体是不会伸缩变化的，骨骼只有旋转信息，一般用欧拉角来表示。从四肢的骨点进行IK计算，得到整个骨架每根骨骼的旋转信息，以及骨架根节点移动信息。除了IK，还有一个重要的约束是每个关节的运动自由度是不一样的，比如手肘只有一个方向的旋转自由度，而手臂有三个方向的旋转自由度，但又不会穿插到人体内部去这样一些约束。

Ubisoft La Forge工作室的这篇论文《Robust solving of optical motion capture data by denoising》使用了deep denoising feed-forward neural network深度降噪前馈神经网络。首先会做数据清理Cleanup Data，找到丢失的点，误识别的点。再进入到第二个阶段Solving，上面也说传统做法就是用IK去生成每个Joint的旋转信息，但La Forge工作室使用了CMU的动捕数据库，通过光学标识点去预测了多种可能的标点的位置，生成一些错误的点，将这些故意生成错误的点作为输入，用神经网络模型来训练一个稳定输出的关节节点的动画。就是通过光学Mark点模型生成骨骼动画数据。

同时如果在生成数据的软件中检测到连续的抖动，也需要进行去抖处理，而本身数据是实时处理和发送的，所以要根据一些预测和约束进行纠正。《Robust Marker Trajectory Repair for MOCAP using Kinematic》中就是对一个robust solver和ik solver生成的pose进行比较，得到纠正后smooth的pose。