3A游戏制作利器：动作捕捉
引言
众所周知，动作捕捉技术发展到今天，已经是写实类3A游戏很重要的一环。近些年，从《往日不再》、《枪神纪》到近期的《荒野大镖客2》、《死亡搁浅》等游戏的开发，都大量的使用了动作捕捉技术。动作捕捉发展到今天，已经不仅仅是单一应用场景。这篇文章主要介绍动作捕捉技术的历史和发展、原理、光学动作捕捉的应用现状，希望能抛砖引玉探讨如何更好地使用即将落成的动捕基地为鹅厂游戏提质提效保驾护航。
历史
灵感来源：影像描摹（rotoscope）技术。用一个特殊的电影放映机，把拍摄的角色画面逐帧映射在绘画纸上，创作者再根据映射影像，一帧帧的把这些画面描绘出来，从而得到栩栩如生的动画影像。eg：迪士尼在1939年的白雪公主和七个小矮人里就用了这项技术
雏形：1979年，心理学家约翰（Johansson）曾为人类的运动捕捉做了经典的MLD(moving lightdisplay)实验，他在实验者13个关键的关节处附上亮点，并将他处于黑暗的环境下活动，同时只对关节点进行观察。从而抽象出了关节的运动轨迹和关节角度的时序变化等，这就是后来光学动作捕捉系统中Marker点的雏形。
第一套动作捕捉服装：1983年，麻省理工大学研发出了一套图形牵线木偶。这里使用了早期的光学动作捕捉系统，校准“Op-Eye”，它依赖于一系列的发光二极管，通过制定动作来生成动画脚本。本质上，这个牵线木偶充当了第一套“动作捕捉服装”。
发展：1990s，动作捕捉技术进入好莱坞，之后不断被应用在电影领域，泰坦尼克号、木乃伊。。。动作捕捉技术得到了很好的发展。
原理
小孔成像的原理诠释了camera是怎样从三维世界里获取二维影像的。如图，假如我们选择A点作为参考，透过光心做A点和光心的延长线M，根据光路可逆原理和光沿直线传播原理，空间中所有位于该延长线上的点在成像时，都会显示A点的像素信息。
但如果我们规定了统一世界坐标和camera参数值，在另一角度放第二台同样的camera，也同时拍到这个A点，也透过第二个光心做A点和光心的延长线N，那么延长线M和延长线N一定会相交，且焦点的位置A就是该点对应的真实三维位置。这就是计算机视觉原理，最少需要两台同步的camera，且两台camera要同时捕捉到同样的点。这就是光学动作捕捉系统定位marker点的原理。但实际表演的情况，身体某些部位的marker点经常被遮挡，所以要想保证每个marker点能做大限度的被至少两台camera捕捉到，我们需要增加camera的数量，并合理安排cameras的布局，以保证每台camera的最大利用率。这也就解释了市面上的动作捕捉系统为什么需要很多台camera共同工作的原因。
光学动作捕捉的现状
动作捕捉管线
简单来讲，可以归纳为：资产准备-----数据捕捉------数据清洗与应用。但具体操作起来，我们还需要考虑我们所创建的资产适合不适合动作捕捉，我们应该选择什么类型的演员进行表演，我哪天进行捕捉，等等一些散事儿。在此我就不详细展开了，有关具体问题请大家关注深圳动捕基地K吧。在此仅展示动作捕捉时的管线：
相机校准
设备初次使用，系统不能分辨cameras的位置信息，我们需要用一组相对位置固定不变的marker点组，在场地里挥动，让每个camera都能够看到这组点。从而解算出cameras之间正确的相对位置。这也是光学捕捉系统的共同步骤。
角色校准
每一套动作捕捉系统软件内部，都会内置一套骨骼模板。但是我们每个人的骨架尺寸各不相同，好的动作捕捉软件可以自适应动捕演员的骨骼比例，从而能够达到比较完美的捕捉效果。目前能做到这个效果的有工业光魔使用的iMocap和Vicon公司研发的shogun。
数据捕捉
这是对我们要捕捉的动作进行数据采集。动作设计师此时可以实时指导演员的表演节奏、把控动作的风格特征。动作捕捉设备一般都支持数据回放的，如果回放过程中，我们对动作不够满意，还可以根据回放内容逐帧给演员讲戏，从而更为方便精准的辅助动作设计师设计动作。
数据清洗
光学动作捕捉的痛点就是marker点的遮挡，当被遮挡的点再次出现时，系统的自动识别能力就会降低，从而有一部分几率出现识别错误的情况。数据的清洗能够把被遮挡住的点和识别错误的点，手动纠正过来后，再通过软件算法，解算出来。从而更好地服务骨骼重建环节。往往，这一块是最能体现软件设备强大与否的一点，这也是当前国产动作捕捉设备占用工作量最大的一块。
不得不提的是，工业光魔那套IMocap还把motiobuilder里的大部分功能整合到了自己软件里面，使得工业效果和艺术效果都在同一设备里面处理，大大节省了软件直接数据互导的时间。
骨骼运动重建
软件里的Marker点以相对位置不动的规则自动分组，相对位置不动的每一组marker点，过约束权重分配的方法，约束每一根模板骨骼，从而驱动每一根解算骨骼。
数据导出
这是数据清洗的最后一步，Fbx是各个动作捕捉系统和厂商都支持导出的格式。这种格式也是动作捕捉之后的环节通用格式。
动作捕捉的应用领域
动作捕捉技术发展到现在，已经渗入到了很多行业，其捕捉精度、
有关应用领域，我不多做赘述，会在下面放一些链接供大家欣赏，但最传统的使用方式还是影视、游戏领域偏多。
电影、电视
电影电视领域除了捕捉动作数据，另外最常用的一种是配合其他摄影设备做CG电影的previz。
头号玩家捕捉花絮https://www.youtube.com/watch?v=gAp3VLirGSM
阿丽塔：战斗天使 https://www.youtube.com/watch?v=timN6rZJPDw
游戏、VR
死亡搁浅捕捉花絮https://www.youtube.com/watch?v=cNHkCDMXWW0
逃离塔可夫捕捉花絮https://www.youtube.com/watch?v=pvrdMTRjEQE
刺客信条捕捉花絮https://www.youtube.com/watch?v=yQOH96pBIhg
沉浸式VR游戏https://www.youtube.com/watch?v=qwg1aUCqZ0g
虚拟偶像
偶像练习生 http://km.oa.com/group/37533/articles/show/395722?kmref=search&from_page=1&no=5
生命科学
https://www.youtube.com/watch?v=9eLjoOeszaw
机器人控制
https://www.youtube.com/watch?v=M6mQWcLAiko
动作捕捉系统的精度判定
我们使用动作捕捉系统的过程中，有时候会有这样一个疑问：我用的动作捕捉系统是不是目前市面上最好的？好在哪里？我们经过多方对比，从系统参数上，给大家一些系统判定的参考。当然市面上的动作捕捉系统林林总总，我们在这里选了两款在国内很有代表性的设备进行对比。
Vicon成立于1985年全球唯一达到跨行业多应用的动作捕捉综合服务商，也是全球唯一的自行研发和生产完整的表演捕捉系统和原厂提供高难度动作捕捉服务业务的公司。OptiTrack从2015年起，全球销量保持第一，2017年被中国利亚德集团全资收购。
其实国外还有一家王者型的动捕公司存在，那就是服务过《阿凡达》、《 魔兽》、《忍者神龟2》等无数脍炙人口的影视盛宴的工业光魔，iMocap就是他们在拍摄过程中产生的工业级产品，可惜的是，工业光魔及其团队没有将这套系统进行商业化，而是以提供高昂服务费的形式出现在大众视野，具体请参看
https://blog.csdn.net/chinavfx/article/details/53613285
上图是一张动作捕捉系统的工作原理流程图。从流程图我们可以get到：系统的精度是由软件、硬件和算法强度共同决定的。下表是我们找两大厂商提供的具体参数。
参数解析：
硬件
镜头分辨率
单位像素内，所显示的物体的细节程度。像素越高，捕捉越准确，但像素越高，它所需要的图形运算能力也越强大。如果高像素匹配不好强运算的话，所带来的后果就是延迟。
帧速率
即（frame per second），理想情况下，帧速率越大，拍摄的主题物体（动捕领域里特指marker点）的运动轨迹也就越详细。但帧速率同时也受图像采集处理能力和软件算法能力的限制，如果图像采集设备（指cameras）单位时间内能够处理的像素能力跟不上的话，它只能粗略分析像素从而导致捕捉到的每帧图像的清晰度下降，这就诠释了有的设备帧速率明明很高，但精度依然跟不上低帧速率的镜头的原因之一。
捕捉距离
这个参数跟动作捕捉镜头上的led红外灯光板的数量有关，通常来讲，数量越多，亮度越亮，红外光线到达的距离越远，捕捉距离也就越远。但如果过亮，镜头会识别到marker点以外的亮色域，从而导致捕捉杂点的出现；或者任何物体近距离在镜头下时，都会被当成反射源，从而使得镜头反馈给软件的信息不正确。现在生产厂商会在软件内集成一个可调灯光板亮度的功能，我们可以根据实际距离选择最为合适的亮度，以此来达到最优秀的捕捉效果。
视场角
可视角度越大，捕捉范围越大，我们的有效捕捉面积相应也就增加。这个不必赘述，大家都懂。
重力感应陀螺仪
这个的好处就是我们在安装摄像头时，可以有多种安装方式，从而在软件里方便调试。
软件
需要强调的一点是，软件和硬件的配合很重要，二者有一项弱的话，均发挥不出动作捕捉应有的能力。而且，软件的性能强大与否，是最能体现出一个公司的知识累积深度的。从应用角度来讲，那些应用越来越简易化，越来越傻瓜化的软件，但产出质量越来越好，产出效能越来越高的东西，往往是我们青睐的产品。
相对于传统动画，动作捕捉系统的优势与劣势
优势：捕捉自然运动的微小细节，可以把生物力学的微妙之处和动态最大还原，详细的情绪状态和微妙的运动风格都可以在动作捕捉下淋漓尽致地展示；拥有人类行为的动物、异形生物等可以以较高的水平进行模拟；作业时间上，远超传统手K动画。
劣势：目前比较突出的劣势就是，动作捕捉只能捕基于现实题材的角色，一些柔体角色或者卡通风的艺术感觉，还是得通过手K的方法输出；对于比例不同的两个动捕角色，他们在捕捉时的交互性就显得弱很多；动画师仍然花费大量的工作来修改mocap数据，以此来添加艺术性的微妙的细节和表达。