“ 感知CG · 感触创意 · 感受艺术 · 感悟心灵 ”
Hi各位早上好！说到“动作捕捉”大家一定都很熟悉了，它指的是拍摄演员的表演，利用得到的数据信息制作演员数字模型2D或3D动画的过程。在初期阶段，动捕只适用于幅度比较大的动作，后来包括了面部和手指等细微表现，从而有效地捕捉到演员的全身表演，这种较为完整的方式又称为“表演捕捉”。随着实时技术的迅猛发展，捕捉到的动作还可以实时绑定到数字角色上，例如实时捕捉的舞台表演和各类互动体验等。可无论动作捕捉还是表演捕捉，对于系统的选择并不是轻而易举就能决定的小事，系统本身很昂贵，再加上获取和处理数据所花费时间就更得慎重考虑了，毕竟我们都希望把时间和金钱用到对的地方。Unreal Engine最近在其官方网站上发布了名为《Choosing a real-time performance capture system》（挑选实时表演捕捉系统）的白皮书，从权威及专业的角度详细介绍了各类表演捕捉系统的功能和用途，并探讨了两款实时项目：在GDC 2018发布的《Siren实时表演视频》和在Siggraph 2018 Real-Time Live！上获奖的《普及动作捕捉：使用iPhoneX、Xsens、IKINEMA和虚幻引擎实现实时全身表演动作捕捉》。白皮书通篇英文，可能会为部分小伙伴带来阅读障碍，因此小编大概提炼了文中要点，为大家介绍一下，希望可以在需要之时帮到你们。如需白皮书源文件的话，还请直接查看文章末尾的内容哦。在选择表演捕捉系统之前，我们得了解都有哪些系统，以及不同系统之间在设置、准确性、是否适合制作需求及成本方面的差异。根据采用的技术，可分为光学系统、惯性系统、混合系统、深度感测系统以及取决于具体需要选择系统这5种情况。咱们分别来看下。光学系统要和摄像机配合工作，用摄像机拍摄设置在演员身上的标记点，以秒为单位来计算标记点的3D位置。原理听上去似乎挺简单，但光学系统对摄像机数量是有要求的，要确保每个标记点从始至终能被至少三个摄像机拍到，这是计算3D位置最起码的要求。能够被摄像机拍摄到的标记点分为两类：主动式和被动式。主动式标记点自动生成可被摄像机检测到的光，有一些还可发出脉冲，向摄像机发送其他信息（例如特定标记的ID）。被动式标记点自己不能发光，必须通过其他光源（一般为相机上的光圈）反射回来。被动标记点不会“主动暴露身份”，需要通过系统分析它相对于数字模型上其他标记的运动进行识别。
带有光学被动式标记点的Mocap套装
可以想象到，主动式标记点更为明显，从很远的地方就能看到。然而拍摄主动式标记点的设备要比拍摄被动式的笨重的多，出于功率要求还需要配备备用电池。光学系统需要大量的跟踪摄像机进行拍摄，因此它的成本很高，而且不方便携带，在动作捕捉拍摄的过程中，演员身上带着标记点也会影响到表演的效果。光学系统既可以捕捉身体也可以捕捉面部，虽说面部光学系统所需要的摄像机数量比身体捕捉系统的要少，但是演员需要佩戴笨重的头盔，还是会对表演造成一定影响。惯性系统使用的是称为惯性测量单位（Inertial Measurement Units，简称IMU）的微型传感器，由陀螺仪、磁力计和加速度计组成，用来测量人体特定点上的力量和旋转。数据通常以无线方式传输到计算机上，某些系统还会把数据录制到演员佩戴的专用设备上。
惯性套装 [Image courtesy of Animal Logic]
在这种系统下，摄像机无需拍到传感器，不用考虑演员身体位置或是道具位置，都不会影响到数据的传输。传感器还可以隐藏在演员衣服里，因此遇到需要演员出现在镜头中或者出现在舞台上的情况时，可以选择使用惯性系统。但有一个问题，惯性测量单位是根据可用的运动数据来估算位置的，并不能直接获取实际XYZ位置。也就是说捕捉到的演员动作是精确的，但他在XYZ空间中的位置并不一定是完全准确。这个类型的系统很容易发生位置“漂移”，随着时间的推移，所记录的演员位置会逐渐偏离演员的实际位置。近年来出现了光学/惯性混合系统。这种系统既保留了单个系统的某些优点，同时又消除了他们各自的缺点。混合系统通常采用的是“冰球”形独立便携式跟踪设备，大小和冰球差不多，可以放在固定位置上，也可以固定在动补套装、设备或是相机上。“冰球”可以单独跟踪惯性数据或者光学数据，也可以对二者进行同时跟踪，具体要取决于设备的内部设计。
OptiTrack Active Puck [Image courtesy of OptiTrack]
混合系统最常见的主要类型有两种，一种是传感器内混合，另一种是系统层级混合。
传感器内混合指的是混合发生在实际传感器内部。传感器使用光学跟踪来获取位置和方向，还使用用IMUs来增强跟踪的准确性，并在传感器被挡在摄像机之外时防止数据丢失。
IMUs提供加速度和速度数据，当光学跟踪被遮挡时，这些数据可用于预测运动路径。通过使用预测来平滑遮挡，这种类型的传感器比典型的光学系统用的摄像机数量要少的多，降低了总体成本，但测量惯性数据所需要的额外设备又使得这类混合型传感器系统变得很庞大。
VIVE Tracker attached to VIVE racket [Image courtesy of VIVE]
系统层级混合指的是发生在系统层级的混合（这是一句废话，我知道，求别打）。这种混合方式是一整套提供数据的惯性套装，使用1个或多个光学标记点来增加额外的位置数据，弥补惯性系统产生的位置“漂移”。
虽然有很多采用系统层级混合的实例，但不可否认的是两种数据源还是不太好融合。从理论上来说，如果在演员臀部添加标记，把惯性套装的臀部数据设置为标记点的位置，无论将标记放在演员身上哪个部位，由于人类臀部的运动方式，它都不会随演员的骨盆而刚性运动。例如演员向后挺腰，标记点可能会向上或向下移动，而不会反应骨盆的实际运动。也就是说，当演员简单地弯腰或是左右倾斜的时候，所产生的数据很有可能显示目标骨骼是蹲着（甚至是悬浮）的状态。
深度传感器系统使用1个或2个摄像头，通过光模式来感测物体的三维形状。从专业性的角度来考虑，深度传感器/相机系统通常仅适用于面部捕捉。这些摄像机安装在演员佩戴的头盔上，始终指向面部，随着角色头部动作而移动，相对来说需要捕捉的区域较小，这种类型的系统可以提供足够细节程度的面部运动，并实时转化为数字角色。在不需要精确捕捉演员全身，只要搞清楚他做什么的情况下，也可以采用这种深度传感器系统。
头戴式摄像机[Image courtesy of
Ninja Theory, Cubic Motion, and 3Lateral]
取决于实际的具体需要（Determining your needs）
姿势vs位置
不同的捕捉类型需要有不同的设置，两种主要设置/数据类型是姿势vs位置。姿势系统只捕捉演员相对于自己的动作。位置系统捕捉的是相对于空间固定位置的演员和摄像机的运动，根据位置数据可以确定每个演员相对于其他演员和摄像机的位置。位置系统捕捉的是相对于空间中某个XYZ原点坐标位置（0，0，0）的每个演员和摄像机，而姿势系统捕捉的是相对于演员骨盆或臀部区域中某个固定位置的演员。因此在选择捕捉系统时得按照实际需要来选，姿势系统与位置系统相比生成的复杂数据较少，且容易设置。项目在满足哪些条件就要选用姿势系统？或是满足哪一个条件就要选择位置系统呢？白皮书里都做出来细致的解释，小编就不多介绍啦。如果想要捕捉的是面部表情或是演讲（当然捕捉演讲的系统要比捕捉面部表情的更为精细），最为实际的两个选择是光学或深度传感器/相机系统。惯性IMUs尺寸太大，可测量的运动范围又太小，因此不适合这种类型的捕捉。光学系统与深度传感器比较起来，前者可以提供更为干净的结果，但是需要在捕捉面部设置标记点，花费的时间也就更长些。还有一种情况是实时面部捕捉系统利用头盔将摄像头（头戴式摄像机或HMC）固定在演员脸部，但这样很可能会分散演员（特别是刚接触动补的新手）的注意力，干扰表演。如果实时面补过程中演员是静止不动的，或者数据不是用于实时工作流程，这种情况可以采用无头盔面部捕捉系统，例如Disney Medusa系统。用于面部捕捉的头显深度传感器/相机 [Image courtesy of Digital Domain]大多数Mocap系统可以捕捉到基本的手腕运动和旋转，以满足角色走路或者说话的简单动作，但有些情况还需要捕捉单个手指的动作。例如有些角色有抓住道具或是用手指定位的细节动作，如果你不想花时间创建手部动画的话，就只能对手指进行捕捉了。Manus OptiTrack Hybrid Glove同时包括光学和IMU传感器，以提供对手指的精确跟踪。先来看你选择的身体捕捉系统是否支持手指捕捉，如果支持，是否可以选择捕捉值的类型，比如有一些系统只提供手指的卷曲值，没有散布值（spread value）。如果不能直接支持手指捕捉，你可以使用多种独立系统与主系统一起进行捕捉。独立系统通常以手套的形式，使用IMUs或应变传感器来测量演员手指的位置。然后手指数据将会和主Mocap系统的手腕数据合并到一起。表演捕捉预算有三种主要情况：第一与服务商签订合同，第二租用系统在团队内部使用，第三购买系统在内部使用。如果你之前从未使用过表演捕捉系统，或者你要用的系统非常复杂，那么与服务提供商签约是一个很不错的选择，他们会帮助你选择合适的系统，并提供空间和工作人员，并提交你所需要的数据。即使你需要定期进行表演捕捉，他们也可以帮你找到最适合团队的系统。如果你只是偶尔需要做表演捕捉而且知道自己要什么，最合适的就是租一套设备来用，当然还得有1-3位技术人员来设置、传输、管理和整理Mocap数据。租用的优点就是你不需要对设备进行维护。如果在费用合理，用途明确而且有足够专业的人员来运行和维护设备的情况下，你可以选择购买系统使用。需要注意的是，租用和购买系统时没有明确固定的规则，具体价格会根据需求和其他因素定期上涨或降低。惯性系统是最便宜的用于单个演员身体动作捕捉的“首选系统”，但是如果你需要捕捉多位演员，光是购买几套惯性套装的价钱就会突然暴涨，甚至比光学系统还要贵。使用光学系统的成本一开始会高一些，但好在角色人数增加的时候，成本并不会增长很快。对于那些预算极低，还要对多位演员进行捕捉的情况，如果采用的是姿势系统，且演员之间不会互相接触，不需要跟踪背景和摄像机的时候，建议购买一件惯性套装，对演员分别进行捕捉。虽然增加了后期制作的工作量，但是节省了运动捕捉设备的初始费用。接下来介绍两个最新的实时项目，希望可以在选择表演捕捉系统时帮到大家。GDC 2018大会上发布了《Siren实时表演视频》，Epic Games创建了一个名为Siren的数字角色，由动作捕捉演员驱动，现场捕捉演员的面部、演讲、声音和身体动作，实时衔接到Siren身上。为了准备这个演示，Epic团队首先列出了表演捕捉的需求：位置很重要。想要使用移动的虚拟相机，需要同时跟踪摄像机和演员，确保所有设置都是匹配的。Siren是面对面和观众交谈，要采用面部捕捉方式。由于是现场演示，既不能在演员脸上绘制标记，也不能贴标记，只能选择面部深度传感器/摄像头系统。在捕捉身体运动时设置可见的标记点，和Mocap套装牢固地粘在一起，不用担心演讲中途会掉下来。团队希望Siren的手指也可以移动，不需要完整的细节，只是讲话时的自然动作就可以了。总的来说，位置很重要，又不必隐藏身上的标记点，身体捕捉采用的是基于标记点的光学系统Vicon，面部捕捉采用的是深度传感器/相机跟踪，选择了Cubic Motion的实时面部捕捉解决方案。手指运动的要求并不是很高，使用的是Vicon的Shogun软件来跟踪手指关键位置，并将其分解为Siren合理的手指位置。另一个案例是在Siggraph 2018 Real Time Live！中获得冠军的《普及动作捕捉：使用iPhoneX、Xsens、IKINEMA和虚幻引擎实现实时全身表演动作捕捉》，获奖团队是总部位于洛杉矶的VR工作室Kite&Lightning。团队创始人之一的科里·斯特拉斯堡希望能从他们的末世题材小孩子格斗游戏《Bebylon Battle Royale》中获取婴儿角色，并开发一种可以进行实时角色动作捕捉的系统。在这样的案例中，角色出现在静止背景下，彼此之间不会互相接触，也不用四处走动，要进行身体捕捉采用姿势系统就足够了。科里身穿Xsens MVN惯性套装，使用IKINEMA LiveAction将身体数据从套装传输到Unreal Engine。为了进行面部捕捉，他将iPhoneX 绑在头盔上，用Apple ARKit将面部捕捉数据传输到Unreal Engine中。虽然上面我们介绍的这两个项目采用的都是实时系统，但本文介绍的信息同样适用于脱机工作流程。以上就是白皮书中介绍的实时表演捕捉系统的类型和两个案例。总结来说，就是在选择是综合考量位置、姿势、面部捕捉和手指捕捉系统的功能和局限性，租用或是购买系统的利弊以及价格方面的考虑。小编先为大家介绍到这里啦！如果想获得Unreal Engine这篇干货满满的《Choosing a real-time performance capture system》（挑选实时表演捕捉系统）白皮书的pdf文档，还请在CG世界公众号后台对话框输入“白皮书”并发送，就可以收到下载地址啦。![UE4官方最近发了个实时动捕的白皮书，都写的啥？中文总结版来了！ 第16张]()
![UE4官方最近发了个实时动捕的白皮书，都写的啥？中文总结版来了！ 第17张]()
![UE4官方最近发了个实时动捕的白皮书，都写的啥？中文总结版来了！ 第18张]()
CG世界粉丝观光团现已开放
B站请搜索“CG视界”
微博请扣一波@爱CG世界
如需加入CG世界粉丝交流群
请添加官方微信号ilove-cgi
欢迎热闹欢迎骚扰
