MOCAP动作捕捉系统技术回顾

动作捕捉 2022-10-07 18696

MOCAP是motion caputre的缩写,中文翻译为 动作捕捉动作采集

MOCAP并不是一项很新的技术,被大众所了解源于好莱坞电影制作花絮,实际上动作采集系统除了活跃在电影工业外,在很多领域也大有用武之地,如:

高水平体育竞技训练

事故分析

医疗(骨骼矫正)

军事设备(飞行头盔数据链)

工业定位系统(机器人)

科学研究等

MOCAP动作捕捉系统技术回顾  第1张

MOCAP系统从原理上分机械式,电磁式,光学式,下面重点说说应用范围最广的光学动作捕捉系统。

大型光学捕捉系统基本被两家公司垄断,英国的Vicon 美国的MAC, 现在看起来Vicon公司发展的更好。


1 设备构成

光学动作捕捉系统是由一组多个摄像头 + 信号处理计算机 + 数据输出软件构成。

光学MOCAP系统工作的时候,传感器以特定频率(fps 60-1000)定位空间中运动的反光点,并在时间轴上连续记录下反光点3d坐标。


常见MOCAP摄像头数量组合为8,12,16,24,32,摄像机数量的增加可以增大有效动作采集空间(体积),提高动作数据质量。

理论上只要三个摄像头同时看到一个采集点就可以定位该点坐标,实际工作中情况会复杂一些,

比如采集点marker需要不间断的动态连续跟踪,marker会有半遮挡 或 完全遮挡等多种情况,所以让较多的摄像头同时看到特定的采集点有助于提高采集数据质量。

MOCAP动作捕捉系统技术回顾  第2张

MOCAP所用的摄像头只接收特定波长的红外线,并在镜头位置加装了红外led阵列光源,以增强采集追踪点的反射信号。


2 工作流程

a.摄像头安装调试校正

下图是一个典型16个摄像头MOCAP系统安装图(代补充)


b.动作采集

c.数据前期处理

d.数据后期处理

e.数据倒入CG角色


3 相关软件

MOCAP系统采集数据和数据前期处理一般用厂商自带软件,

前期数据处理完毕导入第三方软件进行数据后期处理

较早的MOCAP数据处理软件代表是Kaydara公司的filmbox(由当年几个softimage离职的工程师创建,后被Autodesk收购软件更名为motionbuilder)

filmbox可以将marker动作数据重定向赋予给定骨架,然后输出到cg软件,现在很多第三方软件可以对动作数据进行剪辑拼合。

跑个题,filmbox的文件格式是fbx,最初主要针对动作数据,时隔多年,fbx文件已经演变成CG领域的标准数据交换格式,这可能是当年Kaydara的工程师没想到的吧


4 数据后期处理完毕导入cg软年后传给skin好的角色模型

MOCAP动作捕捉系统技术回顾  第3张



最后分享几条MOCAP安装使用小经验

1.尽量不要使用国产相机云台,对于专门的动作采集场地,摄像头安装调试完毕需要固定,用国产云台如果拧的太紧会把云台金属受力件拧断(本人拧断过好几个国产云台,断口明显有沙眼和粗金属颗粒,铸件金属材料不过关)如果不敢拧的太紧几天后校正好的摄像头便会在重力作用下滑动,出现偏差,类似于建筑物沉降。


2.莫名误差导致因素,曾在一个新场地安装动作采集系统,反复校正误差总是不收敛。折腾了好几天才发现问题所在,由于大型MOCAP场地长宽跨度较大,十几二十米,长度方向两端地面有好几厘米高差,不是水平面


3.防雨,固定的MOCAP场地,特别是两层或三层的通顶建筑一定记得防雨,因为这种大型通顶房间漏雨概率较大(不知道为什么,在北京和上海碰到过三次这种情况)


4.MOCAP工程师不是一个好职业,既需要一定的cg技术背景,又要熟悉编程技术,不然海量数据靠人上效率太低,另外设备安装调试是体力活需要跳上爬下,很多摄像头安装高度三四米,数据采集后修复枯燥脑力活

国内MOCAP市场业务不饱和,忙会忙死,闲会闲死,如果做专职MOCAP,你懂的...

另外设备调试过程遇到人手不足,需要自己换衣服粘maker上,肢体动作采集还好,面部动作采集相机矫正需要贴一脸marker,摘下来时候有惊喜...

面部数据采集 设备调试 自娱自乐(Vicon)

MOCAP动作捕捉系统技术回顾  第4张
MOCAP动作捕捉系统技术回顾  第5张


肢体动作采集,设备调试 自娱自乐(MAC)

MOCAP动作捕捉系统技术回顾  第6张

The End