动作捕捉技术综谈

Xsens动作捕捉 2023-05-08 3682

作为一名曾经的动捕工程师,现在的游戏动作从业者,简要谈谈我对动作捕捉技术的理解。以下会介绍动作捕捉的相关参数、应用领域,以及常见的动捕品牌,一家之言,欢迎讨论。

动作捕捉技术综谈  第1张

  1. 动作捕捉技术简介与相关参数

动作捕捉是对物体运动进行记录的一种手段,从技术原理上分为光学、惯性、视觉这主要的三类,这里只介绍光学动捕。

我们会在一些网络视频中看到一个挂了很多摄像头的场地,几个演员一袭黑衣,站在中间表演着各种动作,然后电脑里会有对应的骨骼运动,这就是光学动作捕捉。光学动作捕捉主要设备就是两个,一个是摄像头,另一个是反光标记球(Marker),摄像头会发出特定波长的光,经Marker反射后,每个摄像头里都有Marker的二维坐标,经软件的3D重建算法计算后,Marekr在场地里的三维坐标就能得到。摄像机以一定频率传送坐标给软件计算,那么我们就有了不同时间的Marker坐标数据,时间与坐标就是动捕系统能得到的两个原始数据,据此,软件能计算出速度、加速度矢量以及刚体的六自由度位姿信息。把这些信息导入到MotionBuilder里做修复,再导入到3dMax、Unreal等软件里与模型绑定,就能得到我们常见的动捕动画效果了。

所以频率肯定是一个动捕设备的重要参数,这一点在科研应用中尤其重要,没有高频的数据反馈,就不能达到实时的控制效果。那动捕还有那些参数呢——分辨率、像素、视场角等等,介绍起来实在复杂,我们不妨从实用性需求角度去看参数,首先是精度需求,精度越高动作越准确,体现在参数上是分辨率和像素数,懂摄影的朋友应该能明白,不做过多介绍;其次是实时反馈需求,这在科研和虚拟直播中比较重要,体现在参数上是频率和延迟,频率已经介绍过,延迟是数据从捕捉到给出坐标的时间,一般都为毫秒级别;还有就是捕捉范围需求,体现在参数上就是视场角与视距,这决定了同一片场地所需摄像头的多少,做成本控制时需要计算。

二、动作捕捉技术的应用领域

动作捕捉目前主要应用在两个领域,一个是科研,一个是文娱。大家应该对文娱领域动作捕捉的应用了解地更多一些,我们在网上看到的视频往往是动作捕捉在影视、直播方面的应用。

但动作捕捉最开始是一个科研工具,用于生物力学中的研究。在人或者其它生物身上附着Marker,捕捉其运动轨迹,计算出每个marker的运动矢量,从而得到自己想要的信息。比如医院里会集成一套设备,去捕捉患者的静态姿势和步态信息,从而对其健康状态做监测;一些体育研究所也会捕捉运动员的运动过程,从而对其竞技姿势做相应指导。

科研上除了生物力学领域,还有一种常见的应用场景是自动化领域研究。无人机集群,无人车编队的研究中需要有实时的6自由度信息反馈,以形成控制闭环。光学动捕往往是解决这一问题的较好方案。

动作捕捉技术综谈  第2张

在文娱领域,动作捕捉技术能大大提高动作资源的产出效率,并且使动作更加真实。效率问题是主要问题,一些RPG游戏中会存在大量的NPC,他们的动作相对主角并不重要,不需要炫丽的表现,但是量又会比较大,这时选用动捕设备去捕捉会有较大优势。我接触过一些音舞游戏公司和3D影视制作公司,也都有自己的动捕棚。

最近元宇宙很火,我没有做深入了解,但是接触过动捕在虚拟直播和VR领域的应用。简易的虚拟直播对设备精度的要求并不高,一套惯性动捕甚至是视觉动捕就可以解决肢体的捕捉问题,面部表情捕捉用苹果手机自带的ARKit来做就可以,在直播平台上搜虚拟主播会发现有很多这样的内容。VR领域我曾搭建过一个简单的场景,在眼镜上放几个Marker,再把坐标对应一下,人就可以在虚拟场景里自由探索了,如果手上拿了枪或者刀的模型,也可以捕捉下来对应到场景中,形成一种更有趣的交互。

三、国内外常见动捕品牌

动捕技术是国外传来的技术,知名品牌都在国外,主要有Vicon、Optitrack、Qualisys、魔神、XSens,其中Xsens是惯性动捕,其它的光学动捕各有特点,不说数据,我只从个人经验给大家勾勒一个设备画像。

Vicon是技术最强,解决方案最多的厂商,但同样价格也是最贵的,具体有多贵,可以自己去官网看看哈,一般是国企或者不差钱的大企业用,像SMG与腾讯都是用的Vicon;Optitrack已经被中国的利亚德收购,在我看来是性价比最高的,各参数都够用,重点是影视游戏领域的解决方案完善,大多数影视动捕棚配的都是这个;Qualisys解决方案主要集中在生物力学上,水下也能做,算是冷门中的高手吧;魔神已经死了,我说的哈哈。

国内光学动捕从南到北主要有三家,瑞立视、青瞳视觉、度量科技,其它还有不少我背不过来了,不过这不重要,国内的设备主要特点就是便宜,但稳定性和解决方案的丰富度会差些,毕竟外国的动捕技术发展那么多年,肯定成熟一些。惯性的有诺亦腾,印象一直不错的。

The End