从动作捕捉到面部捕捉,为图像赋予生命的方式
2015年,在春晚舞台上,首次出现了一个虚拟主持人阳阳,通过电视观看春晚的观众,大都感受到了阳阳的可爱与神奇,七维科技让阳阳“走”上春晚舞台,从开始设计、制作到最后的实战参与播出,历经了几个月的时间,最后终于完美的呈现在了大家面前。
我们从视频中看到,阳阳所有做的动作是由演员身着动捕系统做动作,再把动作匹配到阳阳身上,这样演员和阳阳的动作就一致了,刘纯燕老师负责阳阳的配音工作,我们可以看到为了让阳阳更加真实,通过面部捕捉,我们把刘纯燕老师的表情与阳阳匹配,让阳阳拥有丰富的表情。
同在2014年CCTV5的《我爱世界杯》节目,相信在世界杯期间很多人看了这个节目,在这个节目中,几个增强现实的球员与大家互动,其实这几个增强现实球员的动作并不是制作出来的,也是由后台演员通过动捕系统做出的。
在2017年,《快乐大本营》节目组找到了我们,他们在二十周年特别节目邀请了快本四位主持人的家人,希望他们的出场方式可以通过科技手段变得能更特别一些。七维科技同时展示四个虚拟人物及管理他们的动作捕捉、面部捕捉,最后在舞台上精彩呈现出来。
动作捕捉,是指记录并处理人或其他物体动作的技术。多个摄影机捕捉真实演员的动作后,将这些动作还原并渲染至相应的虚拟形象身上。这个过程的技术运用即动作捕捉,演员只不过是动作的提供者。对于面部捕捉,顾名思义,就是把演员的面部表情捕捉到,渲染至虚拟的面孔上。
现在市面上的动捕产品分两大类,一是光学动捕,还有一个是惯性动捕,光学动作捕捉依靠一整套精密而复杂的光学摄像头来实现,它通过计算机视觉原理,由多个高速摄像机从不同角度对目标特征点进行跟踪来完成全身的动作的捕捉。美国大片中的后期特效制作大都是用的这种光学式动捕技术。
下面就来介绍几个优秀的光学动捕的公司,我们一起来了解一下。
英国Vicon——全球顶尖级动作捕捉大师,Vicon的红外三维运动捕捉系统,可以进行运动采集与分析系统,可同时实现高分辨率与高采样频率,并且实时三维运动捕捉效果好、功能强,广泛应用于体育训练、人体工程学研究、生物力学研究、动画制作、互动式游戏等领域。
OptiTrack Arena是一款直观的动作捕捉软件,结合了数据捕捉、编辑和输出等功能。运动捕捉技术可以给动画人物赋予自然逼真的动作效果,但通常设备安装比较复杂,需要进行大量的人员培训,而且还必须由多个操作人员共同协作完成。借助OptiTrack ARENA软件,用户既可以充当操作员又可以做演员,提供了空前的灵活性。
上海青瞳视觉科技有限公司自主研发的工业级红外光学位置追踪系统处于世界领先水平,广泛应用于军工,医疗,教育科研,生命科学工程,虚拟仿真,影视特技与三维动画游戏制作等领域。
激光式动作捕捉系统的研发企业北京国承万通信息科技有限公司自主研发了一套新的动作捕捉算法,用IK+室内激光定位技术做主动作捕捉算法,具有适应性强,抗干扰抗遮挡,成本较低等优势,实现了一套无需校准,实时、1:1精准的动作捕捉,最高刷新率达330赫兹,具有低延迟、高还原度的动作捕捉系统.
RTS Active是基于运动捕捉摄像机的主动式光学定位系统。该系统使用主动发光的红外LED作为标记点,通过基站为刚体分配ID,多台运动捕捉相机拍摄该发光的LED,获取精准稳定的3D标记点数据后重构刚体,实现刚体的跟踪与定位。Active拥有100万以上像素,210FPS的帧速,亚毫米级的重建精度。
再说到惯性动捕,是根据反向运动学原理测算出人体关节的位置,并将数据施加到相应的骨骼上。采用惯性传感器,可以对人体主要骨骼部位的运动进行实时测量。物理惯性传感器和连接线的外壳具有温度补偿和防水的特性,适合在水下、雨中、或冷热气候中使用,只要是有生物的地方,运动捕捉服都可以正常使用。
国内外有很多优秀的惯性动捕公司,下面给大家介绍几个:
Xsens 是 3D 运动跟踪技术和产品领域的领先创新产商。其传感器融合技术实现了消费类设备和专业应用中现实和数字世界之间的无缝交互,例如 3D 角色动画、运动分析、工业控制和稳定等应用。
MVN是一款便携式全身动作捕捉解决方案,无需使用摄像机即可对人体动作进行捕捉,具有灵活性强的特点,无论在室内室外均可使用。MVN动作捕捉流程不用进行过多的调节,避免了信号阻挡或者标记物丢失的问题。MVN采用先进的微型惯性传感器、生物力学模型、以及传感器融合算法。
Perception Neuron是诺亦腾推出的轻量级动作捕捉系统,具有轻便易用的特性,小巧的Neuron传感器节点是Perception Neuron的核心。从3个节点到32个节点,你可以随心配置Perception Neuron的节点数量,从单纯的手臂动作到精细到手指的全身动作,你都可以用它来捕捉。
FOHEART C1动作捕捉设备,全无线设计方案,小巧轻薄,便于穿戴,适用于室内外环境,不受光照的影响,具有精准度高、可靠性强节点体积小产品性价比高等优势。
最后再介绍几个国内外拥有优秀面部捕捉产品的公司
Faceware是全球领先的单摄像机、无标记点的面部表情捕捉系统供应商,支持无线数据传输,兼容任意视频源,实时预览表情动画,捕捉效果精细,人性化的软件功能设计,迄今已为全球数百位专业用户提供先进的无标记点式面部表情捕捉解决方案,广泛应用于影视特效和AAA游戏制作。
Dynamixyz表情捕捉系统 是一套应用于游戏、电视广告、电影制作等领域的无标记面部表情分析系统。借助可定制的表情捕获头盔、表情分析模块和面部表情重定位模块的配合,将面部表情捕获数据实时反馈到3D模型中,实时生成虚拟角色的面部动画。
七维科技研发的ViFace可以轻松从扫描真实人物获取面部表情并添加到三维脸膜上,除超高精准度外且无延时,在从跟踪的图像中提取所需要的数据记录下来,同时 ViFace 与 ViFace for Maya通过网络数据流来同步产品主平台中呈现的面部跟踪进行连接,可用作制作影视或游戏里的动画模型面部表情,对中低成本的影片非常友好,也可以面向大众进行个性化制作。
不论是动作捕捉还是面部捕捉在影视行业一直都是非常实用的技术。在行业内,科技的作用注定是让制作变得更加便捷,在内容多样化的今天,我们每一个人都成为了创作者,未来要做的就是不断让想象变为现实,让技术变成快速推动行业发展的助推器。
往期精彩内容:
ViBox | ViTraq | ViFace | ViPano