动作捕捉技术助推虚拟人直播的火爆

Xsens动作捕捉 2023-05-08 4441

随着元宇宙概念大热,作为元宇宙入口的虚拟人借着作为基础设施的东风,一下子站到风口浪尖上。特别是在内卷化严重的MCN主播市场中,虚拟人的出现,解决了IP不稳定、不愿出镜、差异化竞争等难题,甚至被认为是草根主播逆袭的契机。值得注意的是,虚拟人展现的不只是热度,更让大家看到了其背后技术的越加成熟。

动作捕捉技术助推虚拟人直播的火爆  第1张

因为虚拟人是一个复杂的技术体系,需要美术、开发、算法等跨学科、跨领域合作。外在方面,虚拟人需要人物建模、语音合成技术、动画生成、电脑动画渲染技术等;内在则需要人工智能或者真人来驱动,这将涉及3D建模、动作捕捉、实时渲染、深度学习等技术。因此提及虚拟人,除了内容端的形象设计建模、渲染外,决定虚拟人灵活性、稳定性的就是动作捕捉技术

动作捕捉的出现,使虚拟人的交互方式从二维界面跨到了三维空间,让虚拟人的应用领域越来越广。动捕技术在“元宇宙”中连接真人和虚拟世界,借助它可重建和增强虚拟世界的体验感。它能让你的虚拟分身在元宇宙中和其他人保持自然的交流。根据实时捕捉人物表演的能力,可以借助虚拟形象进行实时互动,增强虚拟交互体验,让品牌和企业可借助产品优势,将创意表达出来,实现创作自由。

那具体什么是动作捕捉呢?

动作捕捉就是对人体或者其他物体在真实三维空间当中的运动轨迹进行跟踪、测量以及记录,然后将记录下来的数据进行简单的处理,最终借助计算机在虚拟的三维空间当中重建虚拟角色的一种高新技术,也就是虚拟形象。这就是虚拟形象动作捕捉的基本原理,另外市面上有很多虚拟形象动作捕捉设备,该怎么选择呢?

一、激光+惯性:易搭建、易携带

在动捕方案出现之前,虚拟人主播在窗口前很容易“掉链子”,或是突然形象崩塌,或是大幅动作“穿帮”,因此,不得不小心翼翼。有了“激光+惯性”动捕技术的加持,主播在直播间里跳舞、倒立、翻跟头等,都能流畅完成,表演形式就丰富了很多。“激光+惯性”还有超强稳定性的优势,连续直播10小时都不会拉胯,不需要矫正复位等多余的操作。另外值得一提的是,这一动捕技术性价比极高,使用门槛极低,对空间要求也很低,主播如果想换个“场子”,拎着箱子出去,在任意小空间都可以灵活搭建,非常方便。

动作捕捉技术助推虚拟人直播的火爆  第2张

二、惯性:成本低廉,但短板很明显,需15分钟矫正

目前,应用在虚拟直播上的惯性动作捕捉技术占主流。从原理上讲,是将惯性传感器应用到数据采集端,通过惯性原理对数据进行处理,从而完成运动目标的姿态角度测量。好处是,成本相对低廉,短板也非常突出,误差比较大,重复精度比较低。因为动作捕捉数据由推算而来,所以绝对位置的数据精准度非常低。比如主播回到原点后,虚拟人极有可能回不到最初的原点。数据误差不断积累的话,就需要每15分钟复位矫正一次设备。所以,主播不管是跳舞、走动,上限时间是15分钟左右,之后主播不得不回到座椅上“休息”一下,实际上是为了复位校正。再者,使用惯性动捕时,如果周边数码设备较多,存在电磁信号干扰,很可能导致虚拟人会突然姿态崩溃、失控。

三、光学相机:影视级别效果,搭建复杂,可移动性差

最后一类是光学相机动捕技术,这一流派并不陌生,在《阿凡达》等好莱坞大片中,有着广泛应用。技术原理上是通过多个红外发射摄像头,对室内空间进行覆盖,在被追踪物体上放置反光点,通过捕捉这些反光点反射回来的图像,确定其在空间中的位置信息。优势是影视级别效果,这自然是所有虚拟主播所追求的目标,品质体验上对粉丝更为友好。但可惜的是,价格极高,而且操作起来相当复杂,需要进行长时间培训。无法实现快速搭建,搭建完成后不能轻易“挪动”,可移动性差,需要专业人员定期维护。

虚拟人面向的未来场景更多元,不仅仅存在于直播间,所以采用哪类技术,还要结合自身开发定位。随着技术的不断迭代,相信可以助推虚拟人乃至元宇宙更加快速的发展。

The End