6个“微型惯性运动传感器”实现虚拟现实

Xsens动作捕捉 2022-10-03 12277

2016年左右，虚拟现实曾掀起过一次行业热浪，被业内人士称为“VR元年”，但受制于技术的不成熟、应用生态的缺乏等原因，近几年显得有些冷淡。随着自动驾驶、无人机、虚拟主播等新兴领域越来越走近大众视野，虚拟现实技术发展的迫切性更加凸显。

我们生活中接触到最多的虚拟现实应用大概就是VR电影和游戏，这类电影制作花絮中我们一般见到的制作场景是这样的：

虚拟世界里的人物能够做到现实人物动作的复刻主要是基于动作捕捉技术。

近期，来自清华大学北京信息科学与技术国家研究中心和软件学院的徐枫团队，推出了一项惯性动作捕捉新技术。

科学家介绍

徐枫，清华大学软件学院副教授，国家优青，CAAI副秘书长。主要研究领域包括人工智能、智慧医疗、虚拟/增强现实等。在相关领域发表论文40余篇，获授权中国/美国专利10余项，获省部级技术发明奖2项，担任Pacific Graphics，Symposium on Graphics等国际会议程序委员会委员，担任CAAI Transactions on Intelligent Technology青年编委等。

我们从研究团队实验视频中可以看到：

两人乒乓球对打动作流畅的被右下角电脑捕捉到，但并未看到房间内有拍摄或其他设备。

通过视频中的标记才发现，原来两人身上各自佩戴了6个小型惯性无线传感器。

惯性捕捉相较于应用较多的光学捕捉具有便携、采样快的特点，但通常需要穿戴多达17个传感器组成数据服，基本无法在日常生活中使用。这项新的惯性运动捕捉技术，只运用6个微型惯性运动传感器便实现了动作精确捕捉。较少的佩戴设备既降低了成本，也不会对人体运动产生太大的干扰。

目前捕捉技术里应用和发展最成熟的是光学捕捉，它是通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务，因信号精度高常应用于VR电影、游戏制作等。

然而这类捕捉技术需要搭建特定的空间，固定多个相机拍摄，成本昂贵，对表演者限制也较大。另外也有只靠相机无需光点的光学式捕捉技术，但捕捉精度又会降低。

惯性运动捕捉新技术克服了场地和相机的限制，无需搭建场地，信号直接传入电脑。

腿部动作是捕捉中较为困难的部分，如健身环只能简单地检测到抬腿，再模拟成游戏中固定的腿部动画，或借用游戏中的交通工具。

新技术不仅可以捕捉腿部动作，还可实时捕捉跳跃、蹲爬、跨越障碍甚至躺下打滚，帧数都是90fps，精确度不受任何影响。

障碍物遮挡也是各类捕捉技术要解决的难题，一旦有遮挡便无法捕捉到信号。

新技术不仅不受环境障碍物的遮挡影响，对照明条件也没有要求，夜间也可以捕捉。

长距离移动也没有问题。

当然除了光学捕捉、惯性捕捉之外，还存在机械式捕捉、声学捕捉、电磁式捕捉等技术，然而因使用复杂、技术不成熟等原因难以实际应用。

惯性运动捕捉应用领域，荷兰的Xsens公司处于市场垄断地位，其核心软件和硬件技术紧追创新前沿，然而因垄断而致使价格昂贵，与成本价值过于不匹配，小规模制作团队和个人应用难以普及。

惯性动作捕捉新技术，可以弥补国内市场上的技术空白，打破独家垄断局面，实现惯性动作捕捉商业广泛应用的技术支持。

这项创新技术的实现依靠深度学习。

深度学习是依靠数据进行，并原创了双向循环神经网络(biRNN)的技术方法。运动具有时间性，上一秒和下一秒的动作不一定相同，但拥有基本的轨迹。该技术方法不仅可以有效的定位运动信号，还能测算运动函数，实现预测运动轨迹，保证动作捕捉的流畅。

在具体研究实验中，团队收集和采集大量人体运动数据及测量信号数据，从中找寻测量信号和运动姿态之间的关系。将动作捕捉任务分解为姿态估计和运动估计。对于姿态估计任务，研究团队将其拆分成3个子任务。先从惯性数据估计出5个人体末端关节（头部、手、脚）的位置，再细化成人体全部23个关节的位置，最后通过反向动力学 (IK)求解得到关节旋转，即人体姿态。