VR的硬件技术(4)—— 运动检测技术篇

动作捕捉 2023-03-31 9864

VR中的传感设备主要包括两部分:一部分用于人机交互而穿戴于操作者身上的立体头盔显示器、数据手套、数据衣等,另一部分是用于正确感知而设置在现实环境中的各种视觉、听觉、触觉、力觉等。这些传感器的协同作用才能实现在VR中的沉浸式体验。

1.人机交互

1.1体感手套

公司:Dexta Robotics; Gest

https://www.dextarobotics.com/product

https://gest.co/

触觉感应手套——SenseGlove Nova

1.2体感服

公司:

Teslasuit

https://teslasuit.io/

bHaptics: Tactsuit X

2.动作捕捉

2.1光学动捕方案

光学动捕方案是通过计算机视觉技术来分析摄像机抓取的人体关键运动部位的动作。由于光学动捕方案容易被物体遮挡或是受到光照条件的影响,所以应用在影视领域的光学动捕系统一般都会在一个偌大的摄影棚里架设上一圈高性能摄像机,并让动作演员穿上拥有许多光标点的动作捕捉服才能工作。正式由于对场地的要求以及需要大量的高性能摄像机,这类方案的整体价格非常之高,往往都在数百万元之间,所以基本也只有财大气粗的电影剧组有钱使用。

VR的硬件技术(4)—— 运动检测技术篇  第2张

虽然影视级的光学动捕方案拥有绝佳的精准与效果,但是诸多的环境要求以及高昂的售价就决定了光学动捕方案难以在普通消费者市场进行推广。微软在2010年则为其Xbox游戏机推出了一款名为Kinect的体感摄像头,允许站在其前面的玩家通过简单动作进行游戏。这种摄像头般拥有两个或以上的摄像头,能够感知画面的深度(距离)信息,因此一般被称为深度摄像头或者双目摄像头。深度摄像头能够识别环境的距离信息,再通过相应的算法就能够识别出人类的简单动作或者是手势。

VR的硬件技术(4)—— 运动检测技术篇  第3张

在微软将这一技术推向消费市场之后,深度摄像头这类低水平光学动捕技术逐渐推广开来,几乎所有手势识别、动作识别或是体感交互的技术都是基于这种原理,本文所有提及的所有VR光学动捕技术一律指基于深度摄像头的光学动捕技术。

光学动捕领域主要企业

微软
微软在2010年11月为Xbox游戏机推出了名为Kinect的体感交互外设,让玩家不再需要手柄,仅仅是站在电视机前通过自己的身体动作即可进行游戏,正式这款设备让全球玩家们首次认识到了体感交互的魅力,直到现在,一提起体感交互,微软Kinect都是一个绕不开的名字,从某种程度上说,微软几乎就是消费级体感交互设备的鼻祖。而在VR技术兴起之后,微软又研发了AR眼镜Hololens。由于搭载有深度摄像头,用户可以通过手势对其进行操作。

英特尔
英特尔在2014年正式推出了RealSense技术方案,该方案包括一个深度摄像头模块以及配套的软件、SDK等内容,并希望让电脑、手机、无人机、机器人、汽车等所有设备都用上体感交互技术。英特尔在这之后一直努力想要激活整个信息产业的力量去推广RealSense方案,在16年推出了一款名为Alloy的VR头显,在这个头显上增加RealSense模块之后,Alloy的用户能够实现无需任何外设的前提下实现空间定位以及手势交互的功能。但是该项目在17年就夭折了。

Leap Motion
Leap Motion的产品最开始主要面向PC领域,用户将PC与Leap Motion的摄像模块连接之后,就可以在这个模块上面通过手势进行操了。但是由于体感交互对于PC的用处暂时不大,Leap Motion又将目光转向了VR领域,希望能够旗下的产品整合进VR头显上面,曾经暴风旗下VR盒子暴风魔境5Plus已经采用了这一模块。

VR的硬件技术(4)—— 运动检测技术篇  第4张

uSens淩感——中国版Leap Motion
uSens淩感于2013年中旬成立于硅谷,在完成初期的算法与硬件开发之后,又相继在杭州、北京、深圳三地设立了分部,并先后获得了由IDG领投的550万美元Pre-A以及由复星昆仲领投的2000万美元A轮融资,在光学方案新秀里面,其融资额直逼Leap Motion。
uSense于近期京刚刚发布了旗下名为“Fingo”的体感交互方案,包括三款硬件以及配套的SDK,能够实现手势识别、位置追踪以及AR/VR场景切换三大功能。

2.2 惯性动捕方案——惯性测量单元(IMU)

惯性动捕方案通过IMU惯性传感器单元对人体关键运动部位的动作进行测量。惯性动捕技术的核心部件IMU惯性单元其实就是整合了陀螺仪、加速规以及磁力计的传感器模块,其一个模块的价格甚至可以低至十几块钱,并且比光学动捕方案拥有更高的帧速率也不受场地与光照条件的限制,但是惯性动捕方案也有一个弊端,就是通过各种传感器的数据测算出的动作数据会有一些误差,而随着使用时间增长,这些误差也会被持续放大,而影视级光学动捕方案则不存在这个问题。

加速规

加速规(英语:accelerometer),又称加速计、加速针、加速度传感器、重力加速度传感器等等,是测量加速度的设备。相对于远距感测的设备,它测量的是自身的运动。

陀螺仪

陀螺仪是用高速回转体的动量矩敏感壳体相对惯性空间绕正交于自转轴的一个或二个轴的角运动检测装置。它的应用可以测量出VR设备的倾斜角度及倾斜方向。从而更好地捕获动作。陀螺仪为VR设备显示器里的景象随着人头部的运动而实时发生变化提供定位信息。例如,当你穿戴着VR设备向上看时,眼睛里的显示器,需要向你实时地显示虚拟世界中的天空,当你回头时,显示器则需要向你展示身后的景象,模拟真正的回头。

磁力计

可用于测试磁场强度和方向,定位设备的方位,磁力计的原理跟指南针原理类似,可以测量出当前设备与东南西北四个方向上的夹角。

磁力计的原理就是使用霍尔元件的原理测量磁场的传感器。霍尔元件只能测量一个方向的磁场,所以磁力计要在空间中测量磁场的话要使用三个方向的霍尔传感器测量到三个正交的方向的磁场后合成一个合磁场,再使用这个合磁场的方向和地磁场的方向做对比从而可以获得传感器自身的方向和姿态。

3/6/9DOF:

3DOF

3自由度(3DOF) 是指戴着VR头显的玩家的头部回转动作,即上下(X轴)、左右(Y轴)、前后(Z轴)回转动作。3DOF的VR眼镜可以检测到头部向不同方向的自由转动,但是不能检测到头部的前后左右的空间位移。3DOF的VR设备可以用来看VR电影。

VR的硬件技术(4)—— 运动检测技术篇  第5张

6DOF

6自由度(6DOF)在3DoF的基础上添加了身体的上下、左右、前后动作。6DOF的VR设眼镜除了检测头部的转动带来的视野角度变化外,还能够检测到由于身体移动带来的上下前后左右位移的变化。6DOF由一个三轴加速度计和一个三轴陀螺仪组成。

VR的硬件技术(4)—— 运动检测技术篇  第6张

9DOF

9DOF是由三轴加速度计,2个三轴陀螺仪和磁力计组成。由于6DOF在设备移动时加速规会捕获先行加速度,破坏倾斜校正的水平度估计,因此9DOF在6DOF基础上增加一个三轴陀螺仪,补充6DOF计算的定向角度,减少测量误差。

得益于第三传感器和传感器融合算法,9DOF 可以收集三个传感器的最佳数据,利用其他传感器识别数据进行更为准确的倾斜误差补偿。它为VR头显提供了精确,低噪,平滑且灵敏的设备角度、旋转速度、线性加速度、重力和磁场;同时提供了传感器校准功能;并且能更弹性地处理磁场干扰问题。使得能提供远超单个传感器贡献的总和,这是传感器融合的价值。

动捕方案

Kaaya Tech发布全身动捕套装HoloSuit

Kaaya Tech发布了一套拥有全身追踪技术的VR设备HoloSuit。其并未采用外部摄像头追踪定位系统,而是通过嵌入式的传感器完成所有追踪与动捕处理。

HoloSuit设备高级版拥有36个传感器、9个触觉反馈装置以及6个控制键位,分布在一对具备手指追踪机能的手套、一条包裹脚部的长裤以及一件包裹头部的外套上;售价1599美元。而标准版套装,在完整保留反馈系统和控制键的基础上,将传感器的数量减少到26个;售价999美元。

The End