虚拟现实的位置追踪及动作捕捉技术【1】

动作捕捉 2022-12-02 27253


虚拟现实的位置追踪及动作捕捉技术【1】  第1张

【1】简介篇

位置跟踪(Positional Tracking)及动作捕捉技术可以让设备估算其相对于周围环境的位置。它使用硬件和软件的组合来实现其绝对位置的检测。位置跟踪是虚拟现实技术(VR)的基本技术,可以用六个自由度(6DOF)跟踪移动确定位置。同时,通过定位不同特征点的位置,经过分析可以得出相应的动作,实现动作捕捉


简介 Introduction

VR位置追踪跟头部追踪不同,头部追踪只记录头部的旋转(旋转追踪),位置追踪可记录VR头盔在空间中的确切位置,还能识别前/后、上/下和左/右运动。

VR位置跟踪技术为VR体验带来各种好处。它可以改变用户的视点来表现不同的行为操作,如跳跃,躲避或前倾;允许在虚拟环境中准确表示体验者的双手和其他对象。比如,通过使用手的定位来表现触摸,移动虚拟物体,以此增加物理世界和虚拟世界之间的连接;并通过分析一段时间内手的位置来检测手势。


由于视差原理(靠近眼睛的物体移动看起来比远处物体移动的快些),位置跟踪改善了虚拟环境的3D感知。视差有助于告知大脑立体空间的距离感。另外,六自由度(6DOF)位置追踪有助于减少VR体验过程中剧烈的眩晕症,这是由于眼睛所看到的输入与耳前庭系统感受到的输入之间的断裂所造成的。


目前有不同的位置跟踪方法,选择应用哪一个取决于多种因素,例如跟踪精度、所需刷新率、跟踪区域(室内还是室外)、成本、功耗、可用计算能力、跟踪对象是刚性还是柔性,以及对象是否可以改变。


VR位置跟踪技术是VR正常工作的必要条件,虚拟世界中头部或手部等物体的准确表示有助于实现沉浸感和更强烈的存在感。


VR位置追踪的方法 Methods

下面分别简单介绍下不同的VR位置追踪技术。


1. 声学跟踪 Acoustic Tracking

测量声学信号在发射器和接收器之间传播所花费的时间的方式被称为声学跟踪。一般来说,有几个发射器放置在跟踪区域,而各种接收器放置在跟踪目标上。接收机和发射机之间的距离是根据声音信号到达接收机的时间来计算的。然而,为了这个目标,系统必须知道声音信号何时被发送。如果这个物体有多个接收器放置在一个已知的位置,则可以知道刚性物体的方向。声信号到达多个接收机的时间之间的差异将提供关于物体相对于发射机的方位的数据。


声学跟踪的缺点之一是需要耗时的校准才能正常工作。由于诸如噪音的环境干扰,声学跟踪器也容易受测量误差的影响,并且无法提供较高的刷新速率。由于这些缺点,声跟踪系统通常与其他传感器(例如惯性传感器)一起使用以提供更好的精度。


美国科技公司Intersense成功开发了声学跟踪系统。

虚拟现实的位置追踪及动作捕捉技术【1】  第2张


2.  惯性追踪 Inertial Tracking

使用加速度计和陀螺仪让惯性追踪成为可能。加速度计测量线性加速度,用于计算速度和物体相对于初始点的位置。由高中物理知识可以知道,物体的位置跟时间与速度、速度和加速度之间有明确的数学关系。陀螺仪测量角速度,它是基于微机电系统(MEMS)技术的固态元件,其工作原理与机械陀螺相同。从陀螺仪提供的角速度数据中,可以计算相对于初始点的角度位置。


一方面,这种技术价格低廉,可以提供较高的刷新速率以及较低的延迟。但另一方面,由加速度计(加速度)和陀螺仪(角速度)导致的物体位置给出的值的计算(即积分和双积分)会导致位置信息的显著漂移 - 会降低该方法的准确性。所以通常需要一些纠偏方法辅助。

虚拟现实的位置追踪及动作捕捉技术【1】  第3张


3. 磁性追踪 Magnetic Tracking

这种方法测量不同方向的磁场强度来进行定位。 通常,系统具有产生磁场的基站,随着测量点和基站之间的距离增加,磁场强度逐渐减小。 此外,磁场的方向属性可以确定方向。例如,如果测量对象被旋转,则沿着各个轴的磁场分布也会被修改。


在一个受控的环境中,磁性跟踪的准确性是很好的。 然而,它可能受到传感器发射极附近的导电材料、其他器件产生的磁场以及跟踪区铁磁材料的干扰的影响。Razor Hydra运动控制器是在产品中采用这种特定类型位置跟踪的案例。


大多数头戴式显示器(HMD)和智能手机都包含检测地球磁场的IMU或磁力计。

虚拟现实的位置追踪及动作捕捉技术【1】  第4张

4.  光学追踪 Optical Tracking

对于光学跟踪,有多种方法可用。它们之间的共同点就是使用光学摄像头来收集位置信息。


跟踪标记

虚拟现实的位置追踪及动作捕捉技术【1】  第5张

这种光学跟踪方法是,使用放置在物体表面上的特定图案的标记,然后一个或多个摄像机使用算法从可见标记中提取对象的位置来寻找标记。分析摄像机检测到的内容和已知的标记图案之间的差异,算法计算被跟踪对象的位置和方向。放置在被跟踪对象中的标记图案不是随机的,需要仔细选择标记的数量、位置和排列,以便为系统提供尽可能多的信息,从而保证算法不会因为数据丢失而失效。


虚拟现实的位置追踪及动作捕捉技术【1】  第6张


有两种类型的标记:被动和主动。被动标记反射朝向光源的红外光(IR)。在这种情况下,摄像机提供从标记反射的IR信号以进行检测。主动标记是追踪物体周期性闪烁红外光并由相机检测到。两种标记之间的选择取决于几个变量,如距离、表面类型、所需的观察方向等。


跟踪可见的标记

虚拟现实的位置追踪及动作捕捉技术【1】  第7张


以预设好的排列方式放置的可见标记也用于光学跟踪。摄像机检测标记及其位置,以确定物体的位置和方向。例如,可见标记可以在跟踪区域上以特定模式放置,并且具有摄像机的HMD将使用它来计算其位置。这种类型的标记的形状和大小可以多种多样,重要的是它们需要很容易地被相机识别。

虚拟现实的位置追踪及动作捕捉技术【1】  第8张


无标记跟踪

如果物体的几何形状已知,则可以在没有标记的情况下跟踪物体。使用此方法,相机搜索并比较接收的图像与已知的3D模型,例如,比较边缘或颜色转换等,以此判断点位和角度。


深度地图跟踪

深度相机使用各种技术来创建跟踪区域中的物体距相机距离的实时地图(映射)。通过从一般深度图中提取待跟踪的对象(例如手),并分析它来执行跟踪。深度地图相机的一个应用例子是微软的Kinect。


追踪传感器融合

传感器融合是一种使用多于一种跟踪技术的方法,以改善被跟踪物体的位置和方向的检测精度。通过使用技术的组合,一种方法的缺点可以被另一种方法弥补。一个例子就是惯性跟踪和光学跟踪的结合。前者可能发生漂移,后者容易被隐藏(遮挡)标记。通过结合两者,如果标记被遮挡,则可以通过惯性跟踪器来估计位置,并且即使光学标记完全可见,惯性传感器以更高的速率提供更新,改善了整体位置跟踪。


Oculus Rift和HTC VIVE采用的追踪技术

Oculus Rift的位置跟踪与HTC Vive使用的不同。Oculus Rift采用Constellation(一种由相机跟踪的IR-LED阵列),HTC Vive采用了Valve的Lighthouse技术,这是一种基于激光的定位系统。


在Oculus Rift中,运动被限制在相机的视野范围内 - 当相机看不到足够的LED光时,软件只能依靠头盔的IMU传感器单元发送的数据。在HTC VIVE体验中,通过Valve的位置跟踪系统,跟踪区域充满了不可见光。HTC Vive使用光电传感器来检测Valve基站产生的这些不可见光,完成定位。

虚拟现实的位置追踪及动作捕捉技术【1】  第9张

(Valve定位基站)


位置追踪与智能手机

在移动VR中的位置跟踪要达到一个良好的准确性水平,依旧还有很长的路。主要是由于处理VR位置跟踪系统所需的功率要求较高,而那些使用二维码和手机相机进行跟踪与简单、直观的移动VR体验仍相抵触。目前,移动VR设备受其形状因素限制,只能跟踪用户头部的移动。 不过,许多公司仍在投资开发智能手机的精确位置跟踪系统。任何拥有VR功能手机的人将都可以使用该系统,这将有助于大众采用虚拟现实技术,释放虚拟现实的市场潜力。


位置追踪的类型 Types

  • 由内向外跟踪(Inside-out Tracking)- 跟踪摄像头被放置在正在跟踪的设备(HMD)上。

  • 由外向内跟踪(Outside-in Tracking)- 跟踪摄像头被放置在被跟踪设备(HMD)所在的外部环境中。

  • 无标记跟踪系统(Markerless Tracking) - 不使用基准标记。

  • 无标记由内向外跟踪(Markerless Inside-out Tracking) - 将无标记跟踪与有内向外的跟踪相结合。

  • 无标记由外向内跟踪 - 将无标记跟踪与外部跟踪相结合。


后面几篇文章分别介绍这几个类别,敬请关注万间科技


以上。






参考资料:

(1)http://www.roadtovr.com/introduction-positional-tracking-degrees-freedom-dof

(2)https://www.roadtovr.com/overview-of-positional-tracking-technologies-virtual-reality/

(3)https://xinreality.com/wiki/Positional_tracking#cite_note-.E2.80.9D4.E2.80.9D-4


更多资讯,点击“阅读原文”查看。



虚拟现实的位置追踪及动作捕捉技术【1】  第10张

一 个 有 深 度 的 公 众 号


虚拟现实的位置追踪及动作捕捉技术【1】  第11张

安得广厦千·万间

官方网站 : www.VanJian.com

OurBIM : www.OurBIM.com

新浪微博:@万间网络科技

今日头条:@万间科技

知乎:@万间科技




The End