虚拟现实的位置追踪及动作捕捉技术【3】

Xsens动作捕捉 2022-12-02 10660

虚拟现实的位置追踪及动作捕捉技术【3】  第1张


【3】Markerless Inside-out Tracking(无标记式由内向外追踪)


位置跟踪(Positional Tracking)及动作捕捉技术是虚拟现实、增强现实以及混合现实的基础技术要求。此篇文章继续深入,介绍VR位置追踪技术的的发展趋势,即无标记式由内向外的定位追踪系统。


虚拟现实的位置追踪及动作捕捉技术【3】  第2张


前面文章回顾:

虚拟现实的位置追踪及动作捕捉技术【1】

虚拟现实的位置追踪及动作捕捉技术【2】

简介 Introduction

位置追踪是虚拟现实(VR)和增强现实(AR)技术的重要组成部分,有助于提高沉浸感和临场感。它决定了虚拟环境中物体的位置和方向。在VR场景中,位置追踪技术可以将体验者在真实环境中的运动转换同步到虚拟场景中去;而在AR中,它对于将数字内容放置到真实物体或空间中起着至关重要的的作用。无标记的由内向外追踪是一个复合术语,它定义了一种使用两种特定方法的位置追踪形式:无标记式追踪由内向外追踪


无标记追踪(Markerless)是一种避免使用标记(基准标记)的运动追踪方法。这些标记通常放置在环境中或头戴式显示器(HMD)中,帮助系统确定用户或相机的位置。无标记方法使用已经存在于环境中的自然特征属性来进行跟踪。因为不需要专门准备好标记的环境,这种方法更加灵活、有效。计算机视觉技术应用成本的下降,使无标记追踪方法越来越成为有吸引力的选择。然而,它仍存在一些问题,如运动模糊和快速运动影响跟踪精度。它的规模化使用还要求在精度和效率之间进行取舍。


由内向外(Inside-out)是一个术语,它定义相机或其他传感器相对于被跟踪物体的位置。例如,如果它们被放置在HMD外部的固定位置,则被认为是外部(由外向内的)跟踪;从里到外,就是相机被放置在HMD中。它简化了VR体验环境的设置,并且不受限于特定的空间,从而允许用户有更大的活动自由度,所以大家对从内向外追踪技术越来越感兴趣。从内到外的位置追踪有可能使VR完全无线、更方便、体验更易上手。有些人甚至说,由内向外追踪是VR场景的“圣杯”。


通过由内向外追踪技术,其所收集的运动数据通常由头盔来处理,用户在一个房间内的可移动性提高。另外,传感器也可以连接到由用户携带的计算机上,或者信号被无线发送到固定的处理单元去。但是由内到外的追踪旨在提供更多的体验活动自由度,所以最优解决方案是VR头盔就能提供所有的计算处理能力。


目前,无标记追踪技术越来越有吸引力。尽管基于标记的系统在准确性和延迟方面表现的仍然更好,企业在研究和开发无标记追踪方面已经有了巨大的投资,它将成为越来越领先的位置追踪技术。事实上,它已经成为2017年的VR大趋势。


以前,高端VR头盔使用外部摄像头或外部标记来计算用户在空间中的位置并将其转化到VR虚拟环境中去,而移动VR系统没有空间位置跟踪。无标记技术不仅可以简化高端VR头盔的设置,而且可以扩展移动VR系统的功能。


不少企业已开始提供这种由内向外的无标记定位追踪系统。

微软一直在投入这项技术,用在包括HoloLens和最近推出的Windows Mixed Reality系列头盔上。

Oculus已经宣布了一款名为Santa Cruz的基于无标记定位技术的VR一体机产品。

高通的835参照头盔也旨在帮助其他VR头盔制造商建立自己的无标记定位追踪系统。

英特尔展示了一个版本的Project Alloy - 一个使用无标记追踪的“融合现实”头盔。

Google推出了名为WorldSense的无标记追踪系统,旨在与Daydream平台的VR头盔一起使用。


优势 Advantages 

使用无标记式由内向外定位系统的好处来自每个跟踪方法的优点。


无标记系统的主要优点是自由:给用户增加了可移动性。虽然基于标记的系统提供了很高的准确性,但它们需要外部传感器。在无标记系统中,计算机可以根据感知的深度和加速度等信号来计算头盔的位置,无需固定的参照点。


另一个优点是,无标记系统不会受空间遮挡的影响。遮挡问题经常发生在基于标记的系统中,当用户离开外部相机的视野时,遮挡就会造成的信号的丢失。


另一方面,独立于外部相机或传感器就能确定方向和位置的VR设备,可以提供更深入的沉浸感,没有线缆束缚。最后,无标记技术对于增强现实和混合现实应用也是必不可少的,因为AR和MR应用需要更高的可移动性要求。


目前,虽然还在不断改进,无标记的由内向外定位系统仍然缺乏准确性,延迟较高。它需要良好的计算机视觉技术储备,这是目前它仍远远落后于从外向内定位解决方案的原因。另一个缺点,与从内向外追踪相关,所有的计算工作必须由头盔来完成,但目前头盔的数据处理能力还有限。


总结优势如下:

(1)无标记系统 Markerless

  • 可以在没有专门布置过的环境中工作;

  • 没有特殊的附属硬件要求;

  • 没有基准标记物;

  • 能够使用环境的自然特征来计算位置和方向;

  • 增加移动性和自由度;

  • 不受物体遮挡的影响;

  • 提供更深的沉浸感,因为用户不被线缆束缚。

(2)从内向外定位 Inside-out

  • 不需要外部传感器和线缆,只需要一个光发射器。


Project Tango &Project Alloy

Tango是Google的一个研究项目,旨在希望赋予智能手机和其他移动设备空间定位的能力。这是一个软件+硬件的解决方案,提供从内到外追踪技术和无标记跟踪技术。


根据Google Tango的工程总监Johnny Lee的说法,“正如你所看到的,(从内向外的位置跟踪)在这款手机上显然是有效的......我们甚至已经有人将带有内置Tango的平板电脑大小的设备绑定到定制的VR头盔中, 其位置跟踪和在这里演示的一样......唯一真正还没攻克的是散热问题。现在,如果我们要求他们以90 fps的速度运行位置跟踪和分屏幕立体图像,手机就会变得太热。随着Daydream的成熟和Tango的不断改进,追踪问题的复杂性也将在未来2 - 3年内发展,得到解决”。


在2016年,英特尔宣布了Project Alloy的VR系统。这也是一个无标记的从内向外的追踪设备。在CES 2017期间,英特尔展示了该项目的开发工具包。 Project Alloy使用称为Intel RealSense的微型相机阵列。这些相机能够生成环境的3D地图(例如房间)和其中的物体。头盔不需要电线,由电池供电。

虚拟现实的位置追踪及动作捕捉技术【3】  第3张


未来发展

具有完美精度的由内向外定位系统被认为是位置追踪问题的“圣杯”。虽然预计未来这种技术将会有很大的发展,但目前作为高端虚拟现实系统的最佳解决方案,由外向内的定位追踪系统将继续存在。这个特定的高端市场可能将是最后引入由内向外追踪系统的。


增强现实系统的应用也可能推动由内向外定位系统的使用,因为这些AR系统需要高度的可移动性。Eonite首席执行官尤西里·赫米(Youssri Helmy)在提到Inside-out Tracking时表示:“这是必须发生的。我们认为这是至关重要的,它就像鼠标和电脑图形界面的发明一样。”


无标记式由内向外定位的设备

  • Meta2

  • Microsoft HoloLens

  • HTC VIVE Focus


无标记式由内向外定位系统

  • Oculus Santa Cruz - Oculus VR

  • Project Alloy - 英特尔

  • Snapdragon VR - 高通

  • Tango - 谷歌

  • Windows MR Tracking - 微软

  • WorldSense - Google为Daydream一体式VR设备打造的定位系统


后续文章将继续更新介绍VR相关底层技术,敬请关注万间科技


以上。






参考资料:

(1)https://xinreality.com/wiki/Markerless_inside-out_tracking

(2)https://vrguy.blogspot.pt/2014/08/positional-tracking-outside-in-vs.html

(3)https://www.wareable.com/vr/inside-out-vs-outside-in-vr-tracking-343

更多资讯,点击“阅读原文”查看。


虚拟现实的位置追踪及动作捕捉技术【3】  第4张

一 个 有 深 度 的 公 众 号


虚拟现实的位置追踪及动作捕捉技术【3】  第5张

安得广厦千·万间

官方网站 : www.VanJian.com

OurBIM : www.OurBIM.com

新浪微博:@万间网络科技

今日头条:@万间科技

知乎:@万间科技



The End