实测 Quet手势识别功能评测

文 | 悔不该杀了华佗

在12月12日，Oculus宣布在V12测试版本中推出Quest的手势追踪。而今日，Oculus Quest正式开放了手势追踪SDK。现在，开发者们可以在他们的应用程序中集成手势追踪功能。

在此前的采访中，Oculus曾表示，虽然手势识别功能将会在2020年年初推出，但是他们计划在功能完善之后在推出，而从现在的动向来看，Oculus显然在加快VR手势识别功能的布局。

Quest手势识别效果理想，但仍在早期

2014年底，Facebook首次表达了对VR手指追踪技术的兴趣。此后，公司收购了Nimble VR初创公司，并将其四名手控跟踪技术的资深研究员纳入麾下。收购时，Oculus非常清楚这项技术“甚至可能不会用于CV2或CV3”。或许是因为Nimble技术需要一个专用的深度传感器。

深度传感器能够提供良好的手指追踪效果，与现在的HoloLens 2 AR新头显类似。然而，专用传感器会增加头显的成本和重量，很可能不会被广泛采用。按照Quest的思路，在普通相机上挑战高质量的手指追踪效果，难度很大。Quest采用了与其他追踪技术相同的硬件，这一点可能会成为Facebook的竞争优势，也可能广泛用于Facebook的未来产品中。

在2016年Oculus Connect 3大会上，首席科学家Michael Abrash曾对2021年的VR发展做出一系列预测。他指出在手套上添加标记可以完美实现手指跟踪（并展示了出来），但当时还不能直接投入使用，预计2021年或许可以实现:

Facebook现在就推出这一功能，比Abash的预测早了一年。Oculus Quest通过四个摄像头和先进的计算机视觉算法来跟踪用户的手和手指。

现在，用户在Quest的设置-显示全部-关于-版本更新界面将版本更新至V12，此时，设置便会出现实验性功能，通过激活“手势识别”功能，用户就可以开启Quest的手势识别体验。为了让用户更容易的上手，官方还推出了手势识别的教学功能，但从功能来看，目前设备所开放的交互手势还处于比较早期的阶段。对此Oculus表示，手势识别的初始版本是为了让用户去了解手势追踪功能，从而让他们能够控制Quest的主菜单界面以及少量的自研应用。

启用手势追踪功能后，用户会在手附近看到浮动光标，这些光标与“任务”菜单上的浮动指针相对应。“捏”（无名指和大拇指接触）代表按下按钮的“单击”，或用作拖动可滚动区域的“单击并按住”。如果用户将手面向自己作出捏的动作，就可以显示或隐藏菜单。

总的来说，Quest的手势识别是十分精准的，在手掌面向用户时，设备基本可以识别到手指的各种动作，为了保证用户手势识别的稳定性，Quest降低了手势移动的识别刷新率，如果用户手势快速移动，便会导致手势识别丢失，当用户手势稳定时再重新捕捉。

不过如果选择了使用双手后，手柄被移动的话，将自动转向手柄操控。

目前在Oculus中可以实现以下几种手势：

拇指和食指捏合（兰花指状），可实现选择功能。

如果左右手同时做同样的手势，将按照先后顺序确定手的控制权。

当双手合掌、合十或者太过接近的时候手将消失。

当手运动过快时也会消失。

手掌朝向面部，当屏幕中的手掌变成蓝色，拇指和食指捏合可以打开/关闭菜单。

Oculus Quest使用四周的四个定位摄像头来追踪手势，所以基本上手掌处于视线范围内都可以被追踪到，当手太过处于边界的时候也将消失。当手回到视线范围内的时候，几乎没有反馈延时，追踪效果非常灵敏。

摄像头可识别的手部距离来看，在手臂的极限伸展范围内依旧能够识别到。

当手掌面向正前方握拳或抓取状态时，由于识别不到手掌，手将在视线内消失。而当手掌面向前方时，手指被手掌遮挡的部分就可能会出现一些识别错误。

值得注意的是，陀螺君尝试在设备识别到右手时，让身边的朋友同时伸出右手，这时设备就会将位于左边的右手识别成左手。

此外就像上面提到的，目前所开放的手势功能还比较少。在现阶段开放给开发者的DEMO和今日宣布的五款具备手势交互功能的应用：《Titans of Space PLUS》、《The Curious Tale of the Stolen Pets》、《Virtual Desktop》、《Virtual Desktop》、《Waltz of the Wizard》中。

我们会发现一个明显的特质，在类型上基本以休闲为主。在手势识别的使用上基本以单手手指的“点”和“捏”的动作为主，虽然在部分游戏上可以使用“手握”的动作，但也只在少部分的内容上支持。

手势识别SDK开放，强调保护用户隐私

现在Oculus Quest上手势追踪SDK已经开放，因此开发人员可以将手势追踪功能集成进他们的应用程序中。简单来说，这意味着开发人员添加功能所需的代码和资源。该SDK尚未正式发布，这就是为什么目前只有自研应用程序支持该功能。

Oculus手势识别SDK现在拥有一个API，可以发回骨骼模型或者用户的手部完整网格以及一个可信度值数。使用Oculus Unity Integration，开发者可以将手势追踪功能与简单的预制件组合在一起。本机API和Unity API均可以调用以检测捏合并用户捏合所指向的位置。

不过，不要期望在接下来的几周内看到Quest商店的应用程序有更新。 Facebook告诉我们，预计第一次第三方应用程序更新将在2020年初进行。但是，添加一个新的输入方式通常需要数周或数月，具体取决于应用程序。

然而，有机会我们可能会在SideQuest上看到带有手势追踪功能的Quest应用，这是Quest的非官方第三方商店，可以通过自动执行侧载来工作。

有趣的是，SDK文件资料警告开发人员有关访问用户手部数据的隐私：

数据使用免责声明：启用对手部跟踪的支持可授予您的应用访问某些用户数据的权限，例如用户的估计手部大小和手部姿势数据。仅允许将这些数据用于在您的应用程序中启用手部跟踪，并明确禁止出于任何其他用途。

随着VR的发展，它将能够追踪越来越多的独有的可识别生物特征数据。SDK文件提到，必须明显地要求权限，开发者才能使用手势追踪功能。这可能意味着Facebook打算为用户提供一个选项，以接受每个应用程序的权限。

手势追踪技术有望增加VR应用的便利性，同时也向不熟悉和不喜欢游戏控制器的新用户开放。

现在，SDK已发布，同时也已有五个应用程序添加了手势识别的功能，未来将有更多手势识别应用程序逐渐进入消费者的视野，引领新的VR交互的发展。