VR 手部追踪——上帝给了我一双手，我却只能用它们拿手柄？

VR 是游戏设备还是通用计算设备，一个判断标准是它可以吸引多少非游戏用户。想要获得非游戏用户的认可，一方面是要提供更多非游戏类的内容，另一方面则是要尽量降低设备的使用门槛。

?游戏《双人成行》的爆火，让一些玩家在见识了平时不玩游戏的女朋友可以有多菜之后，毅然选择了单人成行，其暴露出的一个问题是：手柄的操控对很多非游戏用户来说是极其陌生的。

生活中，人们几乎每时每刻都在用手与周围的环境互动。在需要与触手可及的内容进行交互时，直接伸出双手通常是最符合直觉的选择；对于失去双手或者被阻碍使用双手的人，原本简单轻松的任务会变得困难且令人沮丧。

在 VR 中可视化双手也可以促进和鼓励用户与虚拟环境互动。相比于使用手柄，在虚拟环境中直接同步真实的手部动作，省去了把手柄按键操作转换成虚拟手部动作的映射过程，理论上可以将学习成本降低为零。

各大 VR/AR 厂商在手部追踪方案上都投入了大量资源，市场上也已经出现了一些支持手部追踪的设备和应用，但是都还没能达到让非游戏用户认可的实用程度。

要实现令人满意的手部追踪，需要重点关注三个方面：技术、交互、适用场景。

手部追踪技术

追踪范围：

目前消费端主流的手部追踪方案是基于计算机视觉的，利用头戴设备上的摄像头捕捉手部动作，当手部位于摄像头可视范围之外或被其他物体遮挡时，会导致追踪失败。这就要求用户在执行一些任务时经常需要以不自然的方式移动头部或手部，以确保双手可以被准确追踪，这必然会对沉浸感造成破坏。

追踪精度和操作精度：

从当前的追踪技术来看，在需要精细运动的任务中，使用手柄产生的各种移动基本都可以被正确映射到虚拟环境，而手部追踪方案下的一些微小移动则很难被摄像头正确捕捉（之前的文章中提到过 Horizon Workrooms 使用手柄作为画笔而不是直接用手书写，影响这一决策的因素之一就是追踪精度问题）；

另外，在需要与物体交互的任务中，使用手柄可以操控米粒大小的物体，而手部追踪交互很难达到这样的精确程度（二者的差异可类比鼠标指针与手指触控）。

触觉提示和反馈：

在自然界中，触觉可能是比视觉和听觉更广泛存在的感官，在我们与环境互动时触觉承担了非常重要的作用；

在虚拟环境中，触碰、点按、抓取物体时，手柄可以通过振动反馈在一定程度上模拟触感，而基于计算机视觉的手部追踪方案几乎不可能提供类似的体验，只能通过丰富其他感官刺激的方式来弥补触觉的缺失。

除此之外还有很多因素会影响手部追踪的效果，如光线明暗、背景杂乱程度等。在未能解决其中大部分问题之前，手部追踪恐怕不太可能替代手柄成为主流交互方案。

手部追踪交互

虽然存在很多技术问题，但并不妨碍在交互设计方面付出努力，以提供相对更好的手部追踪互动体验。

在支持手部追踪交互的应用中，有两款给我留下了比较深刻的印象：

Hand Physics Lab

使用双手完成各种任务和手部物理实验，解谜过程中会涉及大量与虚拟物体的互动，包括用手指蘸颜料画画、摆弄人形玩偶、给鸡蛋染色、用笔和尺子画图、操控虚拟键盘和鼠标等。Hand Physics Lab 在手部追踪技术的利用上可谓相当激进。

Cubism

益智类游戏，随着关卡难度的提升，玩家需要用手边的各种彩色积木块拼出越来越复杂的立体形状。Cubism 对于手部追踪交互的设计非常值得借鉴。

这两款应用中需要用户完成的任务虽然不同，但都会涉及到一个关键行为——用手抓取物体，通过观察这一行为的表现，或许可以一窥他们在互动模式及用户友好性方面的设计思考。

以下列出了几个观察角度：

1、产品的目标和任务是什么？

2、用户与核心概念之间的互动模式是怎样的？

-手与物体是否产生物理碰撞？

-可以使用哪些手指？

-如何判定抓取动作？

-如何判定抓取对象？

3、有哪些提升功能友好性的设计？

-抓取前有哪些引导提示？

-抓取后有哪些反馈信息？

Hand Physics Lab

主要目标是模拟手与各形态物体之间的交互，提供逼真的互动体验。为了营造这种真实感，手与物体之间的物理碰撞是不可或缺的，而支持全部手指可交互也是必然的选择。至于抓取动作和抓取对象的判定，与其说是判定，不如说同样是对真实世界运行方式的模拟；真实的物理世界不需要特定的规则来判定抓取，手与物体之间的支撑、挤压等作用力决定了它们之间的物理关系；Hand Physics Lab 采用了这种更符合第一性原理的“判定方式”，虽然在技术上会面临巨大的挑战，但给人带来的真实感也是无与伦比的。

Hand Physics Lab 在模拟真实物理规律的同时，也加入了一些虚拟世界独有的引导提示。比如当手靠近物体时，物体内部会出现一个黄色圆圈，表示该物体当前是可被抓取的。

Cubism

核心任务是将散落的积木块组成特定形状的拼图。

在抓取某一个积木块时，手部难免会与其他积木块发生接触，如果允许产生物理碰撞，这些积木块就会因为受到撞击而改变位置；为了避免这类意外碰撞对任务流畅体验的破坏，即便要以牺牲一部分真实感作为代价，Cubism 仍然决定让手与积木块之间不产生物理碰撞。

在抓取动作的判定上，Cubism 采用的方案是：当大拇指与食指接触同一个积木块且两指间的距离小于某一阈值时（不需要完全捏合）即判定为执行抓取动作；抓取状态下的手形会保持固定不变，这样有利于让玩家明确意识到自己的手正在抓着积木块。

而对于抓取对象的判定，除了检测手指与积木块是否接触，还会借助两指之间的中点作为辅助判断依据，从而大大提高了手从拼图内部穿过抓取积木块时的判定准确率；

如下图所示，如果只通过两指与哪个积木块接触来判定抓取对象，那么被抓取的将会是蓝色积木块，但是，此时玩家真正想要抓取的更有可能是绿色积木块，也就是两指之间中点位置的对象。

Cubism 对于抓取对象的判定方式，也直接导致了它在支持大拇指和食指可交互的情况下，不可以再同时支持其他手指；否则将无从判断玩家究竟是想用哪两根手指执行抓取动作，进而也就判断不了要抓取的到底是哪个对象。

在功能友好性方面，Cubism 提供了多种视觉、听觉信息。比如大拇指和食指靠近积木块时，积木块边缘会高亮显示白色边框，指尖的颜色会变成与积木块颜色一致；通过这些视觉线索，既提示了玩家现在可以抓取的是哪个颜色的积木块，又让玩家明确了哪些手指是可以用于抓取的。此外，在成功抓取积木块时，会播放清脆的咔哒声，同时指尖颜色变得更实，以表示当前正处于抓取状态。

手部追踪适用场景

这两款应用都是既支持手部追踪交互又支持手柄交互，它们给我的总体感受是：直接使用双手与虚拟环境互动很有意思，但使用手柄可以获得更好的体验。

Hand Physics Lab 的关卡是为手部追踪而设计的，但也许是受到当前追踪技术的制约，手部动作很难一直保持准确和稳定，这种交互上的不确定性会让人产生强烈的挫败感。看着那些小物件一次又一次从自己颤颤巍巍的手里掉落到地上，感觉像是在体验虚拟帕金森综合症。

Cubism 对于手部追踪交互的设计非常用心，可是在我实际操作的过程中，仍然是靠手柄完成了绝大多数关卡。手部追踪除了提供新奇有趣的体验之外，留给我更多的印象是需要频繁切换手势来抓取和释放积木块，抓取过程中还要一直保持捏握手势，时间长了手和小臂又酸又累，远不及用手柄按下 Trigger 键那么轻松自如。用手玩了几关之后，新鲜劲儿一过，立马就换回了手柄。

相比之下，有一类模拟弹吉他、弹钢琴的应用（比如 Unplugged:Air Guitar ），对于手部追踪技术的利用不如 Hand Physics Lab 充分，对于手部追踪交互的设计不如 Cubism 细腻，但这类应用似乎是找到了适合手部追踪的场景，用手与环境互动时感觉比使用手柄更自然、和谐。

这可能是因为吉他、钢琴等乐器原本就是针对人类手部结构设计的，操作时需要依赖手指的灵活性，这种灵活性是手柄难以企及的；而对于相对简单的抓握动作，按下手柄按键，或许才是更轻松和高效的方式。

想要真正体现手部追踪的价值，既需要对技术的不断探索，也需要对交互的精心打磨。不过，如果能够找到有绝对优势的使用场景，那么就有可能让人们暂时忽略手部追踪在技术和交互上的一些不足。

因此，在未来一段时间内，最有希望使手部追踪走向大众的，也许是那些为手部追踪找到了适用场景的产品。

- End -