Meta发布Quet 2手部追踪20版,带来更稳健遮挡、移动交互

Xsens动作捕捉 2023-04-15 5157

映维网Nweon 2022年04月20日)Meta日前就Quest 2的裸手交互功能发布了“重大更新”,为Presence Platform的手部追踪带来2.0版本,涵盖追踪连续性、手势支持和和性能等方面的“阶跃式优化”。另外,所述迭代同时允许快速和重叠手部动作,支持鼓掌及其他手遮手交互,从而实现了几乎无穷无尽的对象操纵可能性。

Meta发布Quet 2手部追踪20版,带来更稳健遮挡、移动交互  第1张

为了帮助你在无控制器的虚拟现实中构建自然和沉浸的裸手交互,以及为Quest 2和未来设备提供关键的优化,团队通过全新的计算机视觉和机器学习方法重新设计了手部追踪技术。主要包括:

1. 追踪连续性的阶跃式优化

重播

播放

00:00

/

00:00

直播

00:00

进入全屏

50

    点击按住可拖动视频

    当系统丢失手部的追踪时,体验会令用户感到沮丧。所以改善所述问题成为了团队的首要任务。对于这一版本,Meta在手部追踪连续性方面实现了阶跃式优化,从而为日常使用带来了更好的沉浸感和一致的双手体验。这意味着你可以少花时间担心可靠性,多花时间为应用程序实现独特的交互。

    2. 稳健的遮挡、更快的移动和全新的手遮手交互

    重播

    播放

    00:00

    /

    00:00

    直播

    00:00

    进入全屏

    50

      点击按住可拖动视频

      团队开发了一种应用深度学习的全新方法。当设备的摄像头看不到完整的手或当手快速移动时,系统将可以更好地理解手部的姿态,从而支持需要强大追踪和复杂手势的应用程序,包括:

      • 追踪的手遮手交互,比如鼓掌或击掌。
      • 当其他手指被手掌挡住时,系统能够更准确地表示竖起大拇指的手势。

      3. 更好的手势识别

      全新的手部追踪技术现在可以持续识别你想要使用的最重要手势。通过改进的捏、抓和戳识别,你可以期望更少的意外丢失。另外,对于实现了Interaction SDK中的任何手势的应用程序,以及你在应用程序中内置的任何自定义手势,你都能够看到显著的提升。无论拿起一个虚拟物品,击打一个拳击袋,还是演奏一种乐器,新版本都更将帮助你更接近于在虚拟现实中无缝复刻自然的手部动作。

      上面的视频演示了用于握持虚拟对象的“抓”手势识别。你可以看到1.0版本和2.0版本之间的变化。

      Meta表示,这一裸手交互的2.0更新将从今天开始铺开。如果开发者已经在应用程序中内置了手部追踪功能,你不需要改动任何API调用。但当然,它不会自动启用。对于Native,你可以在Android Manifest文件中添加以下element来选择加入:。至于Unity和Unreal,你可以参考届时提供的文档说明。

      《Cubism》的开发者表示:“这一手部追踪更新是裸手追踪质量的一大进步,现在用双手畅玩《Cubism》感觉更加稳定和一致。以前,《Cubism》的手部追踪依赖于平滑手部数据输入来产生稳定的输入方法。另外,你需要向玩家强调不要交叉手部,因为这会对追踪产生负面影响。现在,新版本已经改善了所有这一切,其一致性足以让我在默认情况下关闭手部平滑功能。”

      《Unplugged: Air Guitar》的开发者指出:“对我们来说,这一手部追踪更新是一件非常重要的事情。《Unplugged: Air Guitar》大量使用手部追踪来实现真实的吉他游戏感,并且它涉及许多快速的手部动作和快速的和弦变化。从一开始,我们就想让玩家感觉他们在玩真正的吉他。对于旧版本的手部追踪,尽管我们成功地实现了非常可靠和准确的游戏,但我们不得不为游戏设置一定的限制,从而提供一种顺畅的体验。对于最新的版本,手部追踪非常准确,反应迅速,我们可以包括所有以前无法实现的额外功能:快速改变手指位置,增加更真实的和弦数量等等。”

      《Liteboxer》的开发者则评论道:“这一手部追踪更新无疑提高了我们为《Liteboxer》用户提供完美训练体验的能力。我们的训练需要大量的快速出拳,手部追踪必须跟上严格的节奏。我们对最新的更新感到非常满意,并对手部追踪在Quest平台的总体发展方向感到兴奋。”

      Meta发布Quet 2手部追踪20版,带来更稳健遮挡、移动交互  第2张

      值得一提的是,团队表示Presence Platform未来将增加更多的功能与优化,从而帮助开发者创造一个真正的互联互通世界。

      The End