「VR速递」Quet2将更新手势追踪21 Meta测试全身动作跟踪

VR是虚拟的，但体验是真实的，大家好，欢迎来到本期的VR速递，我是你们的老朋友载老师，今天咱们视频主要来看看，Meta最新公布的connect大会流程里，有什么我们短期就能有希望实际体验到的项目，以及聊聊这两天Meta的Reality Lab开发测试全身追踪的研究视频。

第一个要说的就是，Meta有关人员会向大家展示手势追踪2.1的新功能，以及如何使用Meta的Interaction SDK来构建像之前那个官方应用，First Hand一样的手势追踪体验，目前Quest2已经支持手势追踪2.0，相信这个2.1的版本也会很快向用户呈现出来，不过看版本命名，应该不会像之前1.0到2.0那样有大的提升。

同时根据Meta开发者中心官网在22号公布的文章，手势追踪2.0将扩大到对第一代Meta Quest机型的支持，而且宣布将在2023年4月彻底废弃1.0API，所有应用程序，在今年12月开始默认为使用2.0，需要已经使用手势追踪的开发者注意跟进。

从我个人实际体验角度来说，目前Quest2非游戏场景，我百分之九十时间都是使用手势追踪，我觉得完全够用。真正要改的反而是交互方式，就是能不能做一个专属于手势追踪的菜单UI和交互，实现在裸手的时候就自动切换过去，抛弃利用射线进行选择的逻辑。

尤其是在输入键盘这些场景，实际上用手柄射线在那个铺开的，巨型的键盘里一个个点字母也是很费力的。明明现有支持手势追踪的游戏，都知道应该让玩家直接用手像触摸机关一样，跟虚拟的菜单面板进行触控，在系统菜单层怎么就想不到呢？

第二个就是Meta将发布他们第一个沉浸式的WebXR应用体验，并成为学习案例让webXR开发者能够吸取经验，同时他们也会带来Meta Quest VR浏览器的新进展，包括介绍给PWA开发者的新功能，和相关的一些即将进入商店的最新应用。

老实说，在这之前我完全没想到，在VR系统里有需要PWA渐进式网页应用的存在，大家可以理解为就是网页版的小程序，比如你在手机里，用谷歌浏览器看网页微博，然后把网页保存到桌面屏幕出现的微博Lite，这个就是PWA版微博。

后来我想了一下，其实在Quest2里的instagram的程序是有点像的，你打开之后就完全是网页版instagram的页面排版，并没有说是专门为在VR里使用，做了个适配。有可能Meta在这一块，是为了提升2D平面应用的多任务处理功能，比如有没有可能将来，discord，流媒体或者播客网站都做一个这种轻便的小程序来使用。

至于VR浏览器，上次看到的大新闻还是火狐VR浏览器的关闭，很开心能看到Meta能在webXR这一块一般用户不太会去体验的地方，也依然在贡献自己的一份力量。但是这个所谓他们的官方webXR应用我第一反应就是会不会是Horizon Wordls网页版？毕竟之前Meta的CTO Boz在推特上说，未来计划推出Horizon Worlds的Web版，这个web版可能在VR浏览器里是沉浸式的，在手机或者电脑上的web端也能访问，但只是传统平面的。

所以第三个要说的就是Meta正打算把Horizon Worlds，和他们自家的UGC创作平台Crayta打通，在这次connect大会里，总共有三个流程内容分享都是围绕此主题展开，比如两个平台开发者互相的经验分享，以及讨论如何将虚拟形象连通使用，但又不会互相影响。这是个野心勃勃的想法，但我很怀疑Meta的实际进展能有多少让人期待的。时至今日，Horizon Worlds依然没有敞开所有的大门，面向全球的用户，还时不时的要被各种嘲讽，相比之下，我还不如期待那个传闻中的Roblox VR版的诞生呢。

接下来要分享的就是这两天曝光率很高的Meta黑科技，就是在不使用额外的追踪器或者摄像头的基础上，单单利用现有Quest2头显本体和两个手柄的运动数据来实现，常规性姿态下的全身追踪效果。

除了现在大家看到的这个视频画面还有配套的论文发表，我觉得咱们在理解之前，可以好好看看论文的题目，简单的翻译过来就是：使用模拟化的虚拟化身和稀疏的传感器进行人体运动跟踪，但是通常以前的动捕我们应该是这样形容的，使用某种方式或设备捕捉人体运动跟踪的数据，从而获取高精度同步的虚拟化身，你会意识到这一次的实验逻辑它是反着来的。

这就是大家看到都感觉不可思议的原因，因为它确实不是大家之前认知的那种动作捕捉，更准确的说法应该是叫动作模仿，而且还是由虚拟形象来模仿匹配现实的动作。

Meta研究认为利用这个QuestSim AI框架，通过头显和手柄的位置和方向的信息，来估计用户的全身姿态是合理的，而且画面是72帧录制的。这个框架能够区分各种运动模式、转弯之类的转换，以及能够跟踪上半身和下半身关联性较小的运动，比如在白板上写字、走路或是慢跑。

在论文里有简单提到，在板上写字时，当系统注意到头部的垂直位置逐渐开始下降，就是暗示着用户是蹲着的，而且必须是弯曲膝关节，除此以外，手柄和头部之间几乎没有任何关联。而在行走的过程中，手柄会在水平方向上摆动，尤其是相对于头部位置会有明显摆动，而与行走相反，在慢跑时，VR头显的头部对比水平方向，反而显示出非常独特和高频率的竖直方向的振荡，所以就是通过这种运动位置数据的差异的强化学习来推测出不同的姿态。

而且视频里的虚拟化身是有物理模拟的，他们的姿态会受到与虚拟环境中的地面、物体碰撞的影响。比如地面对跟踪姿势的调整可以弥补传感器数据的缺失，并使人物与虚拟世界融合。同理遇到一个虚拟的物体，慢跑中的虚拟化身就有可能有被绊倒的危险。

看上去很美好但目前离我们所期望的动捕效果肯定还很遥远，他们提到目前无法应付，急停这种加速度快速变化的状态，而且演示里也看不到细节到，在关节方向扭转动作变化的模拟，更重要的是META的CTO在今年2月份说过，用现有的头显，使用内向外的追踪方式，实现下半身追踪是不可行的，但是他们有在考虑，给虚拟化身配备一个虚拟腿，但是这个虚拟的腿，用户第一人称又是看不到，只有其它用户能看得到。

其实我们把QuestSim AI 的研究方向和这个虚拟腿的需求，一联系起来就完全合理了，首先就是VR玩家第一人称，看到跟现实不匹配四肢动作会感到不适，所以第一人称依然没腿是合理的，实际上第一人称的时候，也不会有人经常看自己的下半身，其次QuestSim AI 能模拟出相应的姿态动作，但是不需要跟真实匹配，就是对方用户蹲下了，只需要有半蹲，全蹲，单腿蹲几个预设固定的姿态来匹配就行了，并不要完全的把现实的精准动作映射到VR里。

至于真正的全身动捕，等Meta想通了，愿意在头显底下加摄像头估计就成了，毕竟他们的AI没摄像头都这么牛皮了，当然他们的虚拟化身没有腿不是他们做不出来，而是不希望像其它VR游戏里那样，一些虚拟形象到最后动起来都是个奇行种，在不能保证完全合理的姿态且具有的统一美观性下，还不如不要腿了。这算是属于他们自己的偏执，当然你可以说是一种保守。