虚拟动点OptiTrack运动捕捉技术，助Facebook打造虚拟键盘

前不久，Facebook’s Reality Labs（FRL）公布了一项手部追踪的新研究，将能够帮助AR/VR用户在虚拟现实世界中实现无需真实键盘的全虚拟输入。

在虚拟现实世界中实现无实物盲打对于研发人员来说无疑是一件极具挑战的事，缺少了物理键盘的触摸感和力反馈，使用者打字准确性会相对下降。为解决这一问题，研究人员开始了复杂的机器训练。机器训练可以简单概括为八大流程：确认机器学习目标、获取数据并评估是否符合训练测试标准、清洗数据并建模、导入训练数据和训练模型、模型诊断与调优、导入验证数据并验证模型并分析误差、模型融合 (后端)、使用原生新数据进行测试。

从机器训练的流程中不难看出数据对机器训练的重要性，为了顺利进行关于在虚拟世界中无实物盲打的研究，Facebook FRL需要收集大量人类打字时的习惯手势数据。为了更加准确地获取这些数据，FRL使用了高精度的手势追踪系统，这套系统由OptiTrack运动捕捉摄像机、定制的动捕手套及Motive运动捕捉软件等构成。

数据收集过程中，需要在操作台上方安装OptiTrack运动捕捉摄像机，研究人员则要在头部佩戴VR头显、在手上佩戴附有标记点的运动捕捉手套，然后坐在平面操作台前。研究人员在打字时可以从VR头显中看见自己的双手和虚拟键盘，并进行输入操作，此时运动捕捉摄像机将会高精度捕捉研究人员打字时的手部动态，并将这些运动捕捉数据传输至电脑，研究人员可以在后期根据需求手动筛选和清洗数据。

Facebook研究人员说道：“结合语言模型进行训练，机器可以预测人们在手势不明确的情况下想要输入的内容。使用这种新方法，在任意一个平面上，打字员在无键盘输入的情况下平均每分钟可打73个单词，取得了与物理键盘输入相同的速度和准确性，未修正错误率仅为2.4%。

当机器进行了大量的输入手势学习，训练到足够应对普通用户日常打字需求的程度时，机器的输入精准度不仅会得到大幅度提高，而且所佩戴头显也能够通过VR头显外部的摄像头捕捉用户手势动作，有效预测用户即将输入的文字。将能实现在任何平面都可进行触摸输入，不再需要真实键盘作为输入载体。

虽然这项基于OptiTrack手部追踪的虚拟现实输入研究仍在进行当中，但是随着时间推移，机器训练的程度加深，VR世界中的输入将更加人性化、高效和精准。相信在不久的将来，当我们戴上VR头显进入虚拟世界中时，就能脱离任何实物载体自由操作系统、高效输入文本，进行日常工作和娱乐活动。