「极客公开课·Live」5 分钟带你复习动作捕捉让人成为交互的核心

作者：

此公开课为极客公园策划的「极客公开课·Live」第十期。诺亦腾 CTO&联合创始人戴若犁博士为大家介绍动作捕捉技术原理和应用，动捕技术如何让「人」成为了 VR 交互的核心，演示 Project Alice 多人大空间 VR 交互体验中的虚实物体交互，光混动捕配件丰富 VR 交互体验（介绍 Hi5 VR 手套的技术原理和产品特性，现场演示：Hi5 VR 手套的动作捕捉性能）。

什么是「极客公开课」？

1 位技术产品大牛和 10 位优秀技术产品人围绕技术产品相关话题，面对面深度分享和讨论，共同创造更优的知识与更高的学习效率。

而现在，这种深度的交流方式属于每一个人，知乎 Live 同步线上实时问答，随时随地参与提问互动，与数百人共创一本知乎 live 版的「课堂笔记」

每周 1 次，全年 50 场，极客公开课，推动产品人的自我迭代

以下为本期课堂笔记精华摘要：

首先我给大家讲一下今天公开课的流程，有三个大的部分。

第一部分，跟我们讲一些跟技术相关的东西，跟大家拆解一下动作捕捉，可能很多人不太熟悉，但是又听过的，到底里面有什么技术手段，用在哪些行业领域。

第二部分，比较 focus 在虚拟现实，在虚拟现实这件事情当中，为什么动作捕捉、人的数字化这个概念是很重要的，这件事情我们会在第二部分集中的阐述。

第三部分，会更加核心地讲到一些跟输入设备、人机交互、数字手套相关的东西。

光学动捕原理

光学动作捕捉最为成熟，好莱坞用得最多，造价相对昂贵，而且需要搭建一个完整追踪的区域，才能够捕捉到人的动作和被追踪物体的空间位置和姿态，这个相对来说缺点，就是稍微贵一点、麻烦一点。

光学动作捕捉，顾名思义用的是光学原理，摄像头，用的是视频去捕捉，高帧率的以摄像头去捕捉，一些位置的反算它的位置信息和姿态信息。

惯性动作捕捉为什么叫惯性？是因为用的传感器是加速度的传感器（accelerometer），陀螺仪传感器（gyroscope），磁力计（magnetometer），前两个最主要的传感器，加速度计和陀螺仪传感器都是基于压电材料、惯性原理去测量角速度和加速度的，所以说才会有人把它统称成惯性传感器，惯性（inertia），这个是名词解释。更多演示与讲解，请见知乎 Live

很有意思，很多人用动作捕捉的东西做了大量的应用，回到刚才的问题，光学动作姿态捕捉和惯性动作姿态捕捉之间有一个区别是，贵和便宜，不太方便和方便。刚才看到的作品，除了有两个是大的 studia，其他全是小的，或者是个人。他们可以有能力用 motion capture 去做很多事情，这个其实也是我们一直想要达到的目的，我们希望能够让更多的人用起来。

更多的人他们用到哪些场景呢？给大家稍微介绍一下，有一个是一会儿会用重大的篇幅介绍虚拟现实交互的场景。简单地说，就是把人变成虚拟现实体验的一个载体或者是核心，而不是旁观者。另外一个是影视特效制作，包括像最新的《狼人》、《权利的游戏》、《寻龙诀》，很多的电影里面都用到了我们的技术。医疗诊断与康复非常显而易见了，在骨科的康复、在复健体育运动创伤的康复、测量、诊断上有很大的用处。我们有一个产品叫关节博士，也是用同样的惯性动作姿态捕捉的技术去做这样的康复。所以，回到技术本源，如果我们有一种方式，能够把人的动作数字化，那么这件事情是功德无量的，或者是应用的潜在场景非常多的。

这个是动作捕捉为什么我们觉得重要，为什么今天有这场知乎 Live，有极客公开课，跟大家分享这些知识，探讨这件事情。

我们 focus，把我们的应用领域回归到一个我比较熟悉的行业，就是虚拟现实。刚才已经讲到了，我一直都这样认为，虚拟现实是一个以人物为核心、主体的应用领域，我们不可以脱离你自己这件事情，去玩体验应用虚拟现实。

我跟大家讲一件事情，我相信大家会有共鸣。在座的也许大家都戴过虚拟现实的头戴式显示器，应该用过类似于 HTC Vive、PSVR 这样的一些设备，包括用我们的设备也是一样。当你戴上头戴式显示器是用虚拟现实的时候，我们会发现一件通常大家都看见的一件事情，就是人变得非常犹豫，人的动作非常慢，你去触碰东西，或者是迈出第一步走出去，人会非常犹豫。

这件事情其实从认知学上来说，是因为没有所谓的身体的感知，你看不到自己，不知道你在哪里，你只是在一个陌生的环境，这件事情会导致大家做事情的效率、舒适度。个人东西会发生非常大的障碍。甚至有一些科学家他们有论文、写文章，他们表示出来他们认为人不可以或者是无法在现实中待超过 25 分钟，是由于没有身体感知的原因，如果有一个非常正确、迅捷、舒适的身体感知，人除了眼睛不舒服之外，是有希望在 VR 虚拟的环境中待更长时间。所以人在虚拟现实当中非常重要，除了可以给我们一个 input device，可以做人机交互之外，另外就是提供感知，你能让大家看到自己，就已经很有用了。

人的感知

我们展开来讲，在虚拟现实当中我们抛开人这件事情，虚拟现实我们需要给人提供各种各样的感知。

第一，视野的感知。

第二，身体的感知。

第三，环境的感知。

先说视野的感知。我们第一轮虚拟现实的设备，或者是说现在相对来说比较便宜的虚拟现实的设备，包括 Daydream 这些东西，人机交互相对比较简单，至少他们提供了第一步，就是视野的感知，给人一个完全纯净化的视觉。但是要跟大家说的一点，这个其实又跟动作捕捉相关了，或者是跟追踪相关了。当我们的沉浸度越高，所谓的视野、FOV 越大的时候，人对于我整个头部动作甚至于在更高阶的 VR 产品，有头部位移的追踪，会更加敏感，对追踪的精准程度、迅捷程度会更加敏感。

我说得更加深入一点，我拿一个头戴显示器给大家做一个简单的示范。我手里拿着一个非常典型的头戴显示器，当我戴上头，我需要看到里面东西的时候，其实我们需要有一件事情是匹配，当我往左看、往右看、抬头、低头的时候，视野是追随的我的动作运动的，这个是三个转角：俯仰角（pitch）、横滚角（row）、航向角（yaw），我需要旋转上的三个 X、Y、Z。当我平移的时候，有 X、Y、Z 方向的平移。

以上就是本次公开课的关键内容，更多演示请点击或扫描下方二维码查看获取：「极客公开课·Live」第十期

极客公园