多人对话丨VR人机交互探索

4月29日，由虚拟现实制造业技术创新战略联盟主办、南昌虚拟现实研究院股份有限公司承办、江西省工业和信息化厅与南昌市人民政府担任指导单位的“虚拟现实制造业技术创新战略联盟（VRMTA?）2022年度工作会议暨VR产业创新高峰论坛”将于江西南昌正式开幕。

在高峰论坛的多人对话环节，中国信通院江西研究院副院长张梦妮担任主持人，与小派科技副总裁李杰、Unity大中华区平台技术总监杨栋、英伟达中国区XR/CloudXR业务负责人周锡健就VR人机交互探索进行了深入的交流，分别从VR头显供应商、引擎平台以及GPU芯片制造商的角度，探讨了虚拟现实技术、灵境（元宇宙）与下一代人机交互技术的紧密联系。

以下为嘉宾分享内容：

小派科技副总裁 李杰:“高性能VR设备是高沉浸感的保证，也是人机交互的硬件使命”

未来在VR硬件方面关于人机交互方向，从小派而言，可能是更足够更核心的一个能力，为用户提供足够高的一个高沉浸感。因为只有在硬件性能表现足够好的时候，高沉浸感才能带领用户进入一个元宇宙空间，也是需要完成人机交互的一个硬件的使命，也是沉浸感最核心的一个根本原因。

高沉浸感的层面我们如何定义？可以通过模拟物理环境，光声音、气味以及甚至于运动等模拟影响我们的眼睛、耳朵、鼻子、舌、触觉等与由此产生的化学激素与脑电信号，从而影响我们的意识。VR技术需要足够高的沉浸感，小派在提高沉浸感上有这样的标准，我们也向全球发布过VR3.0的标准，拥有完全沉浸感需要符合自然、自由、自我三个硬件标准，就是视觉沉浸感、物理沉浸感与认知沉浸感三个方向。

首先在视觉沉浸感上，对应的是自然。例如PPD即角分辨率、FOV即视场角、刷新率等层面。人眼的PPD在60~65之间，人眼的FOV在220~230之间，人眼的刷新率在200赫兹左右，如果画面刷新率大于180赫兹的话，人眼几乎无法分辨是否有延迟。PPD、FOV、刷新率这三个指标分别除以它们的天花板水平可以得到各自的百分比，三个百分比的加权调和平均数就是UVI（Unit of Visual Immersion）即视觉沉浸感当量，所以基于这三个指标的综合考量得出的UVI，是我们衡量的标准。

在物理沉浸感方向上，对应的是自由。现在大部分的头显，6DoF几乎是标配，同时还需要在无线化、空间影响、体感外设、人体工程学设计等方向达到一定的要求，最后再考虑重量和体积的优化工作。之前主流的定位方向是Outside-in，定位精准，但价格较高，要配备灯塔基站，移动不灵活。新的主流方向则是Inside-out，精确度足够高，价格也便宜，未来几乎可以形成全视野AR功能的雏形，为VR过渡到MR打下基础。

在认知沉浸方向上，对应的是自我。如果你在元宇宙当中觉得自己是一个元宇宙人、虚拟人，如何在其中拥有自我存在感呢？就像你在看一面镜子，你动他也动，如何实现？除了需要物理沉浸感，还需要Face-tracking（面部追踪）、Eye-tracking（眼动追踪）和Body-tracking（全身动作捕捉），你的眼神在动，虚拟人的眼神跟着你动，你的情绪在变化，虚拟人的情绪也跟着变化。

所以我们认为视觉、物理、认知三个层面互相配合，能够产生足够高的沉浸感，元宇宙能让人觉得置身其中，这就需要我们致力于做高性能VR硬件，把更符合人体体验标准的产品带给大家。

Unity大中华区平台技术总监 杨栋：“致力于打造和完善开发者生态，才能从本质上推动内容开发和技术创新”

Unity目前专注的领域是研发互动式内容创作工具，这些工具链提供给VR/AR/MR各种手游和 PC端的各种应用，只要是三维实时互动内容，都可以进行研发。本质上我们要解决的问题是，当内容创作者去研发这些内容的时候，能够满足用户手里多种多样的设备的特性。我们要降低开发者的技术门槛，让他们去创造新的内容而不是重复建轮子。所以，以前我们的平台叫引擎，但现在我们把它定义为内容创作平台。

目前Unity支持将近30个计算平台，大到PC，小到Switch一类的游戏机或者Xbox、PlayStation这一类主机游戏，甚至安卓的机顶盒，都可以用来开发。也有许多客户在非游戏行业里使用，例如数字孪生这些领域。其实用Unity来做VR相关的内容，也是支持的，而且针对VR相关设备一共有完整的三种方式的支持。

第一种方式，像Oculus、Pico、Window Mixed Reality、Magic Leap都是我们的官方合作伙伴，有专门的团队对口这些VR厂商做SDK研发和市场推广相关工作。作为技术工具，市场推广和普通的产品广告是不同的，需要提供很多的教程、开发者大会这类服务，现场或线上帮助大家解决研发过程中遇到的实际问题。

第二种方式，我们称之为VSP，即Verified Solution Provider。对于我们认证的解决方案供应商，可以在我们的平台上帮助他验证自己的技术，再通过各种手段和渠道进行推广，让更多人可以使用他的技术去做各式各样的内容。

第三种方式是针对非官方合作伙伴的，XR领域相关的，如果只从VR角度上来说，我们的工具链相关的API实际上会开放给所有的厂商，他们会拿我们的SDK集成到他们的设备商，通过自己的渠道宣传推广，然后让他们自己的开发者来开发内容。在内容为王的时代，如果没有优质的内容，其实很难进行相应的硬件设备的推广。

除了技术层面的快速进步，我们不断兼容更多的平台，更多的设备，把我们的工具链使用门槛做得更低，其实就是在进行开发者生态建设。我2016年加入Unity中国，我的团队就一直在进行开发者生态建设工作。目前国内的Unity开发者已经超过了220万，全球大约2000万，已经形成了完整的开发者生态闭环。

那么在内容为王的时代，我们其实拥有最大的实时渲染3D内容的开发者社区，所以目前Unity可以说是制作 VR内容的首选引擎，我们也非常希望通过各种渠道与大家深入交流。

英伟达中国区XR/CloudXR业务负责人 周锡健:“云计算的突破使创新者获取巨大算力，AI提升人机交互的更多可能与体验”

首先我们从云计算开始，云计算其实是一个永恒的话题，也非常热门。例如通过高级的医学影像技术抗击癌症，自动化的客户服务，电影级的游戏体验，AI，还有高性能HPC和显卡领域的新一代功能，正在不断突破界限。现在全球所有的云平台都已经全面支持NVIDIA，也就是英伟达的GPU加速方案，世界各地的创新者也能据此轻松获取巨大的算力。

针对XR来讲，NVIDIA在2019年发布了CLOUD XR SDK技术，是一项基于NVIDA的RTX技术构建的突破性创新，它可以通过跨越5G和WiFi网络，实现无线的VR和AR。RTX技术即实时光线追踪，对很多VR/AR场景而言是必须的，可以塑造更加逼真的场景效果。NVIDIA的这一技术可以通过RTX虚拟工作站软件，针对数据中心和边缘网络实现全面扩展。我们的SDK也包含了服务器的安装组件以及开源的应用程序，用于Open XR的应用程序，例如Android或者Windows的设备都可以实现串流的功能。

其实经过这么多年的发展，VR的交互已经比较成熟了，高分辨率的VR头盔和高性能的GPU都是完备的，那么我们还可以做什么？我们的回答是AI，AI的加入大大加强了VR体验的真实感和智能化，特别是将原来人机交互的复杂操作变得更加简单。

例如上述的CLOUD XR SDK的最新版本支持双向Audio音频传输，这表示AI语音正在逐渐改变各个行业的企业与客户的交互方式。NVIDIA在AI语音方面有Viva这一先进模型，有全方位加速的流程和各种工具，能够轻松地开发虚拟助手、实时转录或者聊天机器人等应用程序。这些都是可定义的，可以部署在任意的云平台、本地或者边缘的技术中心。

再回到具体的操作层面，目前一些语音助手已经可以实现很多交互，例如在评审里改变车身的颜色、打开车门、场景变化等都可以做到，但AI可以进一步提升整体体验。如果放到VR操作中，对于非专业人士而言还是比较复杂的，但我们可以通过对场景的分类，对各种场景进行一些AI训练，就能实现更多的复杂功能。比如你想找一个汽车里的零部件，你通过普通的手柄交互可能无法精准找到，但如果使用AI语音就可以快速精准地实现。

所以，云端的串流技术和AI的加持，可以提升算力，进行更加复杂的人机交互，带来更好的用户体验和多样化的体验方式。