虚拟与现实随意切换！用触觉手套「触摸」元宇宙
Labs 导读
图1 《头号玩家》剧照
电影中的角色佩戴带有反馈机制的手套，使得他们能够感受到手中握持物体的触感。还可以升级为全身套装，再现身体感受到的外力作用，包括撞击的疼痛、也可以有轻抚的舒适。
而相比视觉直接研究光波的刺激和听觉研究声波的作用，影响触觉的维度更多，更复杂，对我们触觉的基础研究仍然在初级阶段。2021年的诺贝尔生理学或医学奖颁给了发现温度和触觉感受器的2名科学家。他们的突破性发现使得我们对神经系统如何感知热、冷和机械刺激的理解迅速增加。
图2 皮肤表面触觉示意图
过去十几年消费电子行业发展进程也类似，相比人类在视觉听觉方面的造诣，行业对于触觉反馈技术的研究比较滞后，一直局限于通过手机震动、手柄震动或者其它设备中的震动元件实现浅层次的人机交互。 随着AR/VR行业的发展，当前视觉和听觉的体验已经逐渐临近人体感知的极限，要探索完全沉浸式的体验，需要有更加真实的、细腻的触觉，这样才能更真实的感受丝绸的柔滑、岩石的坚硬、阳光的温暖、雨水的湿冷、亲友间握手的真诚、拥抱的亲切......需要打开虚拟世界的大门，让用户能直接“触摸”元宇宙。
2008 年，美国国家工程院曾评选出 21 世纪 14 大科技挑战，其中指出虚拟现实技术亟待解决虚拟触觉反馈等技术问题。实际上通过触觉更真实的体验虚拟世界并不遥远，当前人机交互方式正在悄然进行着变革。
图3 触觉是最细腻的感官
Meta的 Reality Labs （RL）研究团队就在专注于发明增强现实和虚拟现实中交互的未来。这个团队的目标是创造技术来解决虚拟世界的核心挑战之一：如何触摸（touch）虚拟世界。但是这项研究仍处在早期阶段，目标是未来可以与VR头显配对，以获得更身临其境的虚拟体验，例如在虚拟世界里触感真实的玩扑克，弹奏乐器等；也可以配合AR眼镜，在现实世界直接触摸虚拟世界
经过7年的努力，在2021年11月，他们发布了一个触觉手套原型，可以在虚拟世界中再现一系列感觉，包括感觉纹理、压力和振动。RL实验室负责人Michael Abrash这样描述他使用触觉手套的体验：“我看到一个（虚拟）盘子，（戴着手套的）手指放在盘子上滑动，听到了摩擦陶瓷发出的声音，手上感觉到震动，这种体验难以置信地令人信服。虽然知道这是虚拟物体，完全可以做到无视虚拟物体的存在，直接用手穿过虚拟物体。但视觉听觉+触觉的共同作用足以骗过大脑，让你不会想要这样做。”
下面我们就剖析一下Meta触感手套的相关技术。
2
技术篇
在讲触觉手套的技术之前，我们先了解一下触觉的原理。从生物学的角度看，皮肤是人体最大的器官，也是主要的触觉界面。那么，触觉是怎么产生的呢？
2.1 触觉仿生学和设计原理
如下图所示，人体皮肤上密布着不同类型的感受器(Receptor)，当这些感受器接收到触摸带来的压迫，就会马上发出一个微小的电流信号，电流信号就会随人体神经网络系统到达大脑，这样就能感受到这次触摸。
图4 触觉仿生学原理
因而要模拟触觉的关键之一，就是要制造出模拟皮肤表层不同类型的感受器。这是实现触觉手套的基本原理。其实皮肤也可以看做是虚拟现实的接口，通过一种直接与皮肤表面链接的又软又薄的柔性层，将分辨率很高的力的时空模式传递到皮肤表面，实现一种虚拟的触感。在虚拟/增强现实领域，触觉交互的重要性不断提升。Meta发布的触感手套就是一个尝试。
2.2 Meta触觉手套的外观和功能
从Meta公布的演示视频中，我们能够看到触觉手套上布满了可伸缩、活动的黑色装置。这个手套设置了多道气囊垫，每道约有15个，沿手指呈脊状分布，通过调节气阀的充气程度可以模拟在手的不同位置产生压力，也可以做到震动。如果你握住一个虚拟物品，手指的致动器会充气变硬来模拟阻力。
图5 meta 触觉手套手心面外观
轻轻拉动皮肤能模拟重力牵引的效果，让你感受到物体的重量。背部有白色的传感器，可追踪手指在空间中的移动情况。并且手套内外两侧也设置了多根传感器，可动态捕捉佩戴者的手指弯曲状态。
图6 meta 触觉手套手背面外观
从游戏互动来看，戴上手套后，玩家可以对不同的物体进行抓握和操控，推倒多米诺牌，白色的球体在手中随手部移动而滚动。
图7 戴着meta 触觉手套玩游戏
用户与用户之间也可以进行更具真实感的互动，比如有触感的握手、击拳、手指间的扣动等等。
图8 戴着meta 触觉手套实现跨越空间的握手
柔软、轻便的触觉手套，需要解决VR／AR交互的两个关键问题：准确计算理解佩戴者的手部运作并给出反馈；为佩戴者再现复杂、细微的感觉，比如压力、纹理和振动，以模拟虚拟物体在手中的真实感受。从Meta官方的发布的研究成果来看，触觉手套的关键技术主要包含了以下软硬件结合的核心技术。
2.3 气囊（Pneumatic Bladder）
Meta的触觉手套被一组气囊垫（Pods）覆盖，每一个气囊垫（Pod）都包含了由持久性、抗穿刺性材料（例如热塑性聚氨酯thermoplastic polyurethane）构成的气囊（pneumatic bladder）。
图9 气囊垫（Pods）及其内部结构气囊 (pneumatic bladder)
一个复杂的控制系统通过气阀 (Valve)调整气囊的充气水平，在手上的不同部位产生不同的压力。气囊的作用，如前所述，是模拟皮肤的感受器(Receptor)之一，它能制造不同程度的压迫感，并通过人体神经系统传递给大脑。
比如，如果你用手指触摸一个虚拟物体，手套的气囊会充气，手指会感到物体压迫手部皮肤。这种触觉与视觉和听觉感知共同作用，从而产生身体与虚拟物体接触的“感觉”。
2.4 致动器（Actuator）
为了模拟触觉，目前市面上的触觉手套几乎都装备了微型震动电机(Vibration Motors)来模拟皮肤的感受器（Receptor）。如同屏幕上的像素点一样，微型电机越多，就意味着越精细的触觉感知。但是传统的电机产生过多的热量，既不舒适又太大、太硬、太贵、太耗电。
Meta研究人员研发了一种采用全新材料制造的新型致动器（Actuator），更微小、更轻、更柔软，用于取代传统的机械电机（Mechanical Motor）。这种致动器采用气流/微流体（微流体，详见下一节）震荡/震动，从而创造出一种受力反馈的感觉。
Meta新型的致动器采用了一组微圆片(Plates)，它们可以动态的致动触碰佩戴者的指尖，模拟指尖触摸虚拟物体的触觉。
图10 指尖微圆片(Plates)示意图
图11 实际采用的微圆片(Plates)
图12 模拟指尖触觉展示图
致动器(Actuator)本质上相当于一个气泡(Bubble)，可以在佩戴者的皮肤上充气和放气。它作用，也正如第4章所述，是模拟皮肤的感受器(Receptor)之一。由于Meta的致动器更微小，因而它带来的感知就更精细。
当用指尖触摸虚拟物体时，通过致动器的充气/放气带来的硬和软的感受，佩戴者可以感觉到这个物体给皮肤带来的压力，产生一种真实的触感。
2.5 微流体（MicroFluidics）
微流体是研究流体(Fluid)怎样流经亚毫米级微小的通道，是医学诊断领域的一项前沿研究。触觉手套的研发也借鉴了这一领域的研发成果，目的是通过控制触觉手套中的流体 (Fluid)在指尖和手指关节的流动，来灵活地控制气囊(pneumatic bladder)，致动器(Actuator)等感受器，让各种感受器创造出不同的受力反馈。
上一节提到的致动器(Actuator)，是为了让用户的触觉感知越精细，手套上就需要越多的致动器，为了控制数量庞大的致动器协同工作，需要一个复杂的控制系统。Meta团队开发了微流体处理器(microfluidic processor)，它是一枚安装在手套上非常小的微型流体控制芯片，它能通过控制阀门何时进行开关来控制气流/流体，从而驱动致动器。
图13 触觉手套微流体(MircroFluidics)控制系统
例如，当佩戴者的手指触碰了虚拟空间里的一根虚拟的木条，触觉手套中的微流体处理器控制阀门的气流，气流流向致动器，驱动致动器变硬，从而让佩戴者获得接触虚拟木条的触碰感。
图14 用Meta触觉手套搭积木
2.6 触觉渲染 (Haptic Rendering)
即使有了控制微流体的方法，系统也需要知道何时何地提供正确的感觉。这需要先进的手部跟踪技术，使计算机能够准确地知道手部在虚拟场景中的位置，人是否与虚拟对象接触，以及手如何与对象交互。
因此，还需要一款为 AR/VR 界面构建触觉渲染的软件，可以根据手的位置和对虚拟环境的理解，接近实时地向手套上的致动器发送指令，包括纹理、重量和刚度等。
触觉渲染技术能获取虚拟世界的状态以及用户与它的交互，并将其传递给致动器(Actuator)，以便让用户接收到相应的触觉。例如，用户的右手在虚拟世界中被虚拟的石头砸中，触觉渲染引擎计算出石头对右手的力的方向、大小和位置，并将此信息通过微流体控制系统传递给致动器(Actuator)，然后致动器激活震动，从而让用户接收到相应的触觉。
2.7 新材料（New Materials）
在满足功能的前提下，触觉手套的舒适度以及将传感器与致动器(Actuator)集成到手套材料，也是巨大的挑战。产品化的手套，重量要轻、要柔软且高度耐用。
Meta的材料小组发明了新的、廉价的聚合物，一种像塑料和硅胶这样的柔性材料，既舒适又可拉伸，并在分子层面进行了定制以满足新的功能。这需要全新的制造技术来将这些新材料变成非常细的纤维，然后可以缝制、针织或编织成手套。目前，为了集成微型致动器和传感器，只能采用半手工制造而成。大规模，工业化生产手套，也是未来需要解决的难题。
图15 用Meta触觉手套材料工艺示意图
2.8 其他公司专利布局
以上是Meta手套的关键技术，其他公司也在积极投入高精度触觉手套的前沿研究和技术储备，但是处在比较早期的专利布局阶段。如苹果在2020年底被授权一项基于IMU的VR手套专利，但是至今尚未看到手套原型。苹果的VR手套能够测量手指和拇指骨骼的运动，这款由智能织物技术制成的VR手套可用于许多应用，包括游戏、教育和军事训练。
图16 苹果VR手套专利中的配图（图片源于VR陀螺）
索尼也有对应的专利布局。美国专利局公布了其之前申请的一个触觉手套的专利。主要构思的触觉反馈手套主要是提供抓握虚拟对象时的抓握感。从下图可以看到指尖是裸露的，因而应该无法提供作用于指尖或手背的触觉反馈。
图17 索尼专利中的配图（图片源于映维网）
可见为了进一步提升沉浸感，各家厂商都在积极探索触觉反馈手套的研发，精密的触觉研究将成为未来设备竞争的关键点。
3
产业篇
触觉技术当前主要还处在早期研究和实验阶段，谈产业相对较早，我们在这里主要介绍一下相关的应用情况。
在过去，触觉技术一直专注于设备的提醒功能，比如手机或手柄的振动反馈。但现在应用重点已经变了，人们专注于让东西摸起来更自然，让它们有更接近天然材料的触感，还原自然交互的感觉。我们先看一下触觉设备的相关情况，当前可以分为三种主要类别：触摸型、抓握型和穿戴型。
图18 三种类型触觉产品
触摸型的典型产品就是触屏，当前提供的触觉体验相对有限，但是因为不需要额外设备，应用潜力较大。当前主要似乎基于摩擦力的表面触觉设备通过在触屏表面改变局部摩擦力，以获取不同的触觉体验，但是受限于技术局限性一直未能商业化。2022年初，美国德克萨斯州 A&M 大学的研究团队，发表在 Science Robotics 的论文《通过表面温度的变化对虚拟形状进行表面触觉渲染》提出了利用触屏表面温度来改变表面摩擦力的新型表面触觉技术，并且论证了温度改变手指表面摩擦力的内在机理，为未来虚拟触觉技术的实现提供了更多的可能性。
抓握型的典型产品是VR手柄，现在已经渐渐成为VR的头显的标配，但是传统的手柄主要是用于定位跟踪，提供的触感能力很有限，在2021年10月微软研究院在ACM用户界面软件和技术研讨会上展示了名为“X-Rings”的新型手柄，该手柄支持用户在虚拟环境中对3D渲染物体做出触摸及抓握等动作，并能获得实时触感反馈。“X-Rings”基于由电机驱动的模块化堆栈可膨胀环（直径5.7-7.7厘米）构建，这使得用户可以整只手抓握住其表面，而“X-Rings”电容传感器和电机电流传感器则根据用户抓握力度进行接近实时的触感反馈（响应时间10毫秒）。
图19 微软 X-Rings
穿戴型的触觉设备可以提供最自然的触觉交互，当前发展也很迅速，触觉手套属于这一类型。早在2016年，专注于VR手势以及VR动作捕捉的技术公司Manus就推出过第一批VR手套，早期的VR手套主要用于虚拟场景的定位追踪和交互，并没有触觉功能。其在2021年推出了最新的 Prime X Haptic VR手套，根据其产品说明，可以支持抓取（grab）、触摸（touch）、感觉（feel）等精细操作，体验栩栩如生的虚拟交互。根据其产品描述声称戴上手套结合VR设备可以轻松的在虚拟世界握住数字对象，感受纹理，按下按钮和拉杆，完全沉浸在您的虚拟体验中。实际最大特点是可以支持高保真手指跟踪，实现详细的手指弯曲和伸展测量。使用柔性传感器测量每个手指的2个关节；通过与IMU的传感器融合对单个手指进行9DoF追踪（9自由度IMU）；通过新的自动过滤器和柔性传感器参考点防止漂移。这套手套的动作捕捉效果评价很好，触觉反馈效果没有看到相关资料。但是价格十分昂贵，官网当前一副手套要3499欧元，离大众消费级产品距离较远。他们还有专业的全身追踪套装，通过SaaS的方式进行出售，包含一套硬件设备，软件包括Untiy和Unreal插件等，整体偏专业动捕使用场景。
图20 Prime X手套
触感手套开始出现消费级产品。2021年12月，BHaptics 宣布售价 299 美元的 VR 触觉手套 TactGlove，可以与 Meta Quest 和 Leap Motion 等头显系统兼容，支持基于摄像头的手部跟踪。手套的每个指尖都有线性谐振执行器 (LRA)，因此也只有指尖有触觉反馈。这些单独的电机能够提供“精致而复杂的反馈”，并通过 bHaptics SDK 进行控制。该公司称利用基于摄像头的系统可以让他们提高触觉反馈的质量，同时降低了整体价格，这款手套据说可以有 4 小时的无线待机时间，由弹力面料制成，推出时将提供三种尺寸：中号、大号和超大号。还有一套内手套，可以在使用之间轻松清洗。在兼容性方面，手套目前支持少数以手部追踪为中心的游戏和应用程序，如Unplugged: Air Guitar、Hand Physics Lab 和 bHaptics Player。后续他们还会推出全身性触觉设备。
图21 用TactGlove演示在元宇宙撸猫
图22 穿着BHaptics套装演示在元宇宙拥抱
虽然厂商都在积极的努力提供触觉的尝试，但是局限于当前的技术实际投入生产的触觉手套在触觉的精度和佩戴体验上离Meta的手套原型还有一定的距离。
4
展望篇
4.1 高精度触觉手套规模化生产难
当前提供高精度触觉反馈设备离大规模商业化还有很多挑战。比如Meta的触觉手套，想走出实验室就有很多挑战。
技术成熟度。前面关键技术章节的所有的技术均处于实验室阶段，离商业化成熟还有非常大的差距。
手套制造工艺。由于新材料和微型致动器(Actuator)/传感器的集成问题，目前手套基本是半手工制造。当前看起来相当笨重，还需要电缆连接，移动化轻量化也有也需要很多优化。
而且当前触觉手套方案还有局限性，如受限于渲染能力，不能在实现手部抓虚拟物体时完美包裹闭合，还有虚拟物体穿透的问题，如将虚拟物体放置在桌面上如何阻止手穿透虚拟桌面等。对此Meta的解决方法是转向感知科学与多感官整合，以研究人类感官如何协同工作以建立我们对世界的理解。简单来说，如果触觉手套做不到完美，那就利用人类的综合感知能力来创造令人信服的感觉，给大脑接收一点触觉信号、一点视觉信号、一点听觉信号，并将它们融合在一起以实现立体的感觉，并让大脑相信手中存在一个物体。
当前触觉手套仅仅是开始，后续越来越多感觉的维度会被突破和实现，而且最终目标是全身套装，甚至还可以有头号玩家中的“触觉冲击椅”，但是这些都需要技术的突破才能实现。未来，触觉设备的应用不局限于娱乐，还有很多领域，例如在医学领域，中风、截肢患者等提供精确的康复程序，还可以应用于更真实的教学模拟、更精准的远程控制等等。
图23 头号玩家中的触觉套装
图24 头号玩家中的触觉冲击椅
4.2 触觉领域的预研势在必行
类比当前音视频领域的标准，后续会有越来越多触觉相关标准的建立。专注于精简触觉反馈标准的 Haptics Industry Forum（HIF）公司宣布，已与致力于 OpenXR 规范的 Khronos Group 达成合作联络协议。这份协议旨在促进两个组织之间的协同作用，并鼓励将触觉功能集成到 Khronos OpenXR 开源标准，从而促进触觉反馈在元宇宙和其他领域的广泛应用。据悉，这一全新的联络协议将允许双方积极交换用例和需求，以增加OpenXR中的触觉应用，并确保OpenXR完全符合触觉社区的需求。最终实现一个共同目标，允许XR应用广泛地、跨平台地访问下一代的触觉反馈，在当前3D视觉空间音频的基础上，纳入丰富的表达性触觉。
Meta的触觉手套发布不久，引来了HaptX公司的专利争议，我们在此不探讨他们孰是孰非，但是可以看到这个新兴领域的研究很受关注，竞争很激烈。相信在未来的元宇宙，触觉的体验可能会超过视觉和听觉的影响，成为设备和应用服务竞争的核心要素，在这个领域专利和标准布局，应用的创新等预研工作势在必行。
参考文献
[1] Facebook Patents Reveal Deep Research On True Haptic VR Gloves, https://uploadvr.com/facebook-vr-glove-patents/ .
[2] Facebook Patent: Switchable Fluidic Device. Patent No.: US 10,240,622 B1.
[3] Facebook Patent: Haptic devices that simulate rigidity of virtual objects. Patent No.: US 10,324,530 B2.
[4] Facebook Patent: Pneumatically controlled haptic mechanisms with nested internal structures for haptic feedback. Patent No.: US 10,372,219 B1.
[5] 《头号玩家》中触觉手套成真伸向元宇宙的“触手”出现了。https://news.mydrivers.com/1/797/797101.htm.
[6] Meta Shows Research Towards Consumer Force Feedback Haptic Gloves, https://uploadvr.com/meta-haptic-gloves-research/.
[7] Smart Tactile Gloves for Haptic Interaction, Communication, and Rehabilitation,https://onlinelibrary.wiley.com/doi/full/10.1002/aisy.202100091.
[8] Choi C, Ma Y, Li X, et al. Surface haptic rendering of virtual shapes through change in surface temperature[J]. Science Robotics, 2022, 7(63): eabl4543.
来源：咪咕灯塔
● 中国移动黄宇红：产学研用合力，培育自主可控、开放和谐的6G生态