车内手势控制是怎么做到精准识别的？距离技术成熟还有多远？

自从人们使用手机的触控屏以来，就积累了大量的依靠手部动作来进行操作软件的经验。

手势是包含信息的身体运动。

确定，放大，缩小，切换，快进，复制，拍照，截屏，收藏等功能，在手机小屏的单手操作，在PAD大屏上的双手操作，实际已经成为了人们司空见惯的动作。

而在智能座舱中，引进手势控制，尤其是这种隔空手势交互，也符合人们的手机使用习惯，能够无缝链接到手势识别中，不需要付出额外的学习成本。

这套手势捕捉技术实际在游戏界已经非常成熟，以XBOX的Kinect系统为例。（2009年6月在E3大展上推出。）

摄像头捕捉人的手势动作，数据发给系统AI进行分析，按照手势给出相关的响应，最后用户得到手势成功的反馈。这就是完整的隔空手势交互的一套流程。

对于交互的手势，可以分为单手和双手手势。

按照技术的不同，分为2D手势和3D手势，2D手势就不用多说了。

说下3D的，比如采用专门的可穿戴设备，通过设备传感器直接获取手势的3D信息。

或者用深度感知相机，用结构光或飞行时间相机的功能，可以得到有景深的深度图，这样也可以生成3D的手势表达。

在智能座舱里面，现阶段的应用大部分还处于“静态2D手势”的辨析，达不到“动态3D手势”的程度。

所谓静态手势，是指摄像机捕捉到你静止的那个刹那动作，手势本身是通过静止状态来传达指令的。就如剪刀、石头、布一样，通过那个最终的静止状态来判别你的表达。就比如做个V字，就代表你想让智能座舱的高清摄像头给你拍张糗照。

而动态手势的识别，则是对一个时间段的手部规律的识别，比如五指并拢，向左平行甩动，就是屏幕左移切换。

对于静态手势的识别只需要拍摄静止动作的照片，从照片中检测并抠出手部图像。然后从手部图像中辨析出手部的特征和数据库内进行比对，最后得出该手势代表的指令并进行执行。

而动态手势则相对复杂一些，因为要解析连续图像帧，判定整个动作的起点和终点，然后对该范围内的连续帧的人手做出跟踪，抠出手部图像并确定特征，然后和模型进行匹配，得到最后该动态手势的指令含义。

但是对于普通摄像机来说，动态手势的识别存在很大的困难，因为动态手势如果稍微复杂，并非是平面动作，而是有远近上下的动作，那么则需要进行3D的解析，来获得有景深的深度图像，才能识别出手势所在的含义。

现在的方法一般用2D图像和深度图像结合，输入深度神经网络中，经过特征的提取和融合，来进行3D的建模。

以2015年1月，微软发布的MR头显Microsoft HoloLens为例，他就是采取的深度图的方案。

HoloLens的两种核心手势——AirTap空中点击和Home手势。

运用这两个基础动作的组合，可以衍生出非常多的组合动作，可以让人完成非常复杂的实景任务。

至于更加有名的Facebook(后改名为Meta)的Oculus,则是采用的多目RGB的方案进行3D手势的追踪。

多个相机对手部拍摄的图片进行特征提取，利用特征提取3D关键点，经过三维重建出3D的人手骨架。

在其Quest 平台对无控制器部的追踪，这意味着应用现在能够同时使用手部追踪和Passthrough，而Passthrough API需要OpenXR。

所以，对于隔空手势的识别，实际少说也有十几年的研究历史，在手机、主机游戏、医疗领域已经有了相对成熟的应用。而智能座舱的手势识别现阶段不是技术不成熟，而是一个新的平台势必会有新的特点，需要一个改善和迁移的适应过程，尤其是汽车制造这种和安全高度挂钩的产业。另外，成本的控制也是能否在汽车上搭载先进技术的一个重要关注点了。

（图片来源网络，侵删。）