如何评价谷歌 Pixel 4 新增「隔空手势操作」功能?与华为 Mate 30 Pro 有什么不同?

Xsens动作捕捉 2023-05-09 3879

说实话,我很看好这项技术,目前来看,在 Pixel 4 上搭载 Motion Sense解决方案,我认为是一项非常棒的创新。

至于 Mate 30 Pro 中使用的传感器技术,我不评价,但两者相比,我觉得谷歌这个技术公司名不虚传,实验室每天更新的技术研究成果,都是非常不错的,建议可以到 blog.google.com 看一看


2015 年,谷歌先进科技与计划部门(ATAP)宣布开展一个新项目,代号为 Soli,也就是现在所了解的毫米波雷达传感器,当时该项目致力于打造一个基于 60GHz 毫米波雷达技术的虚拟操控系统。利用雷达技术捕捉人的手势,对机器进行操作,其精度可达亚毫米级别。当时,它作为一个黑科技概念走入公众视野,人们并未对其有特别长远的期待。

如何评价谷歌 Pixel 4 新增「隔空手势操作」功能?与华为 Mate 30 Pro 有什么不同?  第1张

但是经过近五年的研发之后,现在谷歌决定亮出这项技术的真面目。谷歌自家“亲儿子”手机 Pixel 4 将成为使用 Soli 雷达系统的首个设备。提供全新的体感识别功能,结合传感器和算法,通过雷达检测,让手机可识别手势动作,可以控制手机,用户挥挥手即可切换歌曲,控制闹钟,静音拨入电话。谷歌表示,随着 Pixel 的不断优化,这些手势控制也会随之优化。

与市面上的绝大部分手势和动作捕捉技术不同,Soli 使用的是毫米波雷达技术,而非 2D、3D 摄像头或者红外光。它的工作原理与大众所熟悉的雷达原理相同:首先向一个区域发射电磁波,再接收物体反射回来的电波,加以处理、计算和分析。

如何评价谷歌 Pixel 4 新增「隔空手势操作」功能?与华为 Mate 30 Pro 有什么不同?  第2张

当食指和拇指一张一合时,会模拟出按按钮的动作,向目标发射电波;而雷达接收器将会收到信号,阻拦来自该目标的反射能量,来回摩擦下,模拟出旋转旋钮等执行性动作,而这些动作都会干扰电波返回的时间和速度。在收集电波规律并加以分析和计算后,系统就能够识别出特定的运动模式,进而确定用户所做的动作,发出响应控制指令。

雷达技术不是触摸设备上的屏幕,而是实时跟踪(捕捉)动作,并通过所做的动作来改变其信号。将手放在传感器前方,凭空做出特定动作,比如打个响指,就可以控制带雷达的智能设备。它的操作演示是这样的:

如何评价谷歌 Pixel 4 新增「隔空手势操作」功能?与华为 Mate 30 Pro 有什么不同?  第3张

Soli 雷达传感器的作用,其实是从一个雷达信号本身,形成设备对手势识别的闭环链条。其使用的频率极高,波长很短,60GHz 的频率对应 5 毫米波长。因此 Soli 传感器能量较为集中,方向性强,抗环境干扰,可以集成在封装内,轻易地穿过塑料外壳,捕捉毫米级别的手部动作变化,同时保证回波强度。

2018 年末,美国联邦通信委员会(FCC)批准了谷歌的手势操作感应系统,“Soli 项目” 所申请的频段,允许它的毫米波雷达使用 57-64GHz,峰值等效全向辐射功率(EIRP)可达 13dBm。

在安全方面,谷歌也表示,Soli 传感器数据也会在用户手机上处理,不保存或与其他 Google 服务共享,通过 Titan M 安全芯片的加持,保护并储存于手机本地(而不是云端)。另外,手势识别功能只会向部分国家/地区提供,暗指如果雷达频段与谷歌手势不匹配,或者有部分地区监管部门不批准的话,这项技术很可能不会在手机上执行。

而 Pixel 4 这款手机并不会在印度发布,也是这个原理。印度方面认为这项技术创新是创新,但可能会干扰军事、安全等其他方面的工作,所以这项系统技术并未批准。

根据我的了解,其实 Pixel 4 上并不是单纯搭载 Soli 芯片以及相关的系统就可以了,由于其技术需要第三方的应用,所以为了保险,其实在手机摄像头位置加了一块芯片,名叫 Pixel Neural Core(神经网络芯片),配合雷达技术,近距离灵活处理复杂的算法和多场景下的距离问题,让 Soli 系统可以不断学习,不断加强距离感应。

如何评价谷歌 Pixel 4 新增「隔空手势操作」功能?与华为 Mate 30 Pro 有什么不同?  第4张

Pixel Neural Core 为此前 Pixel Visual Core 的升级,从 Visual 到 Neural,一词只差,反映出它更多应用与机器学习。其仍将作为协处理器,主要用于图像处理。

根据 Google 公布上面这张透视图,从左往右排列,这 8 个零件分别如下:

  • Face unlock IR camera:红外相机
  • Front facing camera:前置相机
  • Ambient Light / Proximity Sens:距离传感器
  • Audio port:听筒
  • Soil radar chip:Project Soli 雷达芯片
  • Face unlock Dot Projector:点阵投射器
  • Face unlock IR camera:红外相机
  • Face unlock Flood IIIuminator:泛光照明模组

芯片、传感器、红外相机和 AI 算法加在一起,“隔空操作”就容易很多了,多重保险下,可以完美实现“隔空手势操作”。

目前来看,这项“隔空手势操作”已经展开了应用落地,也希望通过第三方应用程序,加大技术发展力度。早前 9to5Google 曾指出,目前已经有 23 款 App 进行了适配,包括以下几款:

  • Amazon Music
  • Anghami
  • Apple Music
  • AWA
  • ?? (Bugs Music)
  • Deezer
  • Gaana Music
  • ?? ?? (Genie Music)
  • Google Play Music
  • Hungama Music
  • iHeartRadio
  • JioSaavn
  • KKBOX
  • MyMusic
  • Napster Music
  • Pandora
  • Shazam
  • SiriusXM
  • Spotify
  • Spotify Stations
  • TIDAL Music
  • Wynk Music
  • YouTube
  • YouTube Music
  • YouTube TV


相关链接:

https://www.blog.google/products/pixel/new-features-pixel4/

https://atap.google.com/soli/

https://www.theverge.com/2019/7/29/8934770/google-pixel-4-face-unlock-project-soli-hand-motion-fingerprint-sensor

https://www.zdnet.com/article/google-details-pixel-4-motion-sense-face-unlock-features/

https://9to5google.com/2019/07/29/google-face-data-pixel-4-collection/

https://security.googleblog.com/2018/10/building-titan-better-security-through.html

https://arxiv.org/pdf/1907.05047v1.pdf

https://www.fonearena.com/blog/142896/google-announces-project-soli-a-radar-based-gesture-control-technology.html

https://9to5google.com/2019/09/29/motion-sense-pixel-4-9-music-apps/

The End