未来交互方式:拨弄一根线,识别多样手势!谷歌螺旋织物电子绳
未来交互方式:拨弄一根线,识别多种复杂手势!谷歌AI研发螺旋织物电子绳线束控制
谷歌的人工智能研究团队现在公布了一种新方法,可以将技术直接编织进我们的衣服里。所谓的"电子纺织"概念可以让用户通过轻弹或扭转他们的帽衫线来控制电子设备。
研究人员开发的智能电源线可以识别六种类型的操作:扭转、轻弹、滑动、挤压、抓取和拍打。这样做还有一个好处:因为用户可以用不同的速度、不同的方向来做这些手势,比如快速移动,实际上,这项技术还可以对更多的动作做出反应。
研究人员开发的智能线可以识别六种类型的操作:扭曲,轻拂,滑动,挤压,抓握和轻拍。 图片:Google AI
忘掉铜色的电子线吧,因此:谷歌的新技术完全嵌入到纺织品中,甚至建立在从纺织品编织中提取的传统技术上。在智能电源线内,有效地编织了8个传感器线程,每个线程产生各自的电场。传感器可以检测物体,比如用户的手,当它们破坏电场时。
与织物的不同类型的相互作用会引起不同类型的传感器响应。电源线不仅能感应近距离,还能感应接触面积、接触时间、滚动和压力;因此,这项技术可以区分手指和抓住辫子的手,或者捏和抓。
为了使用户能够从这个更大的操作面板中进行选择,谷歌的研究人员使用机器学习对模型进行了训练。一组12人的参与者产生了864个手势样本来满足算法。
集团并没有给出任何方向如何开展行动,以确保AI能够识别特定的操作,即使个人风格不同的从一个人到另一个人——从不同的手大小使用clock-wise或逆时针。根据该团队的研究,该算法现在可以识别准确率高达94%的手势。
这些手势与直观的结果有关:在新闻旁边发布的一个视频中,研究小组展示了如何滑动连接到扬声器的绳子,可以改变歌曲,顺时针扭转它可以增加音量,捏一下它可以启动和停止音频。在另一个例子中,用户通过顺时针旋转线来向下滚动,逆时针旋转线来向上滚动。
谷歌的新智能电源线还包括光纤,这样,每个动作都有一个视觉反馈,帮助用户看到一个手势如何导致一个动作。根据这项研究,视觉信号给这项技术增加了一定程度的直观性。
核心技术原理;螺旋感应矩阵
在织物中加入导电纤维并非新鲜技术,只要加入一些电容感应传感器,就可以实现基本的手势捕捉和控制。但谷歌 AI 团队没有采用这种传统方式制作线绳,而是开发了一种新型的螺旋感应矩阵(Helical Sensing Matrix)结构,可以识别更大的手势操作空间,同时减少误操作。
简单来说,采用 HSM 结构的编织物由包裹了绝缘层的导电纱线和无导电能力的支撑纱线组成,其中一部分支撑纱线还可以用光纤代替,从而实现高效的视觉反馈。从官方图片来看,其外表几乎和普通线绳没什么区别。
织物中的导电纱线有正负方向之分,承担着在多个电极中传递电流的任务,以实现电容感应,捕捉和识别手势。由于导电纱线是沿着整条线绳编织的,因此理论上在任何一个位置都可以施加操控手势。
经过特殊设计的螺旋结构可以分辨单根纱线的相对角度。对于扭转类的动作来说,这是非常关键的特征。在电极被激活后,通过追踪纱线之间的角度变化,就可以捕捉它们的相对运动,进而准确识别用户的手势操作。
举个例子,如果两条对称纱线的相对初始位置偏移超过 90 度,就意味着用户可能正在有意扭转线绳。当然,触碰的力度、面积和时间等参数也会纳入考量,以减少误判。
织物电子绳的基本结构(来源:谷歌)
基于软线绳的触敏性,其交互原则不同于玻璃或塑料这样的硬性结构,研究团队为此设计了两条交互准则:简单手势和闭环反馈。
前者强调操作手势必须是简短的,无论是一触即发,还是连续操作,都必须符合直觉。后者则意味着,在整个交互过程中,用户会得到适当且持续的视觉、触觉和听觉反馈,减少不确定性。
前文提到的在织物中加入光纤,就是提供视觉反馈的核心方式,不同颜色的光束可以向用户提供多样化的动态实时反馈。
最终,志愿者的操作数据显示,在软线绳上执行的手势识别精度可以达到 94%。谷歌团队认为这一结果是积极的,因为实验中的概念验证线绳只有 8 个电极,精度较低,仍然有很大的提升空间。
图 | 不同手势造成的形变和位移
尽管这项技术还处于起步阶段,Olwal和他的团队已经开发出了集成了智能电源线的原型。除了连帽衫线和网络浏览,Olwal还提到了测试"e-textile USB-C耳机"技术,以控制手机上的媒体播放,以及控制智能音箱的交互线。
"我们希望推进纺织品的用户界面,并鼓励在未来的可穿戴界面和智能面料中使用微交互,"Olwal说,"在这里,无需眼睛的访问和随意、紧凑、高效的输入是有益的。"
事实上,这家搜索巨头的人工智能团队进行了一项分析,比较了用户如何使用智能电源线,以及在触控板上滚动的反馈,以及通过远程按钮控制耳机的反馈。结果表明,e-textile加捻比现有的耳机按键控制要快,速度可与触摸屏媲美;而且比起耳机控制,用户更喜欢智能线。传统的按钮实际上需要用户找到一个特定的位置,这意味着按错按钮的成本很高,而电子纺织线可以沿着线的任何地方操纵。
虽然谷歌的研究团队只提到了构建原型,但也许这家科技巨头将来会考虑将这项技术融入到时尚产品中。自2015年Jacquard项目启动以来,该公司就对电子纺织品表现出了兴趣,该项目旨在探索通过导电线在衣服上制作触摸感应面板的潜力。
谷歌 AI 团队最后表示,希望未来能够拓展更多的应用场景,在现有可穿戴设备和传统纺织物中引入微交互技术,在保留工业设计精髓的同时提升人与科技的交互体验。