可穿戴设备大家庭新增腕带相机,能以3D方式跟踪全身

Xsens动作捕捉 2023-05-09 3456

康奈尔大学的研究人员利用一台微型相机和一个定制的深度神经网络,开发出了一款首创的腕带,可以在3D中追踪整个身体姿势。

可穿戴设备大家庭新增腕带相机,能以3D方式跟踪全身  第1张

BodyTrak是第一款通过单摄像头追踪全身姿势的可穿戴设备。该论文的资深作者、信息科学助理教授张成(Cheng Zhang)表示,如果将BodyTrak集成到未来的智能手表中,BodyTrack可能会成为监测用户身体力学的游戏规则改变者。

可穿戴设备大家庭新增腕带相机,能以3D方式跟踪全身  第2张

他说:“由于智能手表已经有了摄像头,像BodyTrak这样的技术可以理解用户的姿势并给出实时反馈。这既方便又实惠,而且不会限制用户的移动区域。”

相应的论文《BodyTrak:使用腕带上的微型相机从身体轮廓推断全身姿势》发表在《计算机协会(ACM)交互、移动、可穿戴和泛在技术论文集》上,并于9月在UbiComp 2022(ACM关于普及和泛在计算的国际会议)上发表。

BodyTrak是位于康奈尔大学安·S·鲍尔斯计算与信息科学学院的SciFiLab的最新身体传感系统,该团队此前开发并利用了类似的深度学习模型来跟踪手和手指的运动、面部表情甚至无声语音识别。

BodyTrak的秘密不仅在于手腕上的一角相机,还在于其背后定制的深度神经网络。这种深度神经网络——一种训练计算机从错误中学习的人工智能方法——读取相机的原始图像或用户运动身体的“轮廓”,并虚拟地实时重建14个身体姿势。

换言之,该论文的主要作者、信息科学领域的博士生林贤哲(Hyunchul Lim)表示,模型准确地填写并完成了相机拍摄的部分图像。

Lim说:“我们的研究表明,我们不需要我们的身体框架完全在相机视野内进行身体感知。如果我们能够捕捉到我们身体的一部分,那就需要推断出大量信息来重建整个身体。”

张和林表示,在开发这些技术时,为佩戴这种传感设备的人附近的旁观者维护隐私是一个合理的问题。他们表示,BodyTrak减轻了旁观者的隐私担忧,因为相机指向用户的身体,只收集用户的部分身体图像。

他们还认识到,如今的智能手表还没有足够小或强大的摄像头和足够的电池寿命来集成全身感应,但未来具有这个趋势。

The End