原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题

Xsens动作捕捉 2023-05-09 4893

文 | 鸡窝投行 作者 | 小草

柳秀喆在风险投资机构工作了5年,2014年下半年,他第一次接触到VR领域,“当时感觉会有前景,虚拟与现实代表了未来,可以扩充到很多应用领域,于是开始格外留意这类项目。”

原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题  第1张

随着对VR技术的深入了解,非技术出身的柳秀喆着了迷。今年年初,他离开创投圈,全身心投入VR动作捕捉领域。

柳秀喆的两个合伙人都是纯粹的技术人才,“其中一位合伙人曾自主创业,设计了一款基于MEMS的三轴手持稳定台,并取得两项发明专利,其技术核心是陀螺仪的算法,这与动作捕捉有非常大的相关性。” 而另一位合伙人现在负责算法,曾参与华为智能手环项目研发,智能硬件经验丰富。

今年3月,柳秀喆创立了超感科技,专注于手势惯性动作捕捉及人机交互的研发与应用。目前公司已与多家内容制作团队建立合作,为其提供手势交互解决方案。

原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题  第2张

基于惯性传感器的动作捕捉技术,其测量单元(IMU)由惯性传感器和数据处理单元组成。其系统采集到的信号量少,便于实时完成姿态跟踪任务,解算得到的姿态信息范围大、灵敏度高、动态性能好,且惯性传感器体积小、便于佩戴、价格低廉,可以广泛应用于VR交互、医疗康复、智能机器控制以及桌面级互动等多个领域。

仅仅两个月的时间,柳秀喆的团队就完成了第一代动作捕捉手套的研发,“一代原型机采用弯曲传感器方案,拥有一定程度的触觉反馈,但是成本高,手势呈现还不够精细,无法实现桌面级的纵深交互。”柳秀喆总结道。

随后团队马不停蹄地开始第二代动作捕捉手套的研发,7月便完成了二代机的原型。

二代机利用22组惯性测量单元(IMU)精准捕捉手和手臂的运动数据,利用蓝牙实时控制虚拟场景的角色,为用户提供真实自然的人机交互方式,是目前国内首款独立发售的消费级动作捕捉手套(含手臂控制)

原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题  第3张

原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题  第4张

二代机采用团队自研多传感器深度融合算法及智能预测学习算法,前者有效地解决了手指抖动的问题;后者则明显减弱延迟现象,目前可以读取每秒250帧的数据,能够及时且精准地呈现多种复杂手势,支持多人同时动作捕捉。

据介绍,二代机含有手臂控制,基于不用的应用场景提供两套方案:8个传感器版本和11个传感器版本。“8个传感器分别安装于五个手指头、手背、小臂以及大臂,在捕捉精准度上可以满足大部分游戏交互场景的要求,同时可扩展性强,非常适合PC端的重体验交互内容。”

而11个传感器的版本则会在8个的基础上,于拇指、食指和中指上各增加一个传感器,追求手指手势的精细捕捉,“除了手指的弯曲、抓握等手势的呈现,像是兰花指这种要求手指尖拿捏的手势也完全没有问题。”该版本主要应用于医疗康复、桌面级互动等对“微操”有高要求的领域。

此外,用户使用二代机时,不再需要在使用空间上安装“灯塔”、摄像头等杂乱部件来对手部进行定位,免去了把VR控制器绑在手臂的繁杂。

“市面上有部分动捕手套需要搭配具有空间定位的VR控制器,例如HTC Vive的Lighthouse定位技术,以此来确定运动物体的位置,保证虚拟世界与用户身体保持一致的移动性。但我们经过软件的优化,通过手套与VR头盔之间的相对位置来识别用户在空间里的位移,并保持一致。”

原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题  第5张

这项优化将减少穿戴设备上的一些累赘,同时不再受到空间、时间、光线等因素的限制,能够以足够高的频率进行数据采样和传输。

8月16日,超感科技正式向合作伙伴发售开发者版本,并在多个领域的项目中开始测试使用,其中就包括医微讯旗下主打医疗+VR的在线手术学习工具柳叶刀客。柳叶刀客APP基于不同的手术学习场景设计了两大功能——手术(3D交互模拟)和VR(360全景视频直播和录播)。

“外科手术的虚拟操作对于手部动作捕捉的精细度有非常高的要求,而这一块正是我们的强项。”柳秀喆表示,除了医微讯外,已确定与另外四个医疗模拟训练方面的团队展开合作,为其提供手势动捕解决方案。

原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题  第6张

原创 22组IMU做出来的惯性动捕手套,模拟外科手术没问题  第7张

而在VR游戏交互方面,超感科技已与三家密室逃脱研发团队达成合作,帮助他们实现游戏中的一些繁琐的手部动捕,例如开锁、捏作道具等。“我们希望发扬自己的优势,往后也会专注在需要高质量手部操作的游戏上。”

目前超感科技已经完成了7套手势交互解决方案,涉及领域包括医疗、军事、VR游戏、机器人等,未来将继续深入其他领域。柳秀喆表示:“我们现在每套设备售价在千元上下,消费级产品的定价有利于公司进入更多有潜质的行业,打开市场,让更多人使用我们的手势交互解决方案。”

现阶段,柳秀喆正积极地对接投融资。

The End