售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?

Xsens动作捕捉 2023-05-09 7507

10月初,新加坡一家名为Deca的公司悄悄现身,公布一款叫作DecaGear的PC VR头显。据该公司阐述,这款头显为VR社交内容而设计,其亮点除了有内置面部、手指追踪和臀部追踪功能,还配有Inside-out追踪系统、1058ppi超高像素密度、90Hz刷新率和单眼2k的分辨率,甚至可通过配件实现PC内容的无线传输。划重点的是,作为一款高配置的PC VR头显,售价仅450美元,似乎是消费级PC VR头显的福音。


鉴于这样的配置与价格,在还没有上手体验之前,许多人认为需保持谨慎态度。毕竟依靠主打先人一步提升硬件性能以吸引部分硬核用户体验的产品并不少见,如小派科技发布8k、超大视场角头显,但价格也是令人望而却步。而Deca团队是否有能力兑现Deca Gear高性能和低价格的承诺?要想回答这个问题,就首先要对Deca这家公司及其创始人兼首席执行官Or Kuntzman开发VR设备的理念有所了解。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第1张


原型


专为VR社交与游戏而生的PC VR头显:DecaGear


据了解,Deca公司创始人厄尔·昆茨曼(Or Kuntzman)在2018年成立了Megadodo Simulation Games游戏公司(以下简称Megadodo),专注于VR游戏开发,而Deca是该公司用于研发DecaGear头显而分设的团队。


根据外媒采访,昆茨曼最初来自以色列,当时他是一名软件开发人员,后来创立的公司主打在线广告业务,这家公司并最终将其出售给了另一家以色列广告公司。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第2张


创始人昆茨曼


他解释说:“七年半以前,我搬到了南亚,在新加坡成立了一家金融科技公司,最后搬到了曼谷,从事VR游戏的开发,现在该早期设想变成了我们目前称为DecaSpace的框架。”


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第3张


由此可见,昆茨曼本人具有专业的产品开发能力,在从事VR游戏开发期间,也建立了研发DecaGear的关键基础DecaSpace框架,引进了硬件研发人才。根据昆茨曼的叙述,一年前“另一位投资者加入”,与昆茨曼成为Megadodo投资合伙人,现在该公司有20名全职员工,其中包括17名工程师。


但支撑昆茨曼开启VR设备研发计划的,还是多年来他对VR硬件、游戏和用户体验现状的观察。


处理器层面,昆茨曼认为,当前由类似Oculus Quest移动CPU / GPU组成的一体机会过度占用资源并降低用户体验。“VR游戏接管传统游戏到多人VR游戏接管VR游戏只是时间问题。做到这一点的关键是VR头戴设备能够提供最高水平的性能而不会妥协,这就是为什么该头戴设备应该由功能强大的GPU而非移动GPU派生的第一个原因。”昆茨曼在Deca主页博客中写道,这也是Megadodo研发PC VR而非一体机的原因。


同时,昆茨曼表示,VR硬件设计方向将以5G网络为基础,依靠云平台进行渲染和传输。DecaGear无线串流服务体现了这一理念。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第4张


Deca团队


Megadodo集中于计算机视觉、触觉、面部跟踪、手指跟踪和社交互动方面的研发,要做出与行业头部企业相比,具有差异化、突破性的硬件,离不开Deca团队核心技术成员,其大多数曾从事机器深度学习技术、虚拟现实技术、游戏产品设计和智慧城市建设等。


VR社交与体态交互技术是VR硬件发展的未来


至于DecaGear头显的开发,从已公布的产品数据来看,Deca团队的研发目的明显,主打VR社交和体态交互游戏,如VR Chat和《星际迷航:舰桥船员》(star trek:bridge crew),DecaGear旨在实现更多的人机交互,尤其是用于多人游戏体验。因此,DecaGear从整体到细节、从定位系统到配件,在功能和人体工学设计上,趋向于多维度的交互,即重点在用户与内容的深度交互体验上。


从定位系统上看,目前Inside-out追踪技术在VR中的应用已十分普遍,结合SLAM算法和深度摄像头,无需外置基站,可实现基于计算机视觉技术的光学空间定位和追踪。


DecaGear的定位由头显的4个摄像头模组处理,位置与Facebook的Oculus Quest系列相似,镜头能够覆盖225度追踪范围。Megadodo声称,在“大多数环境”中,DecaGear的定位精度和抖动都是亚毫米级别。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第5张


值得注意的是,这一款VR头显吸睛的地方不仅仅是其画面或定位系统的高端配置,更吸睛的是Megadodo对细节的追踪设计方案上。


1、面部追踪


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第6张


为了实现更精准的面部跟踪,DecaGear通过两个全局快门红外摄像头“面部追踪”(FaceFlow)功能,摄像头分别分布在双目镜片之间和鼻托附近,以便于从面部上部和下部进行识别。官方宣称,通过分析面部神经元,可识别面部50多处肌肉动作。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第7张



售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第8张


眼睛眉毛


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第9张


嘴唇脸颊


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第10张


舌头


DecaGear的两个镜头可捕捉人的面部表情,包括眨眼、皱眉、嘴型等,并反馈到虚拟形象中。虽然该虚拟形象面部表情仍有些生硬,但可看出并没有出现延迟情况,甚至舌头的动作也被捕捉进去。在VR社交中,即使是虚拟世界,“扑克脸”也容易让玩家产生视觉疲劳;而丰富的面部表情能够让虚拟形象更逼真,增强玩家的沉浸感。


2、臀部追踪


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第11张


鉴于VR游戏中移动方式一直存在不够逼真、移动不流畅等问题,许多VR硬件厂商也曾推出配件来增加移动真实性,比如Cybershoes、Ekto One体感鞋模拟真实走路姿态提高沉浸感。DecaGear则通过臀部追踪配件DecaMove,实时追踪腰部移动轨迹。


Deca团队在进行大量的移动模拟后发现,目前需要解决的移动问题主要是手柄移动控制与头显方向定位,传统的移动方式是通过头显转动以获得更广视野,手柄需配合头部视野,用户通过按键进行移动,这样的操作束缚了用户更进行灵活地探索。因此该团队认为需要通过一个外置的配件,实现如体感鞋的重定向效果。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第12张


Deca团队表示,DecaMove移动方案适用于身体协同性强的VR游戏,比如一边逃跑一边射击,并且移动范围不大,也适用于狭小的空间。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第13张


这款外置设备将关注点落在易被忽视的腰部动作,并且其实现方式还要能够减少用户的移动范围;而用户只需要在腰部任何一个位置夹上该设备,在身体转动时,虚拟形象便会实时转向。从目前公开的视频可看到,团队以第三人称射击游戏为臀部追踪的测试场景,转动身体时,游戏角色会根据腰的方向往前移动,虽然没有弯腰、蹲下等大幅度的动作,但能看出在幅度较小的动作中,重定向效果可以保持实时且流畅。


3、手指追踪


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第14张


DecaGear套装包括两个手柄控制器,整体设计类似Oculus Touch。控制器表面支持五个手指追踪,与Oculus Touch一样采用了圆环设计。Oculus Touch通过头部摄像机对用户的手部进行追踪,手柄上的传感器可以追踪手指运动,DecaGear手柄功能可能和这个如出一辙。跳开了紧握手柄的思路,意味着用户无需紧握手柄,能够实现更高自由度的手势交互。


实际上,手柄的佩戴和功能灵感来自Valve Index手柄,昆茨曼本人也声明,Valve团队给予了Deca团队SteamVR集成以及系统开发某些方面的帮助。在Valve技术的加持下,是否能做到比手势识别更高的定位精度,这一点值得令人期待。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第15张


除此之外,DecaGear手柄提高了手指识别精度,在虚拟世界中加入了手指的互动元素。用户将会体验到更真实的VR社交活动;对于游戏而言,玩家与NPC、使用武器等交互方式也将更多样。


4、配件与设计


从此次发布的新产品特性上看,DecaGear更注重从用户和内容产品的交互方面进行设计,搭配了相关行为追踪配件。除了以上的配件,还包括容量7000mAh的DecaAir电池组,能够续航6小时,并提供wifi无线串流服务,售价仅50美元。而目前PC VR市场中,由于无线串流服务易导致延迟和质量问题,或者造价昂贵(如Vive无线适配器售价350美元),鲜少小规模厂商冒此风险。因此,在上手体验之前,都不能够保证DecaGear能够很好地兑现承诺。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第16张


而关于DecaGear头显细节,包括面部衬垫是否可拆卸、瞳距如何调节等信息尚未有确切消息,估计在明年5月发布前,Deca团队将会发布更多详细信息。


DecaGear可以为PC VR产品做什么?


上周,昆茨曼在社交媒体上发布了指向Valve的Steam硬件调查显示,目前只有2%的Steam游戏玩家使用PC VR头显。


售价450美元,集成面部追踪、动作捕捉功能的DecaGear是如何研发出来的?  第17张


一体机销量上,Oculus Quest开发人员声称,2020年的内容销售量激增,而Quest 2的发售量更多。为什么PC VR市场没有看到同样的增长?


根据同一份硬件调查报告,使用最多的PC VR头显是2019年的Oculus Rift S和2016年的HTC Vive,这两款头显并没有在未来几年中在硬件上进行更大的创新迭代。另一边,Valve Index头显虽然堪称最香配置头显,但加上配件售价为999美元,价格高昂。目前,HP Reverb G2已开放预售,但它的价格却略高于配置还不错的Oculus Rift S。


由此看来,PC VR市场是否无法生产既具有创新性,又让人负担得起的高性价比头显呢?也许,这成为了Megadodo出品DecaGear的最终目标。如果Megadodo战略成功,DecaGear得以量产,那将会拯救PC VR产品目前高质量但售价高昂,或低成本但牺牲质量的现状。


目前,大家对DecaGear 的硬件性能仍抱有怀疑态度,但不可否认的是,该款头显一旦成功对于VR体验的意义重大。上文提及,Deca团队研发的目的是实现更深度的人机交互,主打VR社交与体态交互游戏。该团队同时将面部、手部和臀部追踪加入到VR体验,至少从概念上来看,对提高人身体在虚拟世界参与度具有启发意义。

The End