Facebook展示Oculu Rift 2 全身动捕技术,从骨架到肌肉、毛发、服饰

Xsens动作捕捉 2022-10-06 13211

Facebook展示Oculu Rift 2 全身动捕技术,从骨架到肌肉、毛发、服饰  第1张


查看引用和消息源请点击:映维网

非常突破性的进步

映维网 2019年05月05日Oculus Rift S在今年游戏开发者大会GDC上发布之后迎来了一些从业者的质疑声,因为他们希望看到的是备受期待的Rift 2,而不是一款Oculus Rift改进版。面对这种情况,Oculus在采访回应中解释说Oculus Rift 2太具颠覆性而不适合现在推出。

在这些采访回应中,Oculus也透露说第二代VR头显应该具备全身动捕追踪功能,言下之意Oculus Rift 2可能会具备这些功能。这显然有点不可思议,因为当下的全身动捕追踪技术非常笨重庞大,需要大量的外部设备,如惯性传感器、马克点标记等等。而且相对于一款消费者设备,当前市面上的动捕系统都是面向企业端,定价高达数万数十万。

1. Facebook无标记动捕

然而这种疑问都在今年的Facebook F8大会上被挥去,因为Facebook正式介绍了他们的解决方案,而这有望颠覆全身动捕市场。在Facebook F8大会的第二天主题演讲中,Oculus公司的Research Supervisor Ronald Mallet登台介绍了这一研究成果。

Ronald Mallet说:“我们的Codec Avatar技术在捕获面部方面实现了突破性的逼真感,但真正的人类交流需要完整的身体语言。”


Facebook展示Oculu Rift 2 全身动捕技术,从骨架到肌肉、毛发、服饰  第2张


Ronald Mallet表示现有的动捕技术扩展至VR面临多个挑战,需要大量的硬件,大量的人工,大量的数据,以及大量的时间来打造一个虚拟化身,这导致动捕技术难以扩展并广泛地用于VR,并且不能允许用户定制自己的虚拟化身。

为了解决这个挑战,所以Facebook开发了一种无标记的动捕技术,在有限的传感器数量下,利用人工智能技术来复刻完整的身体运动。那他们又是怎么做到的呢?

2. 设计人体骨架模型

Ronald Mallet说:“你的大脑控制着肌肉,肌肉驱动着骨骼,骨骼反过来又驱动组织和皮肤以及表面的衣物,骨骼反过来又驱动组织和皮肤以及表面的衣物。所以为了用有限传感器的数据来复刻所有这一切,并且渲染完整的3D虚拟化身,我们需要采用一个复刻人体解剖学的身体模型。这个模型需要完全自动地适配任何一个人,并且需要基于真实的人类行为。”


Facebook展示Oculu Rift 2 全身动捕技术,从骨架到肌肉、毛发、服饰  第3张


为了打造这个模型 他们首先研究了医学刊物,并且利用了先进的医学成像参考,然后再设计符合解剖结构,并且有着合理接合和自由度的人体骨架。

Ronald Mallet说:“这个模型比传统动画制作中的模型要复杂得多,你可以想想要做到专注于你的微妙姿势。你的肩胛骨是如何运动,你的臀关节又是如何运动,或者你的关节是如何伸展。接下来我们匹配这个骨架和用户身体结构,并且实时地将其制作成动画,当用户四周走动时模型能够继续适配用户,并且忠实地复刻用户的运动。”

3. 捕捉肌肉活动

但这并不够,Oculus认为没有肌肉表现可能会让虚拟化身有点诡异,所以他们还复刻了肌肉活动的实时追踪,并展示了对Oculus研究员Tony的一段演示视频。


Facebook展示Oculu Rift 2 全身动捕技术,从骨架到肌肉、毛发、服饰  第4张

Oculus表示该演示只采用了 1 个传感器

Ronald Mallet继续解释说:“令骨架表达出情感的是肌肉,肌肉运动对理解行为和意图非常关键。所以这个片段是用于说明对Tony肌肉活动的实时追踪。但要做到这一点,我们利用了他身体的惯性以及骨骼肌肉系统,来帮助我们预测和平滑化他的运动。要创建逼真的身体,建模肌肉收缩时出现的变形同样重要。”

4. 捕捉服饰、毛发

不仅仅是对人体的骨架的全身追踪,Oculus表示对人体身上的服饰、毛发的逼真还原同样重要。


Facebook展示Oculu Rift 2 全身动捕技术,从骨架到肌肉、毛发、服饰  第5张


Ronald Mallet说:“我们采用了视觉观察法来推断身体几何,并且重构其形状。然后我们应用了基于物理的模型来重构实际的衣服变形,而且我们需要逼真地匹配人们的真实服饰。”

5. 未来挑战

Ronald Mallet所展示的这一切都无需动捕套装或标记,而且是实时进行的。只需有限的硬件进行捕捉,这是非常突破性的进步。但面对大众消费市场,这个解决方案还存在延迟问题。

Ronald Mallet解释说:“你可以想象,延迟是关键。在将其变成可行的产品之前,这是我们需要克服的一大挑战。我们同时需要一种只利用现有传感器,即可允许用户轻松生成虚拟化身并实现动画化的方法。”

延伸阅读Facebook F8大会主题演讲完整视频(含中英文字幕)


---
原文链接:https://yivian.com/news/60740.html


Facebook展示Oculu Rift 2 全身动捕技术,从骨架到肌肉、毛发、服饰  第6张

The End