【必看精选】带你揭秘Frametore公司与Vicon共同研发手指捕捉的全过程!

Xsens动作捕捉 2023-04-25 3030

Framestore公司与Xsens进行合作,不断优化了手指捕捉的过程,解决了行业痛点,使更多的虚拟角色可以进行复杂的手部动作表演,实现高保真、高精度的完美还原,那么现在我们就来了解一下手指捕捉“蜕变”的全过程。

【必看精选】带你揭秘Frametore公司与Vicon共同研发手指捕捉的全过程!  第1张

Xsens传媒娱乐经理Tim Doubleday说到:“在手指跟踪上,任何动作都会产生很多的遮挡”。当标记点从摄像机的视野中消失,或在运动中纠缠在一起,以及手指运动本身的复杂性,都让手指捕捉的难度直线增加。其结果就是错乱的手指数据,角色的手指模型运动比起实际动作会更像麻花。为了最终解决这些问题,Framestore在2017年联合Xsens加入了一项叫做ProDip的英国政府投资的创新项目,计划在18个月内对手指捕捉提出可行的解决方案。

【必看精选】带你揭秘Frametore公司与Vicon共同研发手指捕捉的全过程!  第2张

Xsens的方案是让Tim的团队创建一个虚拟的手部骨骼模型,并用真实的手部运动数据对其进行训练,从而学习真实的手指运动。为了实现这个目标,他们在22个真人的每只手上都贴上了58个反光点,来表演特定的关键手部动作,并小心的在表演过程中将数据完整的捕捉下来。

【必看精选】带你揭秘Frametore公司与Vicon共同研发手指捕捉的全过程!  第3张

“你需要用这些数据作为数据样本,来训练系统对手部骨骼的约束。这样,每一份新的数据进来,我们都知道关节的位置和在运动范围内手部的各种变形”Tim说到。

【必看精选】带你揭秘Frametore公司与Vicon共同研发手指捕捉的全过程!  第4张

这个经由Tim团队训练过的手部模型后来成为了参考标准,Shōgun会使用其对远少于58个标记点的手部点位进行跟踪和处理。

“比如当使用10点,6点或者3点的手指点位时,系统会觉得:好吧,比起58个点,10点这个姿势像是这几个姿势中的一个,而且更像是其中的这一个,所以我把骨骼姿势摆到这个动作上好了” Richard说。“所以这样一来,系统就不会计算出人手完全无法做出的姿势。”

【必看精选】带你揭秘Frametore公司与Vicon共同研发手指捕捉的全过程!  第5张

Framestore同时也没有闲着,他们将这些新的处理结果应用到了拍摄中。这套系统被应用于许多耳熟能详的角色的实时捕捉中(包括《花木兰》、《惊奇队长》、《热气球飞行家》和《蜘蛛侠-英雄远征》),为动画师提供各种动作参考资源 。

【必看精选】带你揭秘Frametore公司与Vicon共同研发手指捕捉的全过程!  第6张


“对我们来说最重要的一点就是客户从来不会拒绝我们提供手指动画数据的服务,而现在这项工作对我们来说轻松了很多。在我们使用这个技术的两年来,这是个巨大的进步。”Richard表示。

The End