用户分享|虚拟制作:艺术创作新变革

Xsens动作捕捉 2023-05-10 7358

现如今,虚拟制作的发展如火如荼,许多影视创作者和艺术家纷纷利用这一技术,进行新的作品创作。瑞士Cie Gilles Jobin公司使用Qualisys动作捕捉系统驱动舞者的虚拟化身,对全球进行现场直播。Cie Gilles Jobin的动作捕捉表演被称为“新一代的远程表演:演出在一个礼堂进行,而观众却在千里之外。舞者通过他们的虚拟化身瞬时转移到世界上的任何地点。”


用户分享|虚拟制作:艺术创作新变革  第1张


Cie Gilles Jobin由瑞士编舞家Gilles Jobin于1997年创立。自1999年以来,其作品一直在全球巡演。除此之外,Gilles Jobin还成立了自己的公司,总部设在日内瓦的studio 44,这是受瑞士当代舞蹈人士认可,集国际专业交流、舞者日常培训、教育活动和能力建设、讲习班、艺术驻地等为一体的先驱场所。


用户分享|虚拟制作:艺术创作新变革  第2张


在2020年的时候,该团队原定于2020年在威尼斯电影节上进行表演,由于疫情的原因,包括威尼斯电影节在内的许多电影节都被取消了。就在那时,Cie Gilles Jobin迈出了大胆的一步,将他们的活动从舞台上的现场表演改为线上实时表演。该公司通过虚拟制作的舞蹈表演方式,在保持社交距离的同时,让人们依然可以一起“去看演出(go to the show)”——这是一项#未实行之旅(tourwithouttraveling)活动。它是一系列巡演,涉及众多旅游胜地,例如2022年6月23日的巴黎夏洛剧院。


当时,作为一家全年飞往各处进行表演的公司,在这一年转型为100%的数字化演出后,飞机旅行的碳排放量从每年100吨下降到零——这是之前从未想到的意外收获!

“COSMOGONY”是未实行之旅的其中一个表演活动。这是由三位舞蹈演员在日内瓦Cie Gilles Jobin公司的演播室里进行现场表演,并在世界各地进行实时直播。捕捉到的舞者动作会以虚拟化身的形式立即通过网络进行直播。他们在演播室翩翩起舞,实时驱动他们的虚拟化身,从而组成了一个悬浮世界的平行宇宙。该作品展现的广阔空间感,刷新观众的体验感!


COSMOGONY在当地电视Léman Bleu直播,这是首次在公共电视频道进行直播。它还在Bucarest进行了放映活动,这是目前第一个利用动作捕捉进行现场表演的远程放映。此巡回演出还在持续公演中!

该团队还进行了一场名为“La Comedie Virtuelle live show”的现场表演,这是一种多用户虚拟现实体验:3名舞者在日内瓦的Qualisys动作捕捉工作室,1名舞者在班加罗尔,1名舞者在墨尔本穿着Rokoko套装。这场表演已经吸引了13个国家的网友进行观看。


用户分享|虚拟制作:艺术创作新变革  第3张

用户分享|虚拟制作:艺术创作新变革  第4张

系统配置

? 42个 Miqus M3 摄像机

? QTM软件

? QTM Connect for MotionBuilder, Unity

? QTM real-time SDK


Cie Gilles Jobin在这些艺术创作中,利用动作捕捉技术助力虚拟制作的突破创新,更是充分挖掘Qualisys动作捕捉系统无限潜能,将其融入到这一系列的作品中。


Cie Gilles Jobin之所以选择Qualisys,是因为其提供了实时捕捉3名舞者所需的高保真度,并将数据直接传输到Unity中。42台Qualisys Miqus M3摄像机捕捉10m x 6m的矩形空间,在这个空间中,舞者尽情发挥自己的表演。


用户分享|虚拟制作:艺术创作新变革  第5张

用户分享|虚拟制作:艺术创作新变革  第6张



动画数据实时传输到Unity项目中。然后,他们可以通过网络将数据传输到世界上任何地方的屏幕上!他们在最新作品“COSMOGONY”中利用此技术,捕捉了3名在日内瓦工作室的舞者的动作,然后在本地渲染传输出数据,从而零延迟地在全球播放。


用户分享|虚拟制作:艺术创作新变革  第7张

实时SDK

将2D、3D和6DOF等动作捕捉数据通过TCP/UDP传输到应用程序中。


用户分享|虚拟制作:艺术创作新变革  第8张

手指解算方案

QTM已经支持手指解算,无论是单独的手部或是全身骨架中的手指部分。


用户分享|虚拟制作:艺术创作新变革  第9张

支持主动发光标记点

在长距离测试或者环境条件较差的测试中,既支持主动发光标记点又支持被动发光标记点。



实时动作捕捉对该团队来说,十分重要。动画数据通过Qualisys SDK传输到Unity中。


在QTM中利用手指贴点方式进行手部捕捉,然后在MotionBuilder中重定位,从而让手部信息实时输出。在某些表演中,采用了ROKOKO智能手套。该手套在Unity中同步,结合身体其它动作捕捉数据,从QTM中输出。在Unity中利用ARCore进行面部动作捕捉。


该团队的下一步工作是利用主动发光标记点复刻旧作品,而这项工作的测试工作已经开始实施。


用户分享|虚拟制作:艺术创作新变革  第10张

在现场表演和长时间的排练中,Qualisys系统值得信赖。

用户分享|虚拟制作:艺术创作新变革  第11张

Gilles Jobin

Cie Gilles Jobin 公司创始人

感谢Cie Gilles Jobin 团队分享的应用案例,并在使用过程中充分发挥Qualisys系统的潜力!

- End -

用户分享|虚拟制作:艺术创作新变革  第12张

The End