动作捕捉系统The FreeMoCap开源项目 附带一个Blender集成插件
分享最新的CG教程与素材资讯! 人人素材RRCG-专业的CG艺术交流网站 研究员Jonathan Matthis发起了FreeMoCap项目:这是一个雄心勃勃的尝试,旨在开发一个低成本的、具有研究质量的无标记光学运动捕捉系统。 警告:它仍然处于开发的早期阶段 More resources 微博请搜索:人人素材 https://weibo.com/renrensucai B站请搜索:人人素材 https://space.bilibili.com/180622009 优酷请搜索:人人素材 http://i.youku.com/renrensucai 腾讯请搜索:人人素材 http://v.qq.com/s/videoplus/398194300 访问人人素材RRCG 海量CG资源下载学习
这个有前途的开源框架可以从两个USB网络摄像头拍摄的演员录像中生成全身骨骼运动,并附带一个Blender集成插件。
Mathis说,他的最终目标是使 "一个没有受过技术培训和没有外部援助的14岁孩子能够以低于100美元的价格重新创建一个研究级的运动捕捉系统"。
首先,需要注意的是:在其最初的版本中,FreeMoCap项目更多的是 "值得关注",而不是 "可以使用"。
没有任何文档,所以你需要一点技术知识才能让它工作,而且GitHub repo有一个免责声明:"这还没有真正进入......外部用户的状态"。
一个在消费者网络摄像头上运行的开源无标记Mocap系统
但是,既然如此,让我们来看看FreeMoCap项目的目的是什么。
该系统处理演员的视频片段,以估计每一帧的姿势,然后将其转化为骨骼运动数据,可以重新定位到3D角色上。
它的目的是与硬件无关:最低限度是两个消费级的USB网络摄像头,上面的推文中嵌入的视频使用了 "价值约100美元的设备"。
一块印刷好的Charuco板--图片包含在项目的源代码中--被用作空间参考点,但不需要在演员的身上做任何标记。
结果看起来相当不错:有一定程度的噪音和干扰,特别是当一个肢体遮住另一个肢体时,但脚的位置--通常是无标记系统的一个问题--看起来相当稳固。
该系统甚至可以捕捉到手指和面部特征的位置,而且开发人员计划在未来增加对瞳孔跟踪的支持。
(另外,Matthis有能力在瑜伽平衡板上滑行时玩杂耍,我们认为更多的mocap研究人员应该能够做到这一点。)
基于生命科学研究工具,但包括一个Blender插件
FreeMoCap项目是基于生命科学领域的开源工具--Matthis本人是美国东北大学生物系的助理教授。
最初的版本使用OpenPose和DeepLabCut进行无标记跟踪,用基于Anipose的后端进行相机校准。
为了输出动画数据,该项目配备了一个实验性的Blender插件,并且该项目 "最终将被打包到Blender的一个定制版本中"。
目前似乎没有办法以一种可以用于其他DCC应用程序的格式输出数据,但Matthis在项目的Discord服务器上发布了。
"听起来很多动画师会从输出到.fbx的方式中受益,很多[的]生物力学家可能会喜欢.c3d,而且我们无疑也会输出.csv和.json的。
如果你想自己尝试,Discord目前也是寻找项目技术支持的最好地方,尽管Matthis的目标是在不久之后发布更多的文档和教程。
系统要求和可用性
FreeMoCap项目的源代码以GPL许可证的形式提供。Blender插件在AGPL许可下可用。
该系统需要Anaconda、OpenPose和CUDA--因此你还需要一个Nvidia GPU来使用它--并且从命令行安装。