两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错

Xsens动作捕捉 2023-04-29 4031


咳咳,小伙伴们都往后稍稍,我要开始装...装一个非常适合低成本项目使用的动捕插件,重要的是插件免费,更更重要的是,不需要高价的动捕设备,通过两个USB摄像头和软件就可以实现精准的动捕。咱们先来看看效果……

这是研究员Jonathan Matthis前些日子发布的一个开源架构,只需要两个USB摄像头+一张类似二维码的卡片就能生成全身骨骼运动了,还提供了一个Blender插件。目前并不完善,他还在开发中。但用它仅有的一些介绍和使用方法我们测试了下,没想到真的成功了。精准度也还可以~那到底怎么使用呢,下面为大家介绍!


01


软件准备


1. 安装Anaconda3

https://www.anaconda.com/products/individual#Downloads

2.安装CUDA

https://developer.nvidia.com/cuda-downloads

3.准备OpenPose

https://github.com/CMU-Perceptual-Computing-Lab/openpose/releases/tag/v1.6.0

4.安装ffmpeg

https://www.wikihow.com/Install-FFmpeg-on-Windows

02


硬件准备


两个或者多个USB摄像头

打印图片,如图

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第1张

在软件Anaconda3安装中需要注意,如果Anaconda3没有自动配置环境变量,需要手动添加环境变量,方法如下:

在win10搜索栏中输入环境变量就可以找到!

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第2张

接下来选择环境变量

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第3张

系统变量中选择Path-编辑

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第4张

添加图中这三个路径即可

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第5张

03


软件流程


接下来就是重头戏了!打开安装好的Anaconda3,选择CMD.exe Prompt

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第6张

输入代码


conda create -n freemocap-env python=3.7

创建python3.7版本虚拟环境

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第7张

稍等过后输入y

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第8张

成功之后输入代码

conda activate freemocap-env

进入虚拟环境

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第9张

进入环境后安装第三方freemocap库,输入代码

pip install freemocap -v

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第10张

等待安装完成后,输入代码

ipython


两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第11张


接下来在ipython中输入代码

import freemocap as fmc

回车执行后输入第二行代码

fmc.RunMe()

然后回车,一定要注意字母大小写


两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第12张

接下来会出现弹框,选择你使用的多个相机

然后点Submit

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第13张

提交过后继续弹窗,是相机的设置,可以根据自己的需求设置,我这里默认提交

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第14张

之后会弹出你选择的多个相机视角,猜测第一次弹出相机是用来测试,选择相机弹框ESC关掉,必须用ESC关掉,鼠标点击是关不掉的,关掉后在弹窗中选择存储路径,点击继续(Proceed)

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第15张

将打印准备好的图片(就是上面需要打印的图)放在摄像头范围内,小伙伴们就可以根据自己需要来做动作了,做好动作后,ESC关掉所有摄像头窗口,会继续弹窗,显示所记录的动作信息图

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第16张

点击继续后,Anaconda Prompt会根据摄像头拍摄的视频进行计算,计算过程中会弹出计算后的视频弹窗,等待计算完成后会弹出计算好的动捕数据,可以导入Blender中使用~

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第17张

最后放出小伙伴测试图

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第18张

完成后打开存储数据时选择的文件夹,所有计算的数据、视频都可以在这里找到

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第19张

Blender插件的安装

在下载好的freemocap-main中找到freemocap_blender_addon,打开后在找到freemocap_blender_addon,然后鼠标右键压缩,拷贝到桌面

打开Blender,在Edit-Preferences-Install,找到桌面的freemocap_addon压缩包装,选择计算好的动捕数据配置文件就可以导入啦!

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第20张

两个摄像头+卡片就能捕捉全身骨骼运动?!亲测效果还不错  第21张

※注意在使用或者安装过程中,会产生非常多的错误(别问我怎么知道的,头发最近弄这个插件都快掉没了!!),推荐有python基础的小伙伴们使用,现在的插件还没有真正的投入使用,只是一个测试版本,还有很多需要探索的东西,包括插件的python源码,以及Blender的插件,貌似Maya也是可以使用的哟,期待正式版,感兴趣的小伙伴们可以去作者的网站看看~

https://github.com/jonmatthis/freemocap(插件网址)

今天的插件使用小教程就到这里啦,小伙伴们学“废”了嘛~


The End