怎么简单的拥有自己的虚拟形象并且动捕

Xsens动作捕捉 2023-04-03 4457

背景

因为最近看了很多的vtuber live(特指Gawr Gura~~~),对这个开始产生了一些好感。我自己比较宅(社恐)但是又想开直播,想来想去,好像搞一个能动捕的虚拟形象好像挺不错的。并且手里刚好有一个之前淘汰的iPhone8可以做网络摄像头。

怎么简单的拥有自己的虚拟形象并且动捕  第1张

软件选择

随便查阅了一些资料,主要的软件有早期的

  1. facerig which is not on sale by now.
  2. live2dviewerex 国人开发的,并且好像自由度挺高。
  3. prprlive 没有感觉
  4. vtuberstudio 有点贵

总之,我对live2dviewerex这个软件比较有好感,该软件steam只要30元左右,还有免费的iPhone动捕软件。能够自由导入模型、动捕l2d、支持obs直播。

live2d动捕实现

  1. steam购买并且下载live2dviewerex
  2. 默认安装
  3. 进入软件,在创意工坊,随便偷一个形象
  4. 在电脑端,启动服务-启动网络发现,并且开启控制面板远程控制访问
  5. 手机下载live2dviewerex motion tracker,与电脑端连接(这里可能会出现网络方面的简单问题,简单解决以下),直至左下角显示已连接
  6. 至此,成功实现动捕,检测一下动捕的灵敏度。

插入obs直播

  1. 在软件中,设定-直播-打开 OBS Studio and 虚拟摄像头
  2. 在live2d窗口中,点击右上角铅笔设置分辨率(这个我找了好久)
  3. 在obs中插入摄像头,如下图设置


怎么简单的拥有自己的虚拟形象并且动捕  第2张


其中,video format 选择ARGB,则可以去除窗口背景,类似png效果。

  1. 大功告成

总结


测试了一共九个小时,有以下成功和问题。

成功

最大的成功是初步实现了动捕效果,现实中的大部分动作,能够在模型上进行投射。

issue

  1. 因为模型的设计不同,以及每个人的动作幅度不同,要比较灵动的效果,需要调整手机动捕软件中的灵敏度。
  2. 对位置要求比较严格。电脑面前需要摆放一个手机,并且人需要实时正对摄像头,才能实现更精准的效果。如果坐姿不正,例如仰头,俯视,都会导致人物睁眼闭眼等问题。该问题可以通过调整参数进行修正。
  3. 对戴眼镜不大友好。因为度数越高,偏光效果越明显,会导致捕捉偏差
  4. 对戴眼镜并且小眼睛的更不友好了。本来就是单眼皮,再戴上600度的眼睛,眼睛就更小了, 离远了更本无法进行眼球捕捉。
  5. 对一单一双的人士不友好。一单一双会导致眼睛一大一小,会导致模型呈现夸张的一睁一闭的情况,只有开启双眼同步或者降低小眼的灵敏度。这个的结果就是无法做出wink动作。
  6. 对光线有一定的要求。光纤不好的情况下有几率动捕出错。

The End