【五毛钱教程】如何动作捕捉驱动小姐姐
还记得当年刚学Unity3D的时候，日本Unity3D官方推出的一个Demo曾经把我原地圈粉，第一次知道原来游戏引擎可以做出那么酷炫的东西。（戳链接高能↓↓↓↓↓↓↓↓↓↓）
这个惟妙惟肖的小姐姐就是Unity娘，从那时候我就迷上了这类虚拟偶像。再加上本身对火影等动漫的痴迷，也曾希望未来能接触更多类似的东西。后来斗鱼背靠游戏电竞开始风靡，虎牙战旗等各类直播平台应运而生，我们常常可以看到有些不愿意露脸的主播，同步了这样一只可爱的小浣熊在直播间。
这个小浣熊来源于Steam上一款叫做FaceRig的软件，这个软件可以通过电脑的摄像头，捕捉人的表情数据，并将它同步到这个小浣熊的脸部，让它和我们做出一样的表情。此时大众对于虚拟偶像的认知还多数停留在这类以2D屏幕承载的虚拟建模和初音未来这一类的伪3D全息偶像。曾经有段时间，B站等平台开始涌现出大量虚拟偶像类艺术创作：
（持续高能↓↓↓↓↓↓↓↓↓↓）
中规中矩地像这样的：
魔改一点像这样的：
还有........EMMMMMMM：
可惜即使是第三个这种级别的动画，也不是没有学过三维制作软件可以简单完成的。后来等笔者自己开始接触到虚拟现实开发和建模之后，就越来越清楚，做一个优质的模型以及为其绑定动画是非常困难的事情，从骨骼、蒙皮、权重再到人物细节、贴图绘制（天残手劝退），无一不是需要时间去修炼的东西。因此，是不是存在这么一种可能性，让我们可以用类似上面说到的FaceRig软件这样非常简单地操作和方法，就能实现在模型上绑定自己想要的动（尬）作(舞)?
笔者开始接触到了一个新的概念——动作捕捉，这个技术大概像下面的视频这样：
这种快速让模型“鬼上身”式的动作绑定方式，瞬间吸引了我的注意，后来到了深圳上班之后有幸亲自布置和尝试了一把光学相机组动捕方案，也算得偿所愿，体验到了这种快速让模型跟着自己的心意动作而不需要一帧一帧去处理的动画制作方式。于是，对动作捕捉产生兴趣的我开始体验各种好玩的捕捉方案：
这些设备依次是RealSense、LeapMotion、Hololens、Perception Neuron、Vidoo、维景三维光学相机、忘记名字的黑科技，可以接到手机直接扫描出三维模型（精度低）、IphoneX抢了第一波体验了新功能表情捕捉、脑波车和动捕没啥关系，但是它很酷！、Hi5手套以及还有此外很多其他没发朋友圈装逼所以找不到记录的设备。这些捕捉方式各有千秋，但是基于光学原理的捕捉会产生同一个问题：受到较强的环境影响。直到我接触到了机械动捕，号称精准度较高的一种方案，但是......你们感受一下：
反正我是难以接受这种累赘的捕捉方式，我更希望有一种精度或许不那么高但是体验便捷，学习成本低的动捕仪器。所以权衡之后，我选择了惯性捕捉，也是今天想跟大家分享的受环境干扰相对最小，同时效果较好的捕捉方案——利用惯性捕捉传感器快速将人体动作绑定到二次元人物或者其他模型上。惯性捕捉的特点：
1）受环境影响小，可以在大多数环境下无障碍使用；
2）设备便携，无场地限制，惯性捕捉不需要布置环境，它是依赖传感器（加速度计、陀螺仪、磁力计等）获取数据；
3）惯性捕捉的成本要远低于光捕。
所以，下面笔者将分享（敲黑板）——使用惯性动捕设备（本文选用Noitom的Perception Neuron为例），快速实现与虚拟形象动作同步的三种方式：
首先，不论在下方何种方式下，都需要在动捕设备软件里先链接设备并打开数据转发功能：
方案一、FaceRig（适用于0建模基础，0编程基础）
FaceRig 是一个旨在使任何拥有网络摄像头的人能够以数字方式体验虚拟角色的工具。它的输出能够以视频或者流的形式传输到Skype，Twitch，Hangouts或任何其他实时使用网络摄像头的服务中。先给大家附上官方地址和使用手册：
官网地址：
https://facerig.com/
官方用户手册：
https://facerig.com/docs/facerig-studio-docs/
接着提醒一下，包含动捕插件的FaceRig需要额外购买，是一个2K左右的套装，不是Steam上面几十块钱的那个版本。作为一款较为老牌的虚拟形象APP，FaceRig内置的动捕系统可以直接获取到Noitom Perception Neuron Pro的动作数据。操作流程如下：
首先，打开FaceRig软件，我们看到的默认界面是长这样的
接下来我们需要打开高级用户模式，在上面菜单栏最右侧
打开了之后会发现右侧多了一列菜单图标，在菜单图标中打开高级跟踪配置，并且将PerceptionNeuron添加到捕捉选项
点击添加按钮，此时可以在软件下方发现，Neuron的插件已经被添加到FaceRig的追踪设备列表
往下滚动，找到附加选项菜单，设置好连接类型服务器IP等数据转发信息（必须和Noitom的Axis软件里面的数据广播数据一致），并勾选摄像头追踪。点击BVH连接，此时可以看到，BVH状态右边的小方块变为绿色。小浣熊变为全身状态的追踪镜头，并且跟随动捕设备开始运动。
PS：由于FaceRig部分模型不包括下半身，所以那些模型只会显示上半身的动捕数据，以及Neuron Pro设备是人形动捕，所以一些动物类角色会产生关节变形。
方案二、Live3D（适用于0建模基础，0编程基础）
Live3D是Steam商城另一款产品，专注于动画短剧、二次元直播的创作服务，提供丰富的3D、动画资产和自动化创作服务。这款软件和FaceRig的功能类似，但是其角色以动漫和二次元人物为主，角色与环境融合感更强。并且，这个软件免费！免费！免费！同样的，Live3D也为Noitom开放了动捕数据实时转发的接口。嗯，Noitom很优秀对吧~（标准商业吹嘘）
由于近期（2019.4.18）Live3D对第三方支持功能整改，所以暂时动捕功能会被下架，上架时间位置，但是Live3D官方提供了云盘下载地址，只要是3.0及之前的版本都可以支持Noitom的全线动捕产品，爱好者们可以去官网
http://www.zingfront.cn/live3d/
点击【Download It On Cloud Drive】获取 V3.0.0安装包（需下载百度云盘）。
打开软件之后可以看到这样的画面（Live3D有丰富的二次元小姐姐资源库，大家也可以去加官方QQ群：414669952获取更多不同的人物模型）：
启动直播模式，开始直播后，可以看到Noitom动捕设备和手套的支持按钮，勾选即可，当然，记得打开Noitom的动捕软件Axis Neuron Pro并开启数据转发功能。
此时就可以看到，小姐姐开始跟着动作捕捉到的数据进行运动了，录个什么极乐净土之类的二次元舞蹈，那都不是事！So Easy~
方案三、Unity3D（适用于具备一定建模基础，入门级游戏引擎基础）
游戏引擎的话，相对技术含量就要高很多了，需要本身会一定的建模以及游戏引擎开发基础。但是可以做的东西质量也会优秀，参考上面的Unity娘就知道了。这里，笔者将大致和大家分享一下如何让自己建模的模型，和Noitom的设备链接起来。以Unity娘为例，如果有现成的虚拟人物模型，首先要按照Noitom的骨骼绑定标准对人物骨骼进行二次绑定。绑定操作平台为 maya 内置的 HumanIK 系统为例，模型最好是 T 型站立。
创建一套标准骨骼，Spine 设置为 3 节， Neck 为 2 节。然后在大纲里面将该骨骼从 Locator 的组里面提出来， 将所有骨骼的命名前缀 Charater 去掉。
从侧视图看骨骼是一条直线
所有骨骼的轴向朝向一致
这里主要要确保所有骨骼的旋转角都为0，并且模型呈标准TPOS站立。权重和蒙皮没有具体要求，按正常建模步骤就可以。现在我们按照上述操作给Unity娘小姐姐创建新的骨骼，Unity娘模型可以从Assets Store自行下载，搜索UnityChan即可。Noitom Neuron Pro的Unity3D插件可以从官网下载最新版：
https://shopcdn.noitom.com.cn/article/21.html
将插件导入到项目中，为预设模型挂载组件Neuron Animator Instance
这个组件的设置必须和Noitom的软件中设置一致，才能确保数据的正常广播。另外需要关注的两个设置点如下：
Connect To Axis：勾选该项则开始捕获数据流
Root：模型骨骼节点的父对象
设置完成之后运行项目，可以看到我们在Unity3D中的模型开始跟随动捕设备运动起来（最左是模型导入Unity3D后的初始状态）。
在笔者分享了这些之后，可能你很想知道（不想知道也没用，我要开始打广告了），有没有那么一套设备，既可以有光学捕捉的精准度实时性，同时具备了惯性捕捉的抗干扰能力。
.
.
.
.
.
.
.
.
.
.
.
.
.
嗯，期待下回与您分享~