聊聊低成本动作捕捉,这里有多套方案供开发团队参考
文/潘翔
可能在很多玩家甚至开发者心中,动作捕捉这种玩意都是只存在于好莱坞电影和3A大作中的传说中的设备,国内这些做低端项目开发的根本没机会碰,偶尔用上一次厂商也会把“动作捕捉”当成一个卖点大吹特吹,给很人留下了一个动作捕捉=高端技术印象。
因为工作原因,市面上几百万到几百块的动作捕捉方案基本上都尝试过。我一直认为动作捕捉这种看起来高大上的玩意,随着技术的发展成本和易用性都会降低到普通用户也能信手拈来的程度。现在其实已经很接近这个临界点了,今天就简单聊聊几套低成本动作捕捉方案。因为只谈低成本,所以Vicon这种价格百万起的就不说了,价格RMB3万块以上的都不考虑。
动作捕捉通常有三种解决方案,光学捕捉、惯性捕捉、和基于深度摄像头的视频捕捉。
光学捕捉就是在身上贴反光点或者反光球,用红外线定位球的位置实现运动追踪。精度最高,设备穿戴繁琐,对场地有严格要求,价格也最昂贵。
惯性捕捉就是利用陀螺仪速度计磁力计之类的玩意计算被捕捉物体的旋转和位移。对场地要求要求较低,穿戴容易,缺点就是精度差,容易受地磁干扰。
视频捕捉基本还是处于研究中的玩意,使用起来最简单,拍段视频,然后自动生成动画数据,精度最差,目前基本没法用。不过这种方案是潜力最大的。
低成本的动捕方案基本主要以惯性捕捉和视频捕捉为主。
1:诺亦腾
诺亦腾是国内公司,产品先在海外众筹并大获成功。并开创性的把动作捕捉设备降低到万元人民币这个价位,让普通个人用户也能轻松使用。提到低成本动捕,第一个必须是诺亦腾。目前很多虚拟主播用的就是他们家的产品。支持目前市面上各大主流3D动画软件和游戏引擎。
当然用起来毛病也不少....动捕这玩意就是一分钱一分货,100万五分货...
2:ROKOKO
一家丹麦公司,使用的也是惯性捕捉方案。价格比诺亦腾略贵(2万左右),但是产品易用性和稳定性比诺亦腾要好。并且软件功能比诺亦腾功能更完善,个人感觉产品差异不在硬件而在软件上。ROKOKO的IK解算更精准,并且提供了多套IK方案选择,还内置了动画修正和一键匹配主流骨骼系统的功能。而诺亦腾这些都没有,所以还是产品设计思路导致差异,对用户需求的理解没有人家深刻。
Unity商店和Maya2020已经内置了ROKOKO的动捕资源库,有些免费动捕资源可以白嫖。设备购买主要通过ROKOKO官网,因为属于跨境交易,寄过来要花点时间,并且需要报关+交关税。
3:HTC VIVE&Valve Index
没错,就是VR设备
严格来说不算动捕设备,但是HTC vive 和valve index都是通过红外线基站去追踪用户的位置,并且这两家都能通过加装追踪器实现更复杂的追踪效果,所以理论上讲,这就是一台简易的光学动捕设备。
所以通过IKineame这个软件,就可以实现动作捕捉功能。成本也就几千块左右,效果其实还行。又不是不能用.....
其实IKineame在日本的虚拟主播届应用非常广泛,比如抖音上经常刷到的这个小狐狸choobie就是用这套方案。不过IKineame最近好像不更新了,官网也是一副自暴自弃的样子...
没错,官网就这样,啥都没有,只有一个邮箱,very cool...
4:iPhone&kinect
继表情捕捉后,苹果推出的AR kit 3.0可以通过摄像头捕捉人物动作。各大引擎都目前都支持。效果惨不忍睹,稳定性基本没有,优点就是用起来方便+便宜。
实现起来很简单:
1:准备一台iPhonex
2:下载官方arkit工程
3:按官方规范做好美术资源
连接引擎就可以实时驱动你的角色了。可以使用sequence record录制捕捉的动画数据。
想要更好的效果可以自行增加blendshape数量,只要改下动画蓝图就可以。
unity也一样。
合理利用开发工具和新技术可以有效降低开发门槛和制作成本,让小团队做出令人惊艳的出色效果也不是遥不可及的事情。
kinect方案乱七八糟的,不说了。
5:基于视频生成动画数据
国内外都有几家做这个,只要上传一段视频就可以根据视频生成动捕数据。这是目前最低成本的方案,用起来最容易,不过真要拿来做产品是不行的,修数据修死你,基本没法用。
以上说的几种方案,最贵的也就两万多块,属于普通人稍微攒点钱也能用上的级别。而且效果并不比百万级的设备差多少。所以你看,动作捕捉并不是什么遥不可及的玩意。在这些方案的测试过程中,我们也顺便给纸人2的开发团队免费提供了动作捕捉支持(设备不是诺亦腾)。
国产单机游戏团队不容易,请理解他们的坚持和艰辛,如果喜欢也可以去买一份体验一下。
https://store.steampowered.com/app/1334040/Paper_Dolls_2/
其实,动作捕捉技术只是降低了资源生产的门槛,提高了制作效率。但是决定动画效果好坏的却是绑定技术和动作融合的算法。国内游戏开发通常没有绑定的概念,只有蒙皮权重。这也是很多国产游戏或者动画就算用了动捕,效果依然僵硬的原因,好的绑定在国内是非常稀缺的。关于绑定的概念可以看我之前这篇文章:
【战神4角色绑定与过场动画制作:
https://zhuanlan.zhihu.com/p/93625629】
动作融合的算法或者说方式是决定一款游戏动作是否流畅,手感是否舒服的核心,不是说动画师把动捕资源导进去,游戏就能有很好的动作效果。全用rootmotion可能看上去动画自然了,但操作起来手感一样僵硬也是不行的,这方面国内积累更是薄弱,可以说几乎没有,这些缺陷不是花钱买个设备就可以弥补的。国内动画技术方面要提高可以说任重道远
还是那句话,技术的核心始终在于人。随着技术发展,新的开发工具和新技术不断涌现,有效降低了开发门槛和制作成本,让小团队也有机会做出令人惊艳的效果。大胆拥抱新的工具和技术,希望能看到更多的优秀团队和作品出现。也许不久的将来,做动画会和拍抖音短视频一样容易。
本文首发于知乎专栏“一个想法,不一定对”
https://zhuanlan.zhihu.com/p/158232100