揭秘虚拟人动作真假难辨的秘密
以下文章来源于NExT Studios ，作者动捕达人
又称动态捕捉，是利用外部设备来对人体结构的位移进行数据记录和姿态还原的技术。它广泛应用于军事、娱乐、体育、医疗、计算机视觉以及机器人技术等诸多领域。在电影制作和电子游戏开发领域，它通常记录人类演员的动作，并将其转换为数字模型动作，并生成二维或三维的计算机动画。[1]
动捕技术已经有100多年的历史，它的前身“转描机技术”最早由马克思·弗雷歇尔（Max Fleischer）约在1914年发明，该技术可以将演员的表演录制到一个透明的平面上，然后逐帧追踪他们的动作。1937年迪士尼利用此技术制作了《白雪公主与七个小矮人》（Snow White and The Seven Dwarfs ）、《灰姑娘》（Cinderella）等。而转描技术被中国动画广泛应用是1941年第一部动画电影《铁扇公主》。
[ 用转描机技术制作的《白雪公主》 ]
1960年现代动捕之父Lee Harrison发明了Animax，再到1990年《指环王》（The Lord of the Rings）首次将动捕拍摄带到现场，动作捕捉与计算机图形技术相遇。动作数据的易得性使动作捕捉技术快速发展，并相继被完整、大规模地运用到游戏与电影行业。
[ 《指环王》动捕效果 ]
海外游戏开发商通常有一条成熟的生产流水线帮助提升制作动画的质量、效率和全球化团队的协同生产。例如顽皮狗（Naughty Dog）用Vicon+Maya制作了《美国末日》（The Last of Us），圣莫尼卡工作室（SIE Santa Monica Studio）用Vicon+Maya + MotionBuilder制作了《战神》（God of War）等。
[ 《美国末日》动捕效果 ]
xMoCap应运而生
随着3A游戏、虚拟人、VR等项目的增多，行业对高质量角色动画的需求越来越大，制作团队的队伍也日益庞大，需要在一定周期内生成数量多、质量高的角色和动画。之前腾讯互娱内部没有基于动作捕捉的游戏动画生产管线，但由于公司各个工作室对动作捕捉需求量非常大，全球异地协作需要，及全球居家办公常态化...
我们把项目中的挑战总结为三个：
- 如何让大型团队紧密协作高效生产？
- 如何在既定周期内生产大量的角色和动画数据？
- 如何保证角色和动画的质量？
于是NExT Studios自研的xMoCap?——3A级标准动捕动画生产管线应运而生，集角色绑定、动作捕捉、动画工具、资产管理及动捕数据库为一体，支持大型团队协作、云端海量资产管理、高保真3D角色动画生产，符合3A游戏的开发需求。从2018年到现在，经历数次技术迭代，目前已经在公司内部10+工作室和20+项目中使用，至今累计生产了25,000+条动捕数据和2,250,000+秒动画。
[ 用xMoCap?完成的数字航天员小诤的动作捕捉 ]
xMoCap一气呵成
如果把整个动画生成过程比作一幢房子的建造过程，房子的地基需要足够的结实，并且材料标准，才能经历地震风吹雨打而屹立不倒。xMoCap?的地基是绑定和动捕硬件，先用绑定工具生成控制器，然后完成数据采集，同时发布器到资产管理器，再用动捕工具箱进行动捕数据处理，这样就生成了标准的动画角色。最后用动画工具箱进行数据精修，最终导出到UE。
整个流水线能够高度自动化，释放人力，让艺术家专注于生产，发挥自己的创造力。
绑定
绑定，是3D动画制作流程中的一项重要的环节。模型在制作完成后，需要绑定师（或设置师）对模型添加骨骼与控制器，并对骨骼的权重进行合理的分配后，由动画师操控控制器来进行三维动画制作。[2]
xMoCap?拥有各种类型的绑定工具，可以帮助动画师提高工作效率。Rigging Tools Box（绑定工具集）可以自动创建控制器和快速创建附加控制器，也支持从Maya插件mGear/Advanced Skeleton和3ds Max Character Studio创建出来的骨骼作为模版，一键自动创建两足或者四足控制器。
动捕数据
依托NExT旗下的xLab动作捕捉实验室的硬件设备和动捕现场解决方案，xMoCap?同时覆盖了硬件和软件，将现场动作捕捉和后期动捕数据处理无缝集成到一起，从而实现“一站式”输出。我们有良好的声学环境和消音设施，并提供现场动捕和面捕技术支持，提供动捕数据修复和重定向服务，并提供面捕数据的线上咨询服务。
[ 动捕演员在动捕棚实拍 ]
目前市面上没有一个DCC插件支持多个主流动捕设备进行动捕数据处理，xMoCap?可以自动检测Vicon、OptiTrack、Xsens等主流动捕设备，并自动处理数据。
[ 支持主流动捕设备 ]
资产管理器
Asset Library（智能资产管理器）可以查看服务器的角色，附带的 “Asset Creator”可以用来发布资产，一键快速传递不同的角色动画数据。基于perforce的云端数据管理，保证了美术人员拿的都是最新的数据，可以做到协同开发。
xMoCap?资产管理器的标准化资产赋能了所有的工具集，让团队协同开发更加高效，管理更加智能，具有以下功能：
- 资产标准化
- 动画数据一键重定向
- 资产同步
- 快速更新绑定
- 自动提示资产版本更新
- 删除和添加服务器资产
- 动捕数据处理依靠资产管理器
- 项目动捕数据资产查询
以NExT的自研项目《重生边缘》为例，因为大部分团队成员目前都在上海居家办公，团队之间都是通过“资产管理器（绑定，动画和静态模型）云端发布→同步资产使用→搜索云端资产和数据上传”这一流程，实时同步大幅提升了美术师的效率和准确性，真正意义上做到了降低沟通成本和高效协同开发，建立了一套标准、成熟的管理体系。
[ NExT自研游戏《重生边缘》 ]
动画生产
当采集完动捕数据后，xMoCap?会对动捕数据自动清理，再进行数据重定向，进入项目闭环动画生产。我们有多样化的实用动画工具可以帮助动画师加速精修。
[ xMoCap? 标准化动画生产流程示意图 ]
xMoCap多面强手
xMoCap?作为“动捕动画生产全流程管线”，解决了很多功能性和流程性的问题，提高了制作动画的质量、效率和优化了全球化团队高效协同生产的难题。
全流程自动化程度50%
传统的动画生产流程中，动作捕捉和动作处理一般隶属于两个不同的部门。通常外部动捕部门捕捉非标准资产需要3-7天处理动捕数据和排期之后，才能投入项目生产。在需要对动画进行修改时，两个部门之间需要对数据进行多次转换、反复迭代，代价较大且效率不高。
xMocap?借助标准化资产打通了动作捕捉与数据处理环节，可以在动捕Raw Data和骨骼动画数据之间无缝衔接，并提供了绑定工具箱、动捕工具箱、动画工具箱、导出工具等，可以完成角色绑定、动捕数据处理、重定向、动画修复、导出到引擎等角色动画全流程的任务。
对比传统的工厂，这些工具箱就像制造流水线上的一个个机器人一样，被放在不同的生产环节，最后连起来组成了一条生产线。
在这样的生产线下，动捕数据可以在1-2天，甚至当天被处理完成，管线的自动化程度能达到50%，是一条可以快速生成高质量3D角色动画的完整的、流程化的闭环管线。
[ xMoCap?和腾讯外部动作捕捉生产流程对比 ]
软硬件一体的动捕服务
NExT自主搭建的xLab动作捕捉实验室有影视级的现场动捕解决方案，给xMocap?提供了最底层的硬件基础。标准化的动捕数据采集完毕后，能与游戏生产无缝结合。
xLab动作捕捉实验室优势：
- 20米（长）×12米（宽）×4米（高），最多支持7人同时动捕
- 42个专业vicon vantage16光学摄像头
- Timecode支持
- 虚拟相机
- 信号切换器（分屏切换）
- 1600万像素传感器，每秒最高帧率24帧
- FACEGOOD面部捕捉头盔支持3人同时面捕
- 影视级摄像机、视频信号传输和灯光
[ 影视级现场动捕 ]
一键生成标准化动画资产
xMoCap?可以单个处理或批处理来自OptiTrack、Vicon和Xsens的动捕数据，并且把动画数据自动retargeting到项目的角色上，还可以批量传输动画资产到Max/Maya，是一个满足项目大部分需求的动画数据处理和批量传输工具。
[ 工业级动捕工具箱 ]
xMoCap?可以一键实时把动画重定向到任意角色上，全程自动化无需人工干预。
[ 实时重定向 ]
在精修阶段，xMoCap?的动画工具集可以大幅减少动画反复修改和打磨的时间。经过多个项目的磨合和长时间的积累，xMoCap?定义出了一套资产标准和相应的标准资产管理器，从而保证了大型团队能够流畅和高效地协作。
丰富的自研算法和动画工具
xMoCap?以业内最先进的Vicon动捕设备为依托，基于Shogun和业内最受欢迎的MotionBuilder、Unreal等软件进行了二次开发，保证了动捕数据和动画的质量。对于最容易出问题的角色四肢，xMoCap?自研了“动捕数据自适应重定向接触动画解算器”和“脚部自动修复工具”等，提高了角色四肢的动画质量，节省了美术手工处理的时间和成本。
动捕数据自适应重定向接触动画解算器
动捕演员的身高比例与游戏角色的身高比例不一致通常会导致角色四肢穿插。目前市面上常见的技术方案以手工修复为主，一般需要等待数小时甚至数天才能得到几十秒到几分钟的最终动画，这类技术通常很难满足动画师或者导演的创作和时效需求。xMoCap?基于动捕数据的特点，提出了一种轻量物理计算方法来自动修复角色接触动画。在重定向过程中，针对当前角色创建碰撞体，然后进行碰撞检测和解算，并提取关键帧和添加滤波，最后修复动画，使得角色动画最大程度的逼近动作捕捉的数据，数据精修时间减少30+%。
[ 修复前后示意图 ]
脚部动画自动修复
演员每次穿脱动捕服，会导致动捕服的标记点点位和旋转不一样，有时脚的形态会比较奇怪，如果通过默认参数做重定向，有时很难恢复原始动画的质量。xMoCap?通过算法一键自动优化脚步动画，能够快速进行动捕数据重定向处理，通过旋转矩阵的方式能够优化脚掌的动画损失和形态。
[ 脚部动画自动修复算法：修复贴点误差 ]
[ 脚部动画自动修复算法：脚部匹配地面 ]
多样化的自研动画工具
xMoCap?拥有多种丰富而实用的动画工具，可以帮助动画师提高工作效率，赋能创意发挥和动画制作，包括动画剪切、创建动力学动画、修滑步、Story烘焙到Take、武器动画导出、镜像动画、移动动画片段归0帧、动画融合、动画反向等10多种。
另外，动画师在处理完动捕数据后，通常需要重新剪切动画所需的片段。Mocap Razor工具也可以实现快速剪切并且保留相应的剪切信息，可在后续流程中重复使用。
[ 动画剪切工具 ]
海量动画数据库
xMoCap? Library云端提供海量动画数据库，目前有1500+高质量动画数据，800+条自由产权动画（并且持续更新，每月增加100-200条），22+个动作类型，可以绑定后直接一键拖拽使用。
使用xMoCap? Library动画数据库，哪怕没有动捕设备，没有真人驱动，已有的A角色动作数据也可以传输到B角色使用，无论动画角色的身高比例是否一样。借助xMoCap? Library可以快速前期预研，大大提升了生成效率，降低生产成本。
[ 开源动画数据库 ]
支持多方云端协作
xMoCap?搭建了基于云端的资产管理器，3D角色可以快速入库，成为云端标准资产。云端数据和更新情况一目了然，多方协作减少沟通成本，高效闭环。标准化资产能使自动化流程更加便捷。
[ 基于Perforce服务器开发的资产管理器 ]
xMoCap未来可期
xMoCap?提供绑定、动捕、动画、导出工具箱，覆盖整个动捕动画生产流程。这些丰富的工具仿佛工厂生产流水线上的机器人一样，结合自动化工具，可以快速高质量地生成标准化3D角色动画，并对角色和动画数据进行标准化和入库。使用xMoCap?前后，动作捕捉+数据处理效率提升200%，全流程自动化程度达到50%以上。
[ 高自动化全流程 ]
xMoCap?还有很多新的功能在开发中，比如基于算法自动修复动捕数据、基于视频生成骨骼和PSD修型的支持，这些都是3A游戏开发必不可少的技术。技术也将继续不断尝试，应用到其他的社会领域，实现更多的可能。一起期待吧！