腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020

Xsens动作捕捉 2022-11-28 12284

在今年腾讯游戏学院举办的第四届腾讯游戏开发者大会(Tencent GameDevelopers Conference,简称 TGDC)上,来自腾讯互动娱乐光子技术中心的Kevin Wang,担任Lead Motion Technician,他曾经参与《阿凡达》《战神》《最后生还者》等超过 50 多款游戏与主机游戏制作,在本次大会上他揭秘动作捕捉在游戏中的开发与应用。以下是分享分录:


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第1张


大家好,我的名字叫做 Kevin Wang。今天跟大家稍微聊一聊,动捕的相关资讯。在今天开始我们的话题之前,我想要跟大家一起看一段影片。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第2张

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第3张


这是一个关于什么样的视频呢?看起来有点粗糙,又有点复杂,对吗?其实,如果你有反光球,与红外线相机,要做出上面这一系列看到的动画,其实并不是个难事。那今天,让我们进入到我们的主题《动捕》。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第4张


在动捕开始之前,我先稍微做一下自我的介绍。我的名字叫做Kevin Wang,我在动捕界已经做了有超过20多年的经验,我有做过电影比如说《阿凡达》,游戏类产品比如说《死亡搁浅》《战神》《最后生还者》等等。让我们进入今天的话题。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第5张

 

动捕在游戏开发中的价值点


我规划了以下的五个不同的项目:


第一点,节省人力、时间与开销。大家想一想,今天如果我们有一款游戏要用手K的方式去呈现出我们所有的动画,比如说我们要做200分钟的动画,可能需要请到大概七八个动画师,花费比如说半年的时间,然后以手K的方式去把它呈现出来。那如果以动捕的方式去做的话,我们也许只需要两天到三天左右的时间,就可以录取这200分钟的动画,然后把这些动画转移到3D角色上面。做出一系列后续的细节上面的清理,也许只需要花大概一个月不到的时间,我们就可以达到相同的效果,甚至于更逼真的动作。所以说整体上来讲,这是一个节省人力、时间与开销的事情。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第6张


第二点,以最快的方式呈现实时的概念。刚刚看到的那一段影片里面,基本上就呈现出了这第二点的意思。我们导演脑中有一个想法,说今天我的这个预告片要怎么个拍法,怎么样剪接方法,镜头怎么个架设方式,之后请演员去把它演绎出来,让导演能够去拍摄这些镜头,之后去做出剪接,这一整个的过程。大家看到那个影片从剪接、拍摄到最后的Blocking,把这些镜头切在一起,这一整个周期可能只花了一个星期不到的时间就可以完成。


第三点,可以用相同的数据拍摄不同的镜头。大家想想看,我们做动捕比如说有两个人在演对手戏,那么可以把他的动作,捕捉到电脑里面,之后如果想要去拍这些镜头的时候,我们可以很快地把捕捉下来的这些动作播放出来,再实时地去搭建我们要拍的镜头,所以说这是一个非常省时的方式。那如果是在一个电影的场景里面用真人去拍摄的话,如果要搭建这么多个镜头,演员肯定要重新地去演绎这个场景,可能要演绎个很多次,但每一次演绎下来,也许中间都会有少许的差别,所以说这是另外一个动捕的优点。


第四点,可以利用多个角色去当替身。今天我们看到照片里的《死亡搁浅》的主角,比如说Norman Reedus他实际上在动捕场地里面拍摄的这些动作,可能只有大概5分钟到10分钟,其他所有额外的这些动作是我们请不同的替身来拍摄的。之后把这些数据再转移到他的角色上面,那中间也许有大概三到四个不同的人去演绎他的角色,所以说我们可以利用多个替身去达到相同的效果。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第7张


第五点,动捕让细节更为逼真。如果以手K的方式去做动画,最困难的其实是怎么样去看个人的施力点与受力点。举个例子,比如我们站久了,我们有的时候人会往一边倾,比如说把力量放在左脚。那左脚站久了以后也会歪一边,力量换到右脚。那中间这个取力与卸力的过程,其实是在手K里面,比较难展现出来的地方。


这些是我规划出的五小点,动捕在游戏开发中的价值。接下来我们来看看今天要讲的一些五大项目的事情。

 

市面上比较常见的动捕硬体分类


第一类型,电磁类。电磁类的运作方式是它有一个中央磁铁,然后与很多不同的接收器在这个演员的身上,这个接收器其实是绑定在他这一套动捕服的上面。所以说基本上你只要把这些接收器调到应该调的位置,你就可以去进行很好的拍摄。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第8张


好:


  • 方便使用,因为你衣服穿上去接收器稍微移一下,你就可以开始拍摄了。

  • 成本低,这一套衣服大约2000到3000块美金。

  • 不受场地大小的限制,可以在家里,比如客厅就可以拍摄出一系列的动作。


不好:


  • 动捕衣服的尺寸不同。如果说要拍一个男的有六尺高,基本上这套衣服他是穿不下了,我们需要买另外一套全新的动捕服。那有的人胖、有的人瘦,有的人高、有的人矮,有男有女,所以说基本上我们如果要拍多个不同的角色,我们需要买很多套不同的衣服


  • 无法捕捉道具。大家可以看到,现在这套衣服身上所有的这些接收器,都是由线去连接到它的中央磁铁的。所以说我们并没有办法去拿任何不同的道具,把额外的接收器连在这个道具上面,所以这是没有办法去实现的。


那这一套电磁类的衣服最好展现的方式就是一个proof of concept。我们现在有个想法,不需要很干净的数据,我们来试试看,这个动捕下来的数据,跟我们镜头里面的拍摄就是能达到一个比较好的效果,我们先试着去看一下。用这一套衣服,我觉得是一个很好的选择。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第9张


第二类型,光学类。光学类就是之前我们在影片里面所看到的那一套系统。这一套系统运作的方式,大家可以看到在上面有很多台不同红色的红外线相机,这些相机它唯一能够截取到相机里面的数据,其实只有这个反光球的球点,基本上它是看不到整个人的。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第10张


这个反光球是一个非常软的塑胶的球做成的。基于在很多动捕的时候,我们会请演员,比如说在地上滚这些东西。如果这些反光球比较硬它会压着,比如说会受伤等等,所以说我们选择了软的反光球。另外一点,这个动捕光学的硬体,它有好处,也有坏处。


好:


第一点,它因为场地大,所以可以拍很多个人同时地做一些事情,比如说可以拍6到7个人,这是没有问题的事情。基于这个场地够大,我们想要拍狗,想要拍马这些,都是没有问题的。


第二点,它可以拍摄不同大小形的道具。像我们刚刚看到电磁类的系统无法拍摄道具,那如果有刀有枪,比如说现在在照片里面有斧头、有盾牌这些东西,我们都可以在这些道具上面上不同的反光球,让这些红外线的摄像机去追踪这些反光球的点,之后去计算出这些武器,或者道具所在的位置点。


不好:


第一点,这整套的硬体非常昂贵,大概3、40万美金左右,然后还需要租一个专门拍摄的大场地。


第二点,因为后置,要花很多的时间。刚刚我们有聊到所谓反光球被遮挡,就是这些摄像头看不到的话,我们要怎么样在后置里面去把这些反光球重新地找出来,去定位它,我们才能够把整个数据,做一个非常完美地转移。


动捕的迷思


接下来看一下动捕的迷思。这是过去我大概15、20年来,碰到一些人问我的问题。现在我跟大家稍微解释一下。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第11张


第一点,数据拍摄完可以马上进引擎?这一点其实是不对的,因为我们请来的演员,与实际上3D的角色,通常都是不会1:1。比如说请来的演员,过高还是过瘦,那我们的角色,也许比较矮,也许比较壮,所以说这些东西都会产生不同的数据在演员身上。导致于就是说,我们之后要做这些数据上的清理,你想要它马上进引擎也是可以,只是这个数据来说不是一个非常干净的一个结果。如果拍摄一个比较壮的人,我们想把这个数据放在比较瘦的人的身上,当这个壮的人比如说手碰肩膀还是说叉腰,在一个比较瘦的人的数据上,看起来就会他的手臂没有叉在腰上,因为演员身体的宽度是这么宽,3D角色的身体其实只有这么窄。所以说我们需要去做后续的调整、清理手指的这些触碰的地方,之后才能够进引擎。


第二点,所有输出的动作都会与演员无差?就像我刚刚所解释的,基于演员与我们3D角色身材、身高上的不同,所以这些数据还是会有些许的差别。


第三点,道具要以真实的道具为主?这也不是一个真实的东西。以枪械来讲好了,比如我们拿一把冲锋枪,这把枪非常得重。如果我们要请演员拿一把枪,然后做出不同的演绎。一天下来,他其实会非常非常地累。所以通常我们会以一个塑胶管,包一些胶带,里面包了一些软棉,让它去演绎出枪的效果。如果导演说我们要拍一个cinematic的场景,想要去展现出这个枪的重量,我们会给演员一个真实重量的枪,可是一把假枪让他能够去演绎出这把枪的重量。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第12张


第四点,如果用了动捕,就不需要动画师去手K了?其实这也是一个完全错误的观念。第一点是因为今天不是所有的东西都可以用来做动捕。比如说我们今天有一张纸好了,因为纸会飘,所以我们把反光球上上去的时候,它也没有办法很容易地去固定,做一个Rigid body反光球的点。再加上比如车子、飞机这些东西,都比较难去达到动捕的效果,所以还是需要动画师之后去加强这些动作,然后去手K做出这些无法动捕的动作。再到之后的程度,我们做出脸部的动捕、身体的动捕,这些数据上的清理还是需要动画师的帮忙,去完成这一系列的数据。


动捕的准备与拍摄的过程


这是动捕准备的经验之谈,我通常会在开拍的两个星期之前,问一下客户,你们想要拍什么样的动作、与我们需要准备什么样的道具、搭建一些什么样的场景。那基本上我会在这两个星期之内,在客户来之前准备好所有需要搭建的道具,测试好所有需要用的道具是不是都能够可行。之后当客户来的时候,不会浪费他们拍摄的时间,因为我们把这些工作之前已经做好了。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第13张

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第14张


大家现在可以看一下这个影片是在索尼的场地里面拍摄的一个高难度的特技动作。在之前我们搭大型场景的时候,发现搭起来都没有问题,可是当演员真的上去开始跑了,跳起来之后,我们发现这整个架子摇晃得很厉害。所以我们当下马上发现需要去固定这个东西,固定它的方法是找一个更重的东西去绑定它,所以我们拉了这一台升降机过来,绑在这个架子上面,让它能够比较固定地定位在这边,让演员不会觉得这是一个会受伤的场景。所以说我们需要有非常好的应变能力与想象力,才能够在最短的时间之内达到最完美的要求。


在接下来我们看到的是拍摄的时候。我们现在准备好了之前要拍的道具,团队来到现场准备要拍摄了,那我们要做些什么动作呢?


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第15张


第一个,要做Calibration光学摄像机的校正。在拍摄的动捕场地里面有很多不同的摄像头,我们怎么样去定位这些摄像头的点,让我们的软体比如说相机一二三四五,它们所在的位置点是在哪里,那我们就只有用这个Calibration的方式。我们会拿一个叫做反光球的棒子,在拍摄场地里面不停地上下左右挥动,让每一台红外线摄像机都能够截取到这些反光球的动作。当这些数据够了之后,在软体里面,它可以明确地计算出每一个摄像头所在的位置,之后我们才能够进行拍摄。


可如果说有人来场地不小心碰到这个摄像头的话,那我们肯定要重新地去校正整个Calibration的过程。所以在拍摄的当下通常是建议大家不要穿反光的衣服或者是鞋子,另外大家尽量不要靠近放这些摄像头角架的位置。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第16张


第二点,Calibration之后上反光球Markers。这些反光球基本上会固定于演员各个关节上面的点,比如肩膀、手肘、手腕这些地方。那动捕的软体可以很明确地去计算出,比如肩膀到手肘、手背这一边的点,这个动作是属于这一块的。反光球所在的所有位置,也是一个非常重要的事情,如果你把反光球没有上好它该上的位置,那可能得不到比较好的数据。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第17张


讲一个比较简单的例子,比如这个反光球放在肩膀的这一边,肩膀如果上下这种移动方式,可以看到其实它的移动量并不大。可如果往外面这边放,再上下移动的话,它动作会比较大。所以你需要达到什么样的效果,我们会怎么样去调整这个反光球所在的位置。


第三点,RoM (Range of motion)关节的活动拍摄。我们会请演员在开拍之前,先把它所有的关节先活动一遍,这个软体,这个人整个关节的活动度有多大,以软体计算出他整个人弯曲所有手腕,这些能够达到的位置,之后我们也会用这一系列的数据去匹配。把这些动作放到3D角色上面,用真实在场地里面拍摄的这个影片做一个对比,看看怎么以最好的方式去把3D的角色匹配到Video Reference上面。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第18张


第四点,大型动捕室的道具需求。左上角这些照片就是我刚刚所讲的不同的枪械需要不同的重量,右上角这些不同颜色的胶带就是说今天我们有不同的场景。比如说左边是条河,右边是个山,你只有这么细的道路可以走。那我们会用胶带去贴出这个道路的位置,让演员知道我不能走出这个范围之外。那不同的颜色代表不同的场景、不同的道具。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第19张


左下角是在《神秘海域》里面的吉普车,这是我们搭建出来的。右下角就是刚刚大家所看到的那个影片,就是不稳定的搭出来的道具。


现在基于以上讲解这些东西,让大家稍微看一下动捕片场的拍摄过程,能够有一个更明确的了解。大家看到这些摄像机,就是架在动捕室里面的各个方向。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第20张


现在就是在搭建刚刚所看到的那一台吉普车,这是幕后的拍摄人员、工作人员。现在他就是在做这个关节的活动,让系统能够知道他的活动范围有多大。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第21张

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第22张

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第23张

 

这实际上看他的反光球点,现在给他们戴上麦克风去收音。这是动捕的拍摄,大家看到这些枪就是我刚刚讲的以塑胶管的方式去呈现 。


动捕的后置流程


我们稍微来聊一下动捕的后置流程,基本上有五个后置的过程。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第24张


第一,Tracking清理反光球的数据。


第二,Solving将清理完的反光球数据转移到一个能够缩放的动捕角色上面。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第25张


第三,Retargeting把能够缩放的动捕角色再转移到游戏的角色上。为什么要做这个过程呢?因为游戏的角色是不能够被缩放的,所以如果演员跟游戏的角色有身高、体重、 手长、脚长方面的这些差距,我们会先上到一个能够缩放的角色上面,再把这个数据转移到游戏角色上。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第26张

第四,Motion Edit做出所有抖动,或者是有穿透的清理。比如手叉腰、碰肩膀、摸头这一方面的数据。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第27张


第五,Final motion,请动画师做出手指与道具比如纸、车子,这些细节的动作,甚至于到脸部动捕的清理。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第28张


现在我们一个一个来讲。


第一个反光球遮挡的问题。我们在做反光球数据清理的时候,把它跳出来让大家稍微看一下。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第29张


第一点,在右边大家可以看到的这个东西,原本的数据与之后设定好,这些反光球位置点的数据。大家可以看到,左边所有白色的球就是实际上红外线摄像机,摄取下来反光球的数据。之后我们还要去定位哪个球的点,比如说这四颗球是属于它的头部,哪一只是左手、右手,哪一个是左脚、右脚,全部规划好了之后我们才能够看到一个3D的效果。这是属于反光球数据的清理。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第30张


第二点,Solving,把数据转移到一个能够Scalable放大与缩小的人物上面。大家可以看到右下角这个图片的手的长度,它有三颗反光球,应该是在手背的这两个点跟手腕的这一边,这三个点是在这个方向上。可是大家可以看到在右下角上面的这个图,这三个点已经跑到了手指这一边。所以我们现在需要缩放这个手臂,让它反光球的点能够达到实际上演员,当初所设定这些反光球的位置。可以看到在右下角的图上面,我们会稍微移位它,让它达到它应该达到的位置。


第三点,Retargeting,动捕数据角色的绑定。基于我们刚刚所讲的人物的身高、体重都有差别。所以我们会在这个环节做出很多的细微地调整。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第31张


大家可以看到这个手其实两边是合不上的,一个高一个低,那是因为我们还没有做成一个比较完整的清理,,所以这是一个还需要调整的步骤。大家可以看到红色是之前拍摄的数据,灰色的就是棒球球员的数据。这是一个Retargeting动捕数据角色的绑定。


 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第32张

第四点,Motion Edit Assembly,就是我们刚刚所讨论的身体穿插的这些问题,还有我们拿了道具、手指会穿透这些东西。或是今天拍摄了两个不同的动作,一个人在跑忽然一下我们让他在地上滚,也许我们先拍跑的动作,拍完第二个动作。我们再拍地上滚的动作我们也会在Motion Edit这个部门,去把这两个动作融合成为一个动作,这个是所谓Motion Edit的部门。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第33张


第五点,Final motion最终的数据清理。在这个部门里面,如果有做脸部的动捕,我们会在这个部门里面把脸部的动捕达到更淋漓尽致的效果,以手K的方式去加强它。我们也会以手K的方式去展现出这些无法展现出MOCAP 动捕的这些道具,比如说纸、车子、飞机这些东西。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第34张


脸部动捕与虚拟相机的使用


在最早之前脸部动捕的方式,是让演员坐在一张椅子上,前面也许有大概三四十台相机,脸上也会放很多小小的反光球的点,比如说像《北极特快车》,它就是用这个方式去做的,这是一个非常浪费时间的方法。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第35张


基于现在时代的变迁、技术的成长,现在有头戴式的头盔能够去做动捕。这个头戴式的头盔,它前面有个小小的摄像头,能够录取脸上所有的表情。之后能够与身体的数据去同步,达到一个非常好的脸部与身体,动捕的效果。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第36张


我们来讨论一下虚拟相机。其实红外线相机与反光球,就等于是动捕最基本的要求。基本上红外线相机所有的这些定位点都找出来之后,把这些反光球的点放在iPad上面,放在不同的东西上面,把它constrain到一个假装的 virtual的view point上面。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第37张


我们可以很明确地发现,今天我放三个反光球点在这个东西上面怎么样移动,让我们可以在场景里面实时地看到这个东西是怎么的移动方法。如果我们在Motion Builder里面加入一个Camera,把它constrain在这个东西上面,基本上Virtual camera就这么形成了。


大家现在看到照片里面有很多的按钮这些数据是之后可以加的,比如说要加怎么样推进、拉远,还是怎么样把数据播放出来,怎么样去录这个数据、录这个镜头等等,这些东西都可以在Virtual Camera上面完成。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第38张


让大家稍微看一下Virtual Camera的运用,这是我大概在十年前拍摄的讲解。


大家可以看到手上拿的手电筒这些东西,其实都是塑胶棍棒。这个摄像机其实上面放了很多反光球,所以说这些红外线的摄像机能够去定位这些反光球的点,去追踪虚拟相机所在的位置点。这是我之前的同事,他在说今天我们能够把摄像机把它constrain到这台吉普车上面,就等于它所有的动向方面,就是说它的Translation是没有办法动的,因为是跟着车子走的。可是它的Rotation方面,他能够左右地去操纵它。那之后我们也可以以软体的方式去松开绑定,让它能够自由地活动。这位我之前的同事在讲解的这块部分,打枪的这个场景是之前录好的,所以说我们可以把之前录好的场景,跟真人实际上的动作能够结合在一起。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第39张


大家现在想想看如果拍电影,要想从五层楼高的高度拉到一层楼,我们一定要去租一个很大的手臂才能拍摄到这种效果,可是以虚拟相机的运用方式,我们能够在软体里面,从头部移到胸部这个位置,希望它是从五层楼到一层楼的移动高度。大家现在可以看看,他拿到头的高度,实际上在银幕里面看到的高度其实是非常高的,他慢慢降下来到他脸部高度的时候,已经达到地面的这个程度了。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第40张


所以说这些东西,都是可以在虚拟相机里面去做出调整的,这是一个非常省时省力的事情。因为你可以得到一个认证,你不用租这么多东西实际上去拍,发现说这个东西行不通,我们可以在虚拟相机里面看到所有这些能够达到的效果。


动捕整体在游戏中的流程


这是我从过去20年来,一个比较快速地整个游戏流程的经验。第一在做游戏之前一定要非常好的构想、概念。有了这个概念之后,我们才能够请2D的手绘师,把这个场景与这个人物给稍微地画出来。画出来之后请3D的建模师,做成一个3D的模型。基于做成的这个模型并没有骨骼,没有办法去手K动画,上动捕的数据。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第41张


下一个环节就要进行骨骼的绑定。我们请一些TA,这些Rigging的人帮忙把这些道具、人物做一个骨骼的绑定,绑定之后就会进入到一个所谓的分镜脚本的部门。Storyboard artist会以一个一个的方式画出来他想呈现出Cinematic的场景,就是这些人现在是什么的动作,镜头大概在哪一个方向。有了这个画出来的Storyboard之后,才会进入到Previz Layout镜头创作的部门。


在这个部门里面,这些员工会很快地以一个手K的方式,把这个3D的人物稍微地以之前Storyboard的方式去展现出来。动作方面也会很快速用手K的方式,比如从A点走到B点可能只是滑动过去,把这个镜头带起来,做一个认证的效果,之后去做一些剪接。


如果整体看起来是没有什么大问题的话,我们才会进入到动捕,把之前这些手K的数据转换成真人动捕下来的数据。那这些数据转移下来之后,我们会做数据上面的清理,比如像之前讲的这些人,比较高的人要上到比较矮的人身上,或者说胖瘦不同。那这些数据,我们都就要经过一系列的清理,然后才能够再回到这个镜头的部门,让他们去做验证。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第42张


我们为什么要做验证呢?比如说之前用手K的动画,一个人从A点走到B点,他可能只K了大概两秒钟的时间,可是实际上我们用动捕拍摄的话,我们发现这个人从A点走到B点花了3秒钟的时间,相对之前搭的这个镜头就不会100%的能够去跟随这些演员的动作。


所以说当动捕的数据做完了之后,我们还会送回到这个镜头的部门,让他们去更改他们这一系列的之前搭设好的镜头,让它能够去跟随这些动捕的人员,就是跟随动捕的这些3D人物一起去运作。


当这些镜头也确认了,这些Motion Edit也做完了,我们会进到这个Final animation动画加强的部门。在这个部门里面,这些动画师会去加强手指的这些动画,也许说做脸部动捕要怎么样去拉到一个更好的效果。车子、纸、飞机这些东西,没有办法去用动捕做出来的数据,我们也会要求动画师在这个环节里面完成。


接下来几个环节如Effects、Simulation、Lighting、Rendering,这些东西现在基本上在引擎里面是可以完成。可是以Cinematic的方式来说,比如说衣服的动法,或者头发的飘动方式,在接下来光效渲染这个部门怎么样打光,就是在这个场景里面,让这些人物看起来是最为一体,最像在这个场景里面互动、最有Dramatic effect,就是最能够去说服人的一个打光的方式。然后我们把它给渲染出来,再把它进入到引擎里面。这是一个比较快速的,整个游戏与动捕,在这游戏中环节的过程。


了解这些过程之后,我们来看看最后的一个影片。这是《最后生还者》动捕,与最后输出对比。第一个影片基本上让大家看到动捕的场景,与这些快速动捕下来的数据上到这个人物上面的整个过程。那基于我们今天所聊的所有的东西,加上刚刚的Pipeline流程,先让大家看一看最终的成果。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第43张

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第44张

 

大家可以看到,左上方是所谓的镜头创作,Blocking所有的东西都是以手K的方式去进行的。在之后我们进入到2动捕就是真实的动捕的数据。再上到3数据里面把这个镜头稍微去优化一下,能跟随这些动捕的人物。到最后的成品,就是艾莉在捡子弹的时候,她的手其实没有做动捕,因为子弹太小颗了。这些都是之后,在动画师那边要完成的地方。大家看捡子弹就在这个环节。


希望大家在看完了这些影片之后,能够对这个动捕有更深入的一层了解。


QA环节


一、动捕发展至今,您认为其定位是什么?动捕仍是比较顶级的技术手段吗?还是已经成为游戏常规研发流程的一部分?动捕未来还有怎么样地一个进化?


答:我跟大家解释一下,我在20多年前开始做动捕的时候,一颗反光球就像一颗乒乓球一样大,然后它是一个硬的反光球,并不像现在做成一个软的。为什么呢?最早之前因为这些红外线摄像机里面的Sensor非常小,所以它的能见度是非常得低,我们一定要把反光球做到非常得大它才能够截取到这些数据。然后截取下来的数据是直接到电脑里面,它不会做出任何的计算。


可是现在20年之后,现在在外面普遍在使用的这些红外线摄像机,它不但是可以截取到更精细的这些数据,比如人脸上的这些小的点,还有这些反光球,软的反光球,这种小的反光球,它甚至可以把截取下来的这些数据,在这些红外线的相机里面做出一系列的计算,之后把计算出来的成果再放到电脑里面。所以基本上,它会省略很多的时间。

 

腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第45张


这是一个动捕的相机从过去到现在的一个演变,那动捕将来还有什么样的变化?这个很难讲,随着硬体日新月异的发展,我觉得之后发展的空间还会很大。但之后比如说在家里面,大家看到Xbox Kinect这些东西,已经可以稍微做出比较简单地动捕的一个趋势。所以我觉得之后在家里面能够完成动捕,也是非常有可能的事情。


二、在游戏动捕过去比较常见于主机游戏的大型单机游戏,随着手游玩家的需求和移动设备性能地提升,它会不会成为手游的一大趋势?


答:这个我觉得是非常有可能性,例如我们说做一系列的Locomotion好了。在以前的做法是15度角、30度角、45度角、60度角,然后这样180度,我们每一个方向都要拍一次。那现在因为我们慢慢的有更新的Engineer发展,所以在目前的科技上,我们能够做到所谓的Motion Matching,就是它能够让电脑实时地去计算出来每一个人启动的方式,中间要怎么去匹配这个动作。相对的就是说,这些数据变少了,电脑能够计算出来的话,那我们也能够去优化这些Data。所以今天如果说拍摄了900个,我们说一个GB(Gigabyte)的数据好了,我们如果能够把它压缩到大概几十个Megabyte的话,那进手机是完全没有问题的。那在现在的过程当中,这已经是在慢慢实现的一个效果。


三、在大型的场景里面,我们是怎么去做拍摄的?


答:想跟大家解释一下,如果一个非常大的场景,我们拍摄的场地没有这么大,其实没有关系,我们可以把这个大的场景规划为几个不同的小场景。比如说我们可以把这个大的场景规划为六个不同的小场景,每一个小场景里面我们可以用胶带贴出该走的范围、不应该超过的范围,或者用一些苹果箱Apple box去搭出这个桌子或椅子所在的位置。


基于拍完一个场景之后,我们可以再拍第二个场景,用相同的动捕场地,不同颜色的胶带再去重贴出第二个场景该走的位置。之后我们能够把这些数据去联合起来。

 

最后幕后花絮:反光球惹的祸


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第46张


大家现在看到中间这张照片,这张照片的所有人员是《Polar Express》北极特快车的幕后工作人员,他们都是动捕的幕后人员。在拍摄了大概两个月之后,终于有一天。在最后拍摄动捕的这一天大家觉得有这个机会跟这个主角Tom Hanks 汤姆·汉克斯做一张合照,可是殊不知这个拍摄的人忘了把闪光灯关掉,所以说现在幕后人员唯一可以留念的一张照片,跟汤姆·汉克斯留念的一张照片,就是中间这个脸在发亮的这个人。相对的大家看到在右边的这个女士,除了两个炯炯看着你的这个眼睛之外,基本上我们是看不出来这个人是谁的。所以说这个反光球,其实有它的好处,也有它的坏处。


给大家的建议就是,如果之后去光学的动捕室做动捕,如果他们有脸部的反光球的话,你如果想要跟这个演员合照,那切记把闪光灯关掉。要不然的话就会发生现在大家看到的这个悲剧,没有留念的照片。


好,那今天我的演讲就到此为止,我希望大家能够在今天短短的45分钟之内,能够对动捕有一个更深层地了解。


谢谢大家来聆听我的演讲,希望你们都有美好的一天,拜拜。


腾讯互娱Kevin Wang:动捕在游戏中的开发与应用流程丨TGDC2020  第47张

  • 投稿邮箱:news@GameRes.com

  • 商务合作:Amber(微信:lcxk6876767)

  • 其他合作:老林(微信:sea_bug)

The End