探索视效技术新路径,原力数字打造虚拟人物“新图景”

Xsens动作捕捉 2023-05-10 4337

近日,《全职高手2》即将开拍的消息,让豆瓣评分7.3,全网超40亿播放量的《全职高手1》重回大众视野,更是让剧里呈现的CG特效再次掀起讨论热潮。

探索视效技术新路径,原力数字打造虚拟人物“新图景”  第1张

《全职高手》画面采集现场

作为这部爆款热剧背后的制作公司,原力数字在创作初期,就决定采用动作捕捉、虚拟拍摄、实时渲染等科技化方案进行制作。《全职高手》的CG全部是UE4引擎的画面,所有的动捕都在原力南京动捕基地完成。整部作品虚拟画面超过300分钟,画面帧数超过45万帧,项目历时一年半,原力团队用了半年多的时间完成了后期镜头的制作工作,让精美的视效成为“点睛之笔”。

原力数字成立于2010年,主营3D数字内容制作服务,依托高品质的内容制作能力,从影视内容创制、游戏开发制作、技术研发、数字形象运营等方面进行业务布局,先后主导或参与了《驯龙高手》、《妈妈咪鸭》、《捉妖记2》、《斗战神》《铁拳7:命运惩罚》等知名游戏、影视作品制作。

提质增效,多种技术手段赋能行业创新

近年来,4k超清动画和游戏动画的深度融合成为动画产业面临巨大挑战,国产动漫也开始趋于写实与动画相结合的形式发展,从《大圣归来》到《白蛇缘起》再到《哪吒魔童降世》,动画行业正在进行新一轮产业升级。作为动画故事的主要呈现方式,技术的更迭尤为重要。

基于此,原力数字研发了重光照扫描系统。这套系统可以同时采集颜色图、高光图、法线图以及次表面散射图(针对半透明物体)等材质信息。区别于传统模型扫描的颜色图混合高光和阴影、贴图需要手动擦除高光及阴影等问题,重光照扫描系统将计算出的模型加上颜色图、高光图、法线图最终合成为整体模型一键化完成,可以有效解决写实动画制作难度、复杂度、成本等问题,进一步促进科技与艺术融合。目前,这套系统已正式投入使用。

探索视效技术新路径,原力数字打造虚拟人物“新图景”  第2张

重光照扫描系统

除此之外,原力拥有全亚洲最大的动捕棚,整个动捕棚占地 864 ㎡,立体捕捉空间约1600m3,配备40个 OptiTrack PrimeX41摄像头,可同时捕捉10个人的动作戏拍摄,6人同时高强度交互使也能确保数据完整被采集,有效减少拆场次数,降低制作成本。

今年9月,原力还增设了专为游戏制作的游戏动作捕捉专用棚。回看系统、远程直播系统,Faceware流程、Motvie系统等系统设备的运用,更好的进行面部数据和动作数据捕捉,最大程度满足各种拍摄需求、还原演员动作,灵活调整数据,为最终动画质量提供了保障。

探索视效技术新路径,原力数字打造虚拟人物“新图景”  第3张

游戏动作捕捉专用棚

作为行业顶尖的动画技术公司,原力数字每年都会投入大量的研发资金,自主研发的结合Unreal Engine的虚拟拍摄技术、重光照数字扫描建模技术、Rig-X绑定加速技术等116项软件著作权、18项发明专利、5项外观专利,大大提高了动画制作的效率和效果,促进国内动漫行业发展,着力提升国内动漫行业的国际地位。

突破“次元壁”,技术场景多元化应用

据艾媒咨询发布的《2021中国虚拟偶像发展及网民行为调查研究报告》显示,2020年中国虚拟偶像核心产业规模为34.6亿元,预计2021年将达到62.2亿元,“虚拟偶像”或“虚拟主播”的应用场景逐渐多元化。原力子公司女娲数字科技从2019年起,先后与浦发银行、兴业银行、搜狗、商汤科技等知名企业机构合作,开展多项数字人项目,积极拓展3D数字内容制作业务在其他行业的应用。

原力数字基于深度学习的数字人面部动画解决方案,从面部动作采集、面部动画绑定及声音驱动三个角度全方位提升超写实数字人面部动画制作效能,从而实现了从智能计算到动画生产制作的应用落地。

数字人面部动画解决方案

此外,原力研发团队研发出了一套基于神经网络的面部绑定加速系统,以及模拟面部肌肉运动的面部实时绑定系统,根据原有绑定结构,分析当前场景中所有绑定相关控制器,自动随机生成海量训练数据并发送到云端进行训练。该神经网络定制节点带有原绑定系统的所有控制器控制参数,用户只需要调节控制参数就能实时在当前场景中看到3D角色面部上对应的变形效果,大幅度提高推理速度。

探索视效技术新路径,原力数字打造虚拟人物“新图景”  第4张

基于神经网络的面部绑定加速系统

原力还实现了对语音数据的泛化以及对于多种数字人角色的泛化功能,解决了如何自动实时生成说话的准确嘴形动画这一难题。日前,全球首位3D版AI合成主播“新小微”就是由原力数字团队研发制作的,使用新华社记者为原型,采用最新的人工智能技术进行“克隆”,同时配置数字人面部动画等多项顶尖技术,使得“新小微”能随时变换发型,更改服装,穿梭于演播室的不同虚拟场景中。

探索视效技术新路径,原力数字打造虚拟人物“新图景”  第5张

全球首位3D版AI合成主播“新小微”

在行业领先的扫描还原、面部肌肉驱动、表情肢体捕捉等全套3D数据服务和驱动技术支持下,仅需一个月的时间就可以打造一个初始的虚拟角色。除新华社的“新小微”外,浦发银行首位数字员工“小浦”、兴业银行3D虚拟迎宾数字人“小兴”、全球首个手语AI合成主播“小聪”等都是原力数字打造的虚拟角色。

未来,原力数字将积极把握消费升级和产业融合背景下3D数字内容制作行业的发展机遇,将3D数字内容制作服务拓展至金融,教育,医疗,汽车等更广泛的行业应用领域。

原力数字作为行业领先的制作公司,正在自建数字内容创新技术平台,利用开放协作平台吸引行业内的人才、公司,统一技术标准和流程,整合上下游资源,突破产能瓶颈。原力数字将加大数字信息技术研发与创新投入,注重新兴数字信息技术与3D数字内容制作领域的融合,为客户创造更大的科技附加值。

The End