《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉

Xsens动作捕捉 2023-04-22 3764

内容一览:在春节档科幻电影「流浪地球 2」中,主演吴京、刘德华、沙溢等人饰演的角色,跨越 14 年之久,视效团队正是借助 Deepfake de-aging 技术,呈现出了演员不同年龄段的容貌。

关键词:De-aging Deepfake 流浪地球

本文首发于微信公众号:HyperAI超神经


「流浪地球 2」上映 8 天,总票房就已经突破了 24 亿,打破 36 项纪录,获得 91 项里程碑成就。其中,21 岁小鲜肉刘培强(吴京饰),以及年轻帅气图恒宇(刘德华饰),给观众留下了深刻的印象。


流浪地球官方微博发布的一段视频中,讲述了换脸特效背后繁复的工程难度。


重播

播放

00:00

/

00:00

直播

00:00

进入全屏

50

    点击按住可拖动视频

    吴京:不要被我年轻俊美的容颜吓坏哦

    视频来源:@电影流浪地球官方微博


    在知乎提问「《流浪地球 2》幕后有哪些不为人知的制作难题」中,《流浪地球 2》视效总监、MOREVFX 创始人徐建,坦言技术上第一难点就是「De-aging」数字换龄。


    查看徐建完整回答,请访问:

    https://www.zhihu.com/question/579613527


    数字换龄,45+ 吴京变身 21 岁小鲜肉


    de-aging 是一种应用于影视作品的视觉特效技术,是指利用数字编辑 (digitally editing) 或计算机绘图 (computer graphics,简称 CG) 技术,实现演员在特定场景下的年轻化。


    在电影「流浪地球 2」中,演员吴京、刘德华、王智等多人饰演的角色,都涉及到了角色年轻化,即 de-aging。


    《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉  第1张

    用吴京年轻时的 2D 素材训练 AI 模型进行 de-aging 为实拍素材完成换脸

    一个小番外:根据电影剧情推算,刘培强出生年份正是 2023 年。


    以吴京为例,现实中吴京在拍摄这部电影时,年龄 45+(根据百度百科资料推算),但是电影中 2044 年时的刘培强只有 21 岁,45+ 的演员挑战饰演 21 岁的「小鲜肉」,着实需要点技术加持。


    3 大主流 de-aging 方法梳理


    实际上,当时全世界主流的 de-aging 方法共分为 3 类。


    方法 1:完全电脑生成

    代表公司:Wētā FX

    代表作品:「双子杀手」

    上映日期:2019 年

    主要演员:威尔史密斯

    年龄跨度:51 岁→23 岁


    该方法分为两个主要步骤:


    * 制作数字人并进行 de-aging


    通过演员佩戴的表情捕捉设备,扫描演员并生成数据库,制作目标演员的数字人,然后根据演员早期职业生涯剧照及视频素材,对数字人进行 de-aging。


    * 基于演员佩戴的动作捕捉设备,对数字人进行动画制作


    根据「流浪地球 2」视效总监徐建在知乎的分享,此方法预算高、国内相关人才不足,且身上的设备可能会影响打斗场景拍摄及演员表演情绪的传达。

    《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉  第2张

    威尔史密斯佩戴设备进行动作及表情捕捉


    方法 2:仅电脑生成脸部

    代表公司:工业光魔

    代表作品:「爱尔兰人」

    上映日期:2019 年

    主要演员:罗伯特·德尼罗

    年龄跨度:75+ 岁→40 岁左右


    在电影「爱尔兰人」中,工业光魔开发了一种无需佩戴物理设备或在面部做标记的 de-aging 技术,演员被三台摄像机设备环绕拍摄,一台为正常拍摄机位,另外两台负责记录 de-aging 需要的数据,通过拍摄红外镜头收集必要数据,以数字方式再现表演。


    《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉  第3张

    摄像机记录的数据结合光线影响对角色进行 de-aging 摄像机记录的数据结合光线影响 对角色进行 de-aging


    方法 3:基于 Deepfake 算法生成

    代表公司:Lola VFX

    代表作品:「美国队长 3:内战」

    上映日期:2016 年

    主要演员:小罗伯特唐尼

    年龄跨度:50 岁左右→20 岁左右


    在电影「美国队长 3:内战」中,视效团队利用小罗伯特唐尼早期的影视作品、视觉素材,训练基于 Deepfake 算法的 AI 模型并完成换脸。


    《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉  第4张

    Deepfake 年轻版钢铁侠 Tony Stark


    据「流浪地球 2」视效总监徐建介绍,早在电影开拍一年半之前,视效团队就开始了技术实验,测试了 5、6 种换脸方法后,视效团队最终决定采用 de-aging 方法三,基于 Deepfake 算法用演员年轻时的 2D 素材训练 AI 模型,最终迭代 500 多万次后,替换实拍素材。


    人脸年轻化及增龄的论文梳理


    《Production-Ready Face Re-Aging for Visual Effects》


    DisneyResearch 团队提出了一个 Face Re-Aging Network,简称 FRAN,可以在不丢失身份的前提下,自动重塑视频中的人脸图像,实现目标人脸年轻化或增龄效果。


    《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉  第5张

    输入人像年龄 35 岁 上下排分别为 re-aging 为 65 岁和 18 岁


    阅读原文:

    https://studios.disneyresearch.com/app/uploads/2022/10/Production-Ready-Face-Re-Aging-for-Visual-Effects.pdf


    《High Resolution Face Age Editing》


    本篇论文提出了一个用于面部年龄编辑的 encoder-decoder 架构,使用一种简单的方法实现了高分辨率人脸年龄编辑,可以输出 1024*1024 分辨率的图像。


    《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉  第6张

    依据输入人脸(黄色框) 输出不同年龄段的高质量人脸图像


    阅读原文:

    https://arxiv.org/pdf/2005.04410.pdf


    《Only a Matter of Style: Age Transformation Using a Style-Based Regression Model》


    本篇论文提出了一种图像到图像的转换方法,直接将真实的面部图像编码到预先训练好的无条件 GAN 的 latent space 中,进行老化转变。可以仅凭试验者的一张照片就生成全年龄阶段的容貌,精确到每一条皱纹。


    《流浪地球 2》 Deepfake 小试牛刀,45+ 吴京变身 21 岁小鲜肉  第7张

    使用论文提出的 SAM 架构生成的老化结果


    阅读原文:

    https://arxiv.org/pdf/2102.02754.pdf


    像素级换脸技术任重道远,仍需行业规范


    「流浪地球 2」中,年轻刘培强和图恒宇的呈现,虽然是基于 Deepfake 算法实现,然而通过考察众多相关论文,结合视效总监徐建的介绍,我们得知在电影制作的后期,仍需专业后期人员对换脸后的角色进行繁复的完善和修复。


    这是因为换脸技术在一些细节处理上仍存在不足,如表情生硬、眼神表情不自然,这些「不协调」在电影大荧幕上无疑会被放大,给观众带来不适。


    减龄及增龄算法的发展,要实现与影视作品中的角色「完美适配」,恐怕还有很长的路要走,而如何监控 Deepfake 这项技术不被滥用,也是工业界、科技界乃至普通用户不得不面临的一个潜在风险和挑战。



    参考链接:

    [1] https://www.zhihu.com/question/579613527

    [2] https://onlinelibrary.wiley.com/doi/full/10.1111/oli.12302

    [3] https://www.respeecher.com/blog/de-aging-technology-changing-hollywood-future-film-making





    —— 完 ——

    The End