数字人怎么做到越来越像“人”

Xsens动作捕捉 2023-05-10 2530

#头条创作挑战赛#

随着数字人的热度越来越高,各行业运用的应用场景越来越丰富,数字人也越来越被大众所知晓。特别是2022年下半年到2023年的1月份,比如北京冬奥会的开幕式表演、气象播报、手语解说中频频现身;数字人主播在电视台中的主持。各种晚会与明星互动表演:2022年江苏卫视跨年晚会舞台上,“虚拟邓丽君”便与周深共同完成了《大鱼》、《小城故事》和《漫步人生路》三首歌曲的合唱;2022年5月18日,首个文博界虚拟宣推官文夭夭:唐代花钿妆容,双髻丸子头,着一袭淡雅长裙,腰系唐朝花鸟镂空香熏球。

数字人怎么做到越来越像“人”  第1张

本文就数字人的形象类型、不同类型的制作周期与限制条件、普及程度与大众认知程度、运用的优劣势以及未来发展的趋势这些维度就个人的见解与各位分享。

目前行业内根据虚拟数字人的角色形象一般分类主要有以下7种类型:

数字人怎么做到越来越像“人”  第2张

其中在目前的运用中,较为常见的有2D真人、2D卡通、3D卡通、3D写实、3D超写实这5个类型;

  • 2D真人:通过真人在专业录影棚录制的视频再加AI训练而成;用户也可以通过图片把用户的外观特征再加AI训练而成。其表情神态、肢体动作等堪比真人效果。
数字人怎么做到越来越像“人”  第3张

  • 2D卡通:通过 2D 建模生成,具有非常强的可塑性。如世界第一虚拟偶像日本梦幻歌姬“初音未来”的形象、洛天依等。
数字人怎么做到越来越像“人”  第4张

  • 3D卡通/3D写实:通过高精度原画设计、高写实 3D 建模、高水准的虚拟人引擎导入、高精度动作捕捉、最后完成精致的修帧渲染方能完成。
数字人怎么做到越来越像“人”  第5张

  • 3D超写实:超写实是指人物外观仿真度高,栩栩如生,这种虚拟人需要面部面数在1万面以上,高精度经得起360度无死角的怼拍。面部材质不仅十分接近真实皮肤的质感,还可以根据相机的距离进行自动优化,皮肤、五官、头发、肢体几近真人。如Ling、柳夜熙等。
数字人怎么做到越来越像“人”  第6张

从制作周期与制作方式维度来说明阐述一下不同类型数字人的情况

2D真人:真人形象采集,+文本/声音AI驱动,制作周期3-4周。

2D卡通:2D绘制,形象生成周期短,制作周期2-4周。

3D卡通人物/3D写实:3D绘制,制作周期2-4个月。

3D超写实:真人扫描/3D建模,制作周期3-6个月。

各类型数字人在制作流程情况:

  1. 生成:
  • 2D数字人较为简单:主要通过手绘或者美术人员来实现。
  • 3D数字人制作流程:
数字人怎么做到越来越像“人”  第7张

(1)虚拟形象设定构思:首先我们需要知道虚拟人的形象风格及类别;

(2)虚拟形象建模、建模形象绑定、动作捕捉。基于虚拟形象IP设计或真人偶像绘制原画和三视图、招牌动作表情。进行面部及身体3D建模,选择关键点,将识别关键点映射至模型上,进行绑定。关键点绑定的数量及位置影响最终效果。利用动作捕捉设备或特定摄像头+图像识别,捕捉在形体、表情、眼神、手势等方面的关键点变化。

(3)实时驱动渲染

真人演员(在虚拟偶像中称为中之人)根据制作需要进行相应表演,实时驱动虚拟数字人表演。

(4)实时内容输出互动

最终将复活的实时数字人接入实时渲染引擎。

——稍微展开聊聊(什么是恐怖谷效应):

3D技术限制存在恐怖谷效应。所谓恐怖谷效应,是指当机器人或虚拟人对人类的拟真程度到达非常高的程度后,由于和真人只有一点点的差距,反而会使现实人类感到恐惧。而如果能突破这个临界点,人类对机器人或虚拟人的恐惧度就会迅速下降。

数字人怎么做到越来越像“人”  第8张

数字人形象未来发展趋势预测:

随着技术的越来越成熟,以及硬件设备(移动手机、硬件大屏等)性能越来越强大,大众对于数字人的期望也会变的越来越高。

从制作的角度来看

  • 建模:拍照式相机阵列扫描重建得到飞速发展,目前可实现毫秒级高速拍照扫描(高性能的相机阵列精度可达到亚毫米级)。
  • 国际上 IR、Ten24 等公司已经将静态重建技术完全商业化,服务于好莱坞大型影视数字人制作,国内凌云光等公司制作的拍照式人体扫描系统也已经在电影、游戏、虚拟主播项目中成功应用。相比静态重建技术,动态光场重建不仅可以重建人物的几何模型,还可一次性获取动态的人物模型数据,并高品质重现不同视角下观看人体的光影效果,成为数字人建模重点发展方向。

从渲染的技术来看

  • 实时渲染技术的突破助力写实类数字人实现实时交互,应用范围快速扩大。
  • 随着硬件能力的提升和算法的突破,渲染速度、渲染效果的真实度、渲染画面的分辨率均大幅提升,在虚拟人物实时渲染方面,已经能做到以假乱真。

从数字人形象展现端的角度来看

  • 展示平台主要以传统显示设备为主,PC、手机、大屏是主流显示硬件。
  • 未来数字人和3D数字内容的结合,对于裸眼3D、VR、AR等硬件的普及具有推动作用,沉浸式设备在特定领域将成为最优解。

从客户的需求角度来看

  • 未来数字人的发展,正呈现出静态向动态、2D向3D、卡通向写实、单向向多向互动的趋势;
  • 人格化成为数字人爆火的新的发展方向。在“好看的皮囊”上精心打磨的同时,生产者更希望数字人拥有“独特的灵魂”,让用户感受到人格化数字人身上的情感力量。比如像银行的虚拟客服形象多为西装制服的精英女士,而虚拟美妆博主则以时尚精致的美丽姐姐为主。这种与所属领域紧密贴近的造型能够帮助人们更好的识别,增强人们的代入感和信任感,未来的区分度也会越来越明显。

从数字人IP角度来看

  • 数字人作为数字 IP 不仅需要助力品牌实现差异化和年轻化,还能让用户快速建立品牌联想和品牌标识。
  • 目前的打造趋势:立人设、造场景、创运营立人设:打造符合品牌调性的文化符号,包括人物性格、身份背景、功能价值等;造场景:多场景应用助力 IP 曝光;创运营:采用 “有故事 + 有进化 + 有持续性” 的运营模式,打通全域式营销通道,为数字人 IP 续航发展注入能量。

The End