借助专利技术,“梅兰芳”登上“新舞台”

Xsens动作捕捉 2023-05-04 2965

本报记者 陈景秋

借助专利技术,“梅兰芳”登上“新舞台”  第1张

  “数字梅兰芳拜年,激活京剧的基因密码”“虚拟邓丽君‘现身’北京电视台春晚与王心凌、韩雪同台合唱”……最近,热播创意视频和热播电影运用专利技术生成的虚拟数字人走红网络,圈粉无数,其中仅“数字梅兰芳”拜年这条创新视频在短短10余天就收获了120多万的浏览量,成为爆款。从一张照片到一个数字人是否可行?一个能说会道、栩栩如生的数字人背后需要哪些专利技术支撑?

  让数字人拥有“好看皮囊”

  伴着京胡的悠扬乐声,青年梅兰芳手持折扇,迈着轻盈的步伐走向舞台中央……春节期间,湖南株洲热爱京剧的小学生岳子斌惊奇地发现,“数字梅兰芳”通过手机屏幕再现京剧大师风采,为人们送上新春祝福。这条创意微视频由中央戏剧学院传统戏剧数字化高精尖中心、数字栩生(北京)科技有限公司(下称数字栩生)等联袂推出。

  屏幕上“数字梅兰芳”栩栩如生,背后是创作团队用了将近2年的时间对其外貌表情、动作形态、服饰等细节之处的深耕与钻研成果。数字栩生联合创始人兼首席执行官宋震对中国知识产权报记者表示,“数字梅兰芳”以30岁时的梅兰芳先生为原型,通过高逼真实时数字人技术进行复现,并形成在外貌、语音、表演等各方面都接近真人的“梅兰芳孪生数字人”。

  目前,数字人存在两种形态,一种是根据自然人创建数字分身,创意视频“数字梅兰芳”便是其中的典型代表;另一种是完全根据算法和渲染在虚拟空间中创造出数字形象,这种数字人纯粹是人工智能的产物,例如数字演员“春草”。

  宋震告诉记者,这两种数字人的主要区别在于制作流程不一样。梅兰芳项目是有真实人物原型的,在制作时包含了面容、体态、语音语调,着装、道具、一颦一笑……通过全方位数字化和可视化复制真实生活中的人物细节。而“春草”是一个虚拟人物,在制作流程上更偏后端实时渲染和动作捕捉

  由于如今已无法采集到梅兰芳先生真人三维数据源,最大限度还原其人物状态绝非易事。以面部还原为例,团队与中央戏剧学院传统戏剧数字化高精尖中心合作,先后从网络及梅家亲友处收集了大量梅先生的历史照片作为参照,之后又邀请了中央美术学院雕塑老师根据照片反复打磨修改,制作出了实体肖像雕塑,再之后用高精度激光扫描仪扫描雕像,最终才获得了梅先生的基本面部结构。

  一个栩栩如生的数字人,不仅有其型,更要有其神。以“数字梅兰芳”为例,由于雕塑本身无法展现皮肤细节、毛发细节、眼睛神韵等微观特征,团队找到一名长相酷似梅兰芳先生的模仿人员,通过采集其面部数据,并捕捉基本表情,“移植”到“数字梅兰芳”身上,几乎做到梅兰芳面部表情的“神还原”。

  数字人的制作,处处彰显细节和创新。在创作过程中,团队了解到梅先生当时的戏服缝制技术目前已经基本失传。最后,在中央戏剧学院的全面支持下,团队找到了民国时留存的布样,根据京剧专家的指导,按照梅先生便装的领子、布纹等讲究,找到最契合的布样,扫描获得了布料的数据,完成了数字便装的打造。

借助专利技术,“梅兰芳”登上“新舞台”  第2张

  专利创造“有趣灵魂”

  从一张照片到一个数字人是否可行?这是许多数字人爱好者常常提出的疑问。“不仅可行而且已经可以实现,利用人工智能技术来生成内容的第一步就是实现一张照片到一个数字人。”宋震介绍,结合人工智能合成、实时动作捕捉等技术,可以更加智能、实时地与人们进行语言、表情、动作的互动交流。

  2022年8月,宋震作为专利第一发明人的“一种戏剧表演评价方法、装置、设备及存储介质”专利申请被受理,在提交专利申请的那一刻,宋震如释重负,5年的创新研发终于告一段落。宋震说,该技术是科技与戏曲的结合,能够有效地评价戏剧表演数据中动作特征与音乐特征之间匹配度的准确性,有助于进一步分析以提高戏剧表演演员的表演效果。这对于“数字梅兰芳”形象呈现起到良好的支撑作用。

  在宋震看来,一个能说会道、栩栩如生、真正实现千人千面的数字人背后是大量专利技术的支撑。数据显示,自2001年以来,我国数字人领域共提交相关专利申请3万余件,总体上,专利申请呈现快速上涨趋势。数字人技术创新发展已由萌芽起步期(2001至2015年)步入了快速发展期(2016年后)。如今,伴随科技企业积极研发,数字人产业进入了快速发展阶段,专利布局也呈现出逐年攀升的态势。

  前不久,国家工业信息安全发展研究中心、工业和信息化部电子知识产权中心等发布的《AI创新链产业链融合发展赋能数字经济新时代—中国人工智能专利技术分析报告(2022)》指出,当前,我国数字人应用创新活跃。从专利布局时间看,腾讯公司、华为公司入场较早,2012年前,这两家公司已进行少量数字人专利布局。2014年至今,以百度公司为代表的人工智能企业在数字人领域专利申请增长迅速,成为研究的主要力量。如今,随着数字栩生等众多创新主体的技术加码,有力地推动了数字人产业的高质量发展。

  产权保护“预立在先”

  近年来,数字人在诸多应用场景大放光彩,特别是在北京冬奥会的开幕式表演、气象播报、手语解说中频频现身,使其用户基础不断扩大。

  腾讯研究院相关负责人认为,热点事件推动数字人产业被用户不断加深认知,数字人形态、技术及应用受到大量关注,而支持产业快速发展的底层元素则包括技术的发展、用户新需求、生态完善和标准的支持等。前不久,腾讯研究院发布的《数字人产业发展趋势报告(2023)》指出,数字人的最终服务对象为C端用户,在B端的应用领域从电影动画向广告营销、电商直播等领域不断扩展。未来,以虚拟分身为代表的应用潜力巨大。

  “目前,尽管数字人行业总体还在快速发展阶段,发展和生存是企业的重点和方向,但数字人的著作权、外观设计专利、商标等知识产权保护体系亟待完善。”腾讯研究院相关负责人指出,随着越来越多的企业加入这个赛道,知识产权成为企业竞争的重要“武器”,因此企业对于数字人知识产权保护及行业合规体系需同步建设,避免知识产权风险。

The End