【元宇宙】无动作捕捉设备-AI驱动虚拟人

Xsens动作捕捉 2022-10-17 27587

近日,行业领先的人工智能软件公司商汤科技和专注于虚拟人研发的爱化身科技有限公司,联合发布了新一代AI驱动虚拟人—元夏

数字虚拟人元夏是一位外形酷帅的少女,由爱化身科技有限公司设计与制作,一经面世,收到了多个品牌的邀请,成为品牌的助力伙伴。


在上汽大通G90的发布会上,元夏担任主持人,与相关负责人共同推介品牌新车;在山东烟台的春节活动现场,元夏受邀为观众送上新春祝福;在洋河梦之蓝的直播活动上,元夏搭档品牌主播,为消费者带来一场别开生面的直播……


【元宇宙】无动作捕捉设备-AI驱动虚拟人  第1张


如此全能的元夏,离不开爱化身科技有限公司强有力的技术支持。爱化身科技有限公司是一家致力于通过元宇宙技术为企业赋能,依托自研的虚拟现实技术与AI智能技术为品牌提供元宇宙数字营销内容解决方案的年轻公司,虽然成立不久,但已经凭借其对元宇宙市场的独到见解和强大的执行团队获得千万级天使轮融资。


在精进元宇宙技术的过程中,爱化身总结出一套完整高效的虚拟人打造方案,加上公司基于UE4引擎,整合出的一套便于非专业人士快速上手使用的五彩石系统,让静态的数字模型元夏真正“活”了起来,变成了一位在任意场合都熠熠生辉的少女。


【元宇宙】无动作捕捉设备-AI驱动虚拟人  第2张


科技的发展推动行业向着更简易操作、更精确展示的方向发展,在与商汤科技合作之前,爱化身采用的是传统惯性动捕方式;而在此之后,爱化身将尝试使用基于AI计算机视觉的动捕方式去进行行业探索。


通过商汤科技的SenseMARS混合现实平台中的Avatar虚拟形象解决方案赋能,打造出了数字人新星:“元夏”。该平台依托于商汤深度学习平台以及自研的轻量化渲染引擎,提供集表情识别、表情驱动及渲染为一体的解决方案,在需要真人出镜的场景中,均可用虚拟形象对于真人形象进行代替。并支持直播秀场、视频通话、远程会议等场景。


“元夏”通过商汤科技的空气动捕技术,动作捕捉演员无需佩戴任何动捕设备,仅需站在摄像头前做动作,视频里的虚拟人就会实时、准确地识别人体姿态,进行动作复刻,这大大降低了动作捕捉设备的使用成本。


另外,商汤科技将在近期推出与虚拟数字人相结合的数字人生成平台,包括拍照一键生成AI虚拟形象和多照片快速生成AI超写实虚拟人的生成方式,以及后续的表情驱动,半身肢体驱动,全身驱动和语音驱动等多元驱动。


此次爱化身科技与商汤科技合作,对元夏进行创新主要使用的就是半身驱动等能力,半身驱动不仅可以捕捉到人物上半身的手臂运动,同时还可以精细地捕捉到手腕手指的细微变化,结合商汤科技手势检测算法,可以支持手部动作迁移和手势触发,让数字虚拟人与场景进行更多互动成为可能。


【元宇宙】无动作捕捉设备-AI驱动虚拟人  第3张


相比于传统光学、惯性的动作捕捉流程,商汤科技有以下优势:只需光照条件达到让拍摄结果清晰的程度,便可随时随地拍摄视频;能够快速产出动作数据,适用于敏捷开发,方便前期试错;利用商汤科技的光捕技术,传统光学动捕流程中所需的人工工作量可以被大幅降低。


【元宇宙】无动作捕捉设备-AI驱动虚拟人  第4张


从传统动捕到AI动捕,体现了数字人系统的进一步发展。根据商汤智能产业研究院专家的总结,数字人系统的整体进化和发展水平可以用两个维度的标准来进行评价,即数字人的拟人化,以及生产制作的自动化。


数字人可以被分成 L1-L5 五个等级。


  • 在L1阶段,自动化水平低,拟人化程度低,打造出来的数字人仅能用作平面展示;


  • 随着自动化水平和拟人化程度的提升,数字人可以依赖外部动捕设备或算法进行口型、表情和动作的变化,应用场景主要是视频录播和实时互动;


  • 到了L4阶段,数字人已经可以进行智能化交互,但在特定场合需要人工接管,此时的数字人能够在垂直领域逐步代替真人服务;


  • 在L5阶段,自动化水平和拟人化程度已经达到最高,数字人完全实现了智能化交互,可处理全局性、通用性问题,数字人担当个性化虚拟助手已经不成问题。


商汤智能产业研究院的专家认为,只有达到 L4 级别及以上的数字人才能真正的走入千行百业,在消费和产业领域大放异彩。(延展阅读请点击此处)


【元宇宙】无动作捕捉设备-AI驱动虚拟人  第5张


当前,数字虚拟人元夏在商汤科技和爱化身科技的共同努力之下,已经能够达到L4阶段的要求,今后将持续接入AI 算法,逐渐渗透营销、政务、银行、地产等各个领域,从展示型虚拟人向服务型虚拟人转化,帮助企业实现降本增效,克服空间、时间因素,实现多场景服务。


【元宇宙】无动作捕捉设备-AI驱动虚拟人  第6张


面对当下流量红利萎缩,触达渠道有限,高速增长触顶,营销内容多,信息流通速度快,消费者极易审美疲劳等营销困境,以及区块链、交互技术、电子游戏技术、人工智能、网络技术、物联网技术蓬勃发展的趋势,加上一系列利好政策的出台,品牌接入数字虚拟人,跨入元宇宙已成为越来越多企业的共识,商汤科技与爱化身科技强强联合,互通有无,优势互补,将共同为推动行业高质量发展而努力。


本文仅做学术分享,如有侵权,请联系删文。

来源丨商汤智能产业研究院



关注公众号【AIoT工业检测】,后台回复“学习资源”即可获得视觉相关书籍及行业发展报告下载链接,希望能对大家有所帮助,感谢支持~
交流学习、岗位内推,欢迎扫码添加~

【元宇宙】无动作捕捉设备-AI驱动虚拟人  第7张


The End