让更多人实现“数字人自由”,海马云要做元宇宙的铺路人
疫情当前,居家生活成了人们的常态。
可虽同样是疫情居家,美国一位韩裔女生却借着这一机会成为了美国疫情期间最受欢迎的游戏主播,每天7000人在线围观,累积超过70万粉丝,成为了Twitch平台最“火”的游戏主播之一。
不过,准确来说,“火”的并不是这位女生自己,而是它所操控的3D虚拟数字人——CodeMiko。
CodeMiko背后的实时动作/面部捕捉, 图片来自Digital Native@Substack
CodeMiko并不是第一个以数字人形象出镜的虚拟主播,但它以细腻的神态表现、精致的数字建模、实时交互的强互动性,从一众数字人主播中脱颖而出,广受网友追捧。
仅仅不到一年时间,CodeMiko的粉丝数量就从0激增到了超过70万,受到网友疯狂追捧,成了Twitch平台上收入最多的游戏主播之一。
不过,这样一个从毛发到皮肤样样精致、表情动作流畅生动的虚拟数字人,却不是人人都能“拥有的。
CodeMiko背后的创造者,是位在3D动画领域有着多年开发经验的31岁韩裔女生,她懂建模,会编程,更是自费购买了超过1.3万美元的动作捕捉服、4000美元的手指追踪器,2000美元的头盔、每年超过9000美元的软件维护费,以及一台带面部追踪功能的iPhone、两块“核弹”级别的RTX 3090显卡,这才能最终创造出生动可爱的CodeMiko。
且不说为CodeMiko编程建模需要多少年的专业知识积累,仅仅是整套硬件设备,其成本加起来都接近数十万人民币,绝非一般爱好者可以承受。
不过,门槛虽高,大家也先别灰心。
在2022年的今天,你可以靠一部手机就拥有一个专属于自己的“CodeMiko”。
海马云3A数字人解决方案通过单摄像头实现面部动作捕捉
数字人直播:B站增长最快的品类
无论是iPhone自带的animoji功能,还是清华虚拟学霸华智冰、数字偶像洛天依、虚拟偶像团队A-Soul,广大网民对于“数字人”这个概念都已不再陌生。
尤其是在CodeMiko身处的虚拟主播、虚拟偶像赛道,则更是最早一批虚拟数字人的应用场景。
根据哔哩哔哩CEO陈睿透露,在2020年6月至2021年5月的一年之内,B站共有3.24万名虚拟主播在B站开播,同比增长40%,直播弹幕互动量达到5.6亿条,每月有超过4000名虚拟主播开播,是B站直播领域增长最快的品类。
B站虚拟主播直播收入和付费人数,图片来源:darkflame
而根据darkflame数据,2021年的1~11月,B站虚拟主播收入已达4.5亿元,同比增长250%,头部虚拟主播每月直播收入能够达到约为50~200万元。
除了虚拟主播外,数字人在社交、娱乐、零售、金融、文旅、教育、医疗等场景都领域都有着大量应用需求。
以社交娱乐为例。近年间,受疫情影响,旅游业停摆,线下娱乐受限,大量演唱会、体育赛事、KTV均无法组织大规模活动,”元宇宙“社交应运而生。无论是Electric Blockaloo音乐节搬到沙盒游戏《我的世界》线上,还是B站“修勾夜店“在年初的火爆,无一不折射出数字人在C端的海量需求。
又比如在零售领域,欧莱雅、屈臣氏、花西子、阿里、百度都曾陆续推出虚拟品牌形象或虚拟代言人,而在金融、医疗、地产等领域,浦发银行、万科等也曾联合科技企业,陆续推出过具备3D形象的虚拟客服、虚拟助手、虚拟员工。
然而,与CodeMiko一样,这些由B端企业推出的数字人大多制作精良,制作周期长、投入成本高,需要用到专业的制作团队与工业级的采集、建模工具。
但如果是普通消费者想自己创造、使用一个高品质数字人,情况就有所不同了。
我们离3A数字人还有多远
影视工业级别的数字人所需要的渲染精度是普通消费者难以想象的。
以视效奇幻逼真的电影《阿丽塔:战斗天使》为例,片中的女主角“阿丽塔”虽然是由电脑制作,但其数字建模的形象不仅细致逼真到连毛孔、皱纹、雀斑都清晰可见,更是具备有如真人的皮肤质感、表情神态。
根据负责特效制作的维塔工作室透露,这部电影里的每一帧画面,都需要用超过100个小时来进行渲染。为了达到效果,团队总共动用了超过3万台电脑来进行运算制作,整个团队的特效渲染时间总计高达4.32亿小时。
荧幕上一个数字形象的精度越高、画质越好,渲染一帧所需要的计算量就越大。普通消费者想要打造并操控一个数十万或百万面建模的3A影视级别的数字人,至少需要配备上万元的顶级显卡的个人电脑、数十万的动作捕捉设备,同时还需要几日、甚至几十日的建模时间才能完成。
这也是为什么,当前大部分面向消费者的数字人都是2D动漫、3D低模等形象,绝大多数还停留在“塑料”质感的拟真程度,无法提供细致到皮肤、妆容、毛发的物理感拟真。没有专业技术、专业设备的普通消费者,想要拥有专属于自己的3A级数字形象,几乎是不可能的事情。
然而,一个专属的3A级数字形象,却又恰恰是每个个体“进入”元宇宙的第一张通行证,是每个人在元宇宙里的核心资产。
一旦希望成功在元宇宙中“复刻”真实世界,那么就必须让每个普通人在元宇宙中拥有属于自己的高品质数字分身,同时也要让平台支持多个高精度数字人的实时互动,让万千用户在元宇宙中也能像在现实一般自由交互。
然而,以目前消费级终端的性能和发展速度来看,这一目标短期内无法得到满足。
而海马云在【5月31日】推出的「云原生3A级数字人解决方案」,正是为了解决这一问题。
海马云3A级数字人解决方案人物皮肤材质
海马云的「云原生3A级数字人解决方案」可以让没有专业技术的普通消费者,仅凭一台手机、一部普通电脑,就在几分钟内创建出一个最高8K画质、数十万面以上高精度建模、并且能够实时捕捉驱动自己表情神态和动作的3A级别数字人,还能实时渲染多个高精度数字人的实时互动。
目前,海马云「云原生3A级数字人解决方案」已经在其官网上开放了Beta预览版PC端入口,实现了在电脑上,就可以体验3A级数字人的创建。据团队介绍,手机端的体验入口也将在6月开放。
7年技术积累
与市面上许多同类产品不同,海马云的「云原生3A级数字人解决方案」,是业内首个基于云原生架构、面向用户消费市场的3A级数字人解决方案。
无论是在虚拟主播、影视数字人、还是虚拟代言人、虚拟客服等领域,创建并操控一个3A级数字人需要强大的图形实时渲染能力、AI运算能力、海量内容资产本地存储等,诸多消费级终端设备无法满足的算力要求,多名数字人的大规模实时交互则更是极难实现。
因而,「云原生」成了破局之法。
作为云游戏市场的老牌玩家,海马云在云原生架构的实时互动内容大规模、高并发、低延迟、高精度实时渲染上,有着长达7年的深厚技术积累。
比如,熟悉3A游戏大作的玩家,对Epic Games公司旗下的虚幻引擎自然并不陌生。
经过了长达一年的预告之后,在刚刚过去的4月6日,Epic Games终于正式发布了全新虚幻引擎UE5。在这次更新中,UE5加入了两Nanite虚拟微多边形几何体和Lumen全动态全局光照,能够实时渲染电影级的游戏画面,并实现镜面反射、无限漫反射等更加逼真的光照效果。在此前Epic Games发布的预告视频中,由UE5所支持的游戏画面几乎可以以假乱真,被网友们称为“好莱坞级别”的视效大片。
基于UE5打造的海马云3A数字人解决方案的环境场景
而海马云的云原生数字人方案,正是基于UE5所打造的。通过Linux高度定制,海马云的云原生数字人平台针对UE5进行了深度优化与定制,再结合海马云自研的基于虚拟管线的分布式渲染技术,成功实现跨平台的多显卡池化能力,让用户可以通过云端,实现利用多显卡分布式超大场景的实时渲染,画面更细腻,效果更逼真。
同时,海马云的云原生数字人平台也是行业内首个UEdocker的大规模分布式实施。依托于海马云遍布全国的实时渲染边缘计算节点,其云原生数字人平台能够提供百万级的分布式UEDocker实例,使得用户可以就近接入,保证图形渲染的高精度与低延迟。
在云原生技术的支持下,即便消费者所使用的是运算性能并不强大的非旗舰智能手机、轻便式VR一体机,通过海马云的云原生平台,也能为自己打造并操控具备2K/4K/8K画质、实时光线追踪、十万面到十亿面建模的高精度细节的3A级高精度数字人虚拟形象。
为了降低3A级数字人创建难度,针对普通消费者和专业级用户,海马云为他们预设了多个数十万面建模的高精度数字人标准模型和超高灵活度的编辑工具。
通过海马云3A级数字人解决方案选择基础模型
用户在标准模型的基础上,只需要几分钟的自由调整,就能自定义数字人的身高体重、五官比例、发型妆容等,让普通消费者也能创建出工业级别3A数字人形象。而针对需求更加丰富的企业级客户,海马云则提供了专业的3A级数字人定制服务。
在模型的基础上调整五官、妆容等细节
基于云端AI,海马云还提供了“照片生成3D人脸”这种比捏脸更自由的数字人创建方式。用户只需要输入几张照片,海马云就能基于自研的PTA技术提取照片信息,并完成人脸高精度3D模型重构、UV贴图、皮肤物理属性生成,再通过海马云云端AI计算能力和渲染能力,几秒之内就可以生成栩栩如生的高拟真度3D虚拟形象。
而在数字人驱动方面,海马云通过消费级单目RGB摄像头捕获真实环境下的人脸表情和动作形态,并采用多项自研AI技术和计算机图像算法,结合云端超强AI和计算能力对视频进行实时处理。用户只要通过一个普通智能手机/个人电脑中的摄像头,就能驱动数字人进行生动自如的表达与互动。
通过消费级单目RGB摄像头捕获真实环境下的人脸表情和动作形态
更值得一提的是,针对用户体验影响最大的延时问题,海马云还在全国各省市的不同地理节点上,部署了超过1.5万台针对实时互动内容自研的专用服务器,月服务用户达到3500万,更针对大码流传输、弱网环境等诸多复杂的网络状况,专门优化了系统的超低延迟性能。
这些边缘节点与抗弱网能力,将用户的操作时延降低到了毫秒级,极大地提高了用户体验。当前,海马云的云原生数字人平台能够做到手机终端时延低于50ms、个人电脑终端时延低于20ms。
元宇宙的第一步
作为消费者的每个个体,在进入虚拟的元宇宙中的第一步,就是创造一个具有高沉浸度的数字分身。
数字人作为元宇宙最基础的应用之一,也是元宇宙行业第一个能够明确落地的确定赛道,在近年间热度不断攀高,海内外的科技与创业公司纷纷入局。
根据艾媒咨询数据,2021年,中国虚拟人核心产业规模达到62.2亿元,带动市场规模达到1074.9亿元;2025年,这一数据预计将达到480.6亿元与6402.7亿元,同比增长迅猛。
而根据亿邦动力与安信证券数据,2021年全年,国内虚拟数字人相关投资共有16笔,融资金额从数百万元人民币到数千万美元不等,投资方既包括红杉资本、IDG资本、顺为资本、峰瑞资本等投资机构,又包括字节跳动、小米、网易等互联网企业。
而根据天眼查数据,从2021年初至2022年2月23日,国内共有42起虚拟人相关投融资事件,投资规模累计超33.89亿元。
随着互联网技术的一路发展,我们当前正在从信息发布、浏览、互动的互联网应用时代,迈向高品质、3D图形、实时互动的元宇宙时代。有越来越多像CodeMiko这样的元宇宙试水案例火爆,折射出了数字人在C端的海量需求。
但只有越来越多像海马云这样的企业,不断推进数字人技术边界,突破数字人的核心技术,让消费者拥有像注册一个邮箱一样简单,数字人才能够真正做到大规模的普及与爆发。
而作为元宇宙生态的第一步,随着相关工具的不断成熟,未来还会有更多基于数字人的元宇宙社交、娱乐、直播、市场营销、以及许许多多我们未曾设想的应用场景,在悄悄地茁壮成长着。