36氪项目报道 「聚力维度」自研高级别数字人AI生产端平台,让普通人也能创造无数个“CodeMiko”

Xsens动作捕捉 2023-04-08 4267

在元宇宙逐渐由概念不断落地的当下,数字人已经突破了过去相对有限的应用场景,正在成为全新的生产力工具。

Twich 平台上有一个现象级的虚拟主播CodeMiko,在疫情期间迅速走红,成为最受欢迎的游戏主播之一,累积涨粉70多万,每天有超过7000人涌入它的直播间。

CodeMiko与B站等平台上大量的纸片人有着天壤之别,首先它是实时驱动的高清3D数字人,表情丰富自然,无限接近真人出镜,又能做出种种真人做不到的夸张表演;其次它能分身,可以同时和多位粉丝互动,还可以化身双胞胎,演绎荒诞奇幻;更重要的是CodeMiko开创了全新的UGC商业模式,让创作者的创意实现最大化的价值。

当然,CodeMiko并不简单,还需要有一个真人,通过表情捕捉、动作捕捉、实时渲染等技术,在直播中和虚拟人实时同步。

这个真人正是CodeMiko的创造者,一个30多岁的韩裔女性,她还是一名3D视觉领域的资深TA,为了运营CodeMiko,她购置了总价值超6万美元的动作捕捉服、手指追踪器、表情捕捉头盔、更有每年超过9000美元的软件订阅费。

现在,一家国内AI+3D视觉领域的创业公司「聚力维度」,可以让创作者“0穿戴“实现CodeMiko的大部分功能。

聚力维度专注3D视觉和人工智能融合的技术研发及产品化,继用人工智能加速专业影视制作行业的数字化进程后,又凭借自身的算法积淀,自主研发了高级别数字人AI生产端平台:赛博演猿Cybactor。

36氪项目报道  「聚力维度」自研高级别数字人AI生产端平台,让普通人也能创造无数个“CodeMiko”  第1张

赛博演猿Cybactor

“赛博演猿”既可以通过个人PC运行,又可以作为云原生软件通过各种终端随时使用,它包括了集成人工智能算法的面部捕捉、动作捕捉、手势捕捉、人脸重建、语音转口型等技术,用普通RGB摄像头即可实现与百万级捕捉设备同级的平台型应用效果。

“赛博演猿”可广泛应用于虚拟直播、虚拟偶像、短视频、动画制作、虚拟演播室节目制作、元宇宙会议等领域场景,既可以为广播级客户提供专业化的定制服务,也可以工作室提供弹性化的解决方案,还可以为普通用户提供SaaS化的随时随地服务。

36氪项目报道  「聚力维度」自研高级别数字人AI生产端平台,让普通人也能创造无数个“CodeMiko”  第2张

赛博演猿的应用场景

“聚力维度前身十二维度成立于2012年,定位于人工智能和影视相结合的方向,在用人工智能将 2D影视动画转 3D 的技术上,做到了世界第一,同时也是唯一。”聚力维度联合创始人兼CEO赵天奇告诉36氪:“2017年开始,我们进入了更广阔的原创内容赛道,用人工智能来创造新的内容创作形式,具体来说就是数字人技术。2021年已经做到世界唯一用单目摄像头,就能够实现高级别数字人的表情、动作捕捉。我们从去年开始商业化,现在的定位是做元宇宙数字人时代的内容制作生态。”

聚力维度为数字人研发制定了三个标准:高级别;实时驱动;普及易用。为了实现高级别视觉效果,其自研了数字人建模系统,采用智能化的生产流程配合资深美术团队,高效、快速地生产高质量数字人。

36氪项目报道  「聚力维度」自研高级别数字人AI生产端平台,让普通人也能创造无数个“CodeMiko”  第3张

聚力维度元宇宙级数字人三要素

聚力维度的智能化生产流程共有五个步骤,首先根据原画设计或真人扫描完成信息采集,之后通过自研AI算法进行智能建模、智能绑定、智能渲染,最后会进行驱动适配。

赵天奇进一步谈到:聚力维度用一个摄像头即可实现全身骨骼和面部表情的高精度捕捉,可以实时驱动3D数字人跳舞,这已经具备了很高的壁垒。而且,壁垒不止在于技术,还在于技术和产业的结合,对产业需求有了充分的了解,才有可能实现这样的效果。

赵天奇是北京邮电大学博士、清华大学博士后,曾师从徐大雄、戴琼海两位院士,并且是英特尔、高通AI荣誉技术大使,拥有深厚的AI技术背景。

AI基因和影视行业的长期积淀,使聚力维度很好的平衡了数字人生态的效率、效果和普世。据介绍,传统影视技术团队需要数月才能完成的工作流程,现在可以缩短到以周计。

在2021年9月的中国科幻大会上,由北京科委与聚力维度联手打造的大会形象大使“幻幻”亮相,在为期一周的直播活动中,“幻幻”的表情多样、神态拟人,远远超出了真人的精力、能力所及,也取得了良好的展示效果,并得到北京市市长接见。

36氪项目报道  「聚力维度」自研高级别数字人AI生产端平台,让普通人也能创造无数个“CodeMiko”  第4张

中国科幻大会形象大使“幻幻”

据行业数据显示,2021年中国数字人核心市场规模为62.2亿元,另据量子位智库发布的《虚拟数字人深度产业报告》预测,2030年,我国虚拟数字人整体市场规模将达到2700亿,复合增长率近46%。其中,身份型虚拟数字人(多用于社交、娱乐)将占据主导地位,约1750亿,服务型虚拟数字人(以功能性为主,替代真人服务)总规模超过950亿。

目前,聚力维度在B端主要以服务KA客户为主,其数字人已经有了大量实际应用案例,包括为中国电信打造001号数字员工小琳;完美世界集团首位数字员工Weta;联通在线首位数字人主播悠然;与凤凰卫视合作打造的虚拟主持;与咪咕视频合作的虚拟偶像麟犀等等。

在此基础上,聚力维度9月份将推出面向大众的普及版数字人AI软件,以更精细化、更易操作的产品线,为中小型工作室,乃至C端用户提供订阅制服务,通过数字人捏脸换装技术,让每个人都可以拥有属于自己的独一无二的“CodeMiko”,只要有天马行空的创意,在社交、购物、游戏、直播等等场景,未来都将成为数字人的生态圈。

The End