凭一普通摄像头即可出道,「云舶科技」从游戏思路入局虚拟偶像

Xsens动作捕捉 2023-05-07 5043

包饺子、放鞭炮、看春晚……这是我们传统过春节的方式,同时也有越来越多年轻人选择参加线上演唱会、线上轰趴馆等新潮的方式过春节。

今年1月27日,云舶科技在bilibili上线首个UGC虚拟主播互动玩法——小K轰趴馆,虚拟主播以演唱者和舞台DJ的身份出现在虚拟演唱会和轰趴馆的场景中,粉丝通过发送弹幕即可生成和操控自己的虚拟形象,和虚拟主播进行互动应援。

小K直播姬此次推出的互动玩法打破了传统直播只能“看”的单一内容展现,让粉丝和虚拟主播之间“互动”起来,吸引了数万人同时观看直播,同时通过弹幕的方式进入虚拟场景进行活动。

春节期间,数百位主播已经使用小K直播姬,在B站等平台上开播了1000多场虚拟轰趴馆、虚拟演唱会,其中更多的是个人势的虚拟直播。

参与测试的虚拟主播,在虚拟互动场景下的观众弹幕数量同比增加4280%,加入电池礼物激活DJ打碟等互动玩法,单场电池礼物的收益增加了5倍。

凭一普通摄像头即可出道,「云舶科技」从游戏思路入局虚拟偶像  第1张

熟悉B站的朋友不难注意到,近年来B站上的虚拟主播越来越多。数据统计,B站的虚拟主播快速增长,2020年达到32000人,其中以个人虚拟主播为主。

目前个人虚拟主播主要由“虚拟形象”和“中之人”组成,由真人去演绎,以虚拟形象来呈现。

中之人是虚拟形象的真人,通过面部捕捉等技术,实现真人与虚拟形象的动态同步。虚拟形象的表情、动作直接影响直播与互动的效果,因此动作捕捉既是虚拟直播的基础也是决定一次直播成不成功的关键因素。

传统的动作捕捉在影视行业有着广泛应用,例如《阿凡达》《指环王》等影片在角色设计和特效上都采用了动捕技术,其方式为光学动作捕捉和惯性动作捕捉。这些方式都需要通过传感器来记录演员的动作,因此在片场,需要动捕的演员身上往往佩戴很多设备。

而传统的穿戴式设备的动作捕捉有两个问题:第一,成本高。便宜的至少也需要几万,贵的则需要几十万至几百万不等。第二,使用不方便,穿戴设备与动作捕捉需要团队多人配合。

对此,云舶科技推出全球首款免费3D虚拟直播产品小K直播姬。视频动捕采用计算机视觉技术,用户无需佩戴任何设备,只需一台电脑和一个摄像头,就能实现实时动作捕捉

凭一普通摄像头即可出道,「云舶科技」从游戏思路入局虚拟偶像  第2张

普通的RGB摄像头如何实现动作捕捉?

这是通过其中的卷积神经网络(CNN)来识别图像中人体的骨骼关键点。其中,特征提取器会通过分辨率由高到低的过程来提取高级特征,姿势解码器则可以基于检测或回归的方式来估计目标输出、2D/3D关键点位置或3D网络。

通俗来说,在计算机眼里,用户像是一个木偶,骨骼关键点就是木偶的关节,识别的点越多,木偶的关节越多,也就更灵活生动。

小K直播姬的视频动作捕捉技术,识别位点超过100个,覆盖面部、手部、双臂等位置,因此,用户可以随意摆出各种动作,即便是用手指做很复杂的动作,也能被准确捕捉。

除此之外,小K直播姬还能帮助用户捏制属于自己个人的专属虚拟3D形象,并且支持模型第三方导入,让主播的形象不再千篇一律。

凭一普通摄像头即可出道,「云舶科技」从游戏思路入局虚拟偶像  第3张

市面上面向C端用户的商业化视频动捕技术少之又少,且小K直播姬还不向用户收费,大大降低虚拟主播的门槛。因此,小K直播姬公测3个月后,虚拟主播注册数就已经破2万。

其创始人梅嵩分析,“短视频和直播是最近3到5年蓬勃发展的两个行业,其核心是门槛低,大量的用户可以参与进来,因此,虚拟人、虚拟偶像市场想要快速发展,也需要参与者足够多。”降低门槛,人人都可以当虚拟主播,是小K直播姬对行业发展的推动,也是其免费的原因之一。

不向用户收费,小K直播姬如何持续发展?云舶科技给出的答案是创作者经济,具体而言即采用游戏化的互动方式,从内容层面获利。

实际上,小K直播姬强调的是游戏化的互动,即将直播的交互变成一种游戏化的行为。传统的直播盈利模式主要是打赏特效、“双击666”、直播带货等。而虚拟直播里,主播与观众互动,后者给虚拟主播打赏虚拟物品,例如给使用小K直播姬的虚拟主播换一套衣服,那么小K直播姬就能从中分成。

云舶科技认为,游戏化的互动会极大地提升观众的参与和付费欲望。游戏玩家为什么在游戏里面愿意付费?这是由于游戏的互动行为参与感很强烈。

例如,传统的RPG游戏为什么会吸引大量游戏玩家购买装备,主要是因为武器属性变得更强,PK胜利产生的实时正向反馈非常直接。因此从这个角度来看,用游戏化的方式切入虚拟直播前景可观。

用做游戏的思路布局虚拟技术行业,这与其团队背后资深游戏背景有关。2017年,出身游戏行业的梅嵩和陈敏联合创立了云舶科技。其中,梅嵩是原蓝港互动SVP,《王者之剑》系列手游制作人;陈敏是原蓝港互动CTO,核心团队有着17年的游戏和AI的研发经验。

从创业之初,云舶科技就专注于视频动捕技术。小K直播姬所采用的视频动捕技术,都是由云舶科技自主研发,并已获得多项国家专利。

实际上,云舶科技的定位不局限于提供虚拟技术,而是技术+内容服务商。“行业的发展壁垒最后一定是互动和内容。得做出好的内容观众才会买账,主播才会有多的收入,我们相信加入游戏化的互动会带来更好的内容。”梅嵩分析道。

未来云舶科技还将在内容上有更多尝试,例如“虚拟宠物”,主播养宠物,观众可以一起帮助喂宠物;“沉浸式连麦”,几个主播在同一个虚拟空间内互动。在主播层面,小K直播姬将推出主播定制化的工具——小K编辑器,主播能够通过编辑器自定义主播形象、背景、道具等。

图片来源:云舶科技

The End