米哈游虚拟人直播的三点解读|虚实之间
米哈游仍在坚持将虚拟人拓展到更多领域的整体思路 ;随着技术迭代,米哈游已经有更多新技术可应用于虚拟人 ;米哈游对虚拟人代表的虚拟技术、虚拟业务还有更大的野望。
作者|黄泽正
这是新声Pro「虚实之间」系列文章第18篇
「未来的她将会在不同领域,例如直播等等,展现自己独特的魅力和无限可能。」
这句话的发声者是米哈游总裁刘伟,日期是2020年11月27号,2020虚拟引擎技术开放日。这句话的实现日期,是2022年7月14号。两年的时间实现一个目标,对崇尚效率和快节奏的游戏行业来说,不可谓不长。
那么「她」是谁?
「她」是米哈游旗下虚拟偶像@yoyo鹿鸣-Lumi,一直凭借靓丽的外形和优美的舞姿为用户所喜爱。自从2020年5月与观众见面以来,鹿鸣已经在B站积累了超过149万粉丝,每个视频的播放量都可达数百万,其中单条视频最高播放量已经超过2000万。在二次元氛围并不浓郁的抖音,鹿鸣也有超过49万的粉丝。因为其超高的人气,鹿鸣也被玩家戏称为「米哈游亲女儿」。
但即便在二次元领域拥有超高人气,且背靠米哈游,鹿鸣的虚拟偶像养成之路,依旧道阻且长。在很长一段时间内,受困于技术、开发重点、资金等多重因素,鹿鸣一直被认为只能用于装点手机桌面,是一款高级的手机壁纸,这其实与米哈游对鹿鸣,乃至整体虚拟人业务的构想大相径庭。
因此7月14号晚八点,鹿鸣在B站进行的首次直播,虽然只有30分钟,却至少向我们展示出了三点重要的信息:米哈游仍在坚持将虚拟人拓展到更多领域的整体思路 ;随着技术迭代,米哈游已经有更多新技术可应用于虚拟人 ;米哈游对虚拟人代表的虚拟技术、虚拟业务还有更大的野望。
惊艳亮相
在鹿鸣直播开始前的几分钟,「爷青回」、「有生之年」之类的弹幕充斥着整个直播间。其实不仅对玩家,对于米哈游来说,鹿鸣的这场直播,也是一场盼望已久却姗姗来迟的相会。
鹿鸣项目最开始的「火种」源于2018年的GDC(游戏开发者大会),在当年的那场大会上,一个基于Unreal Engine创造的数字角色Siren横空出世,吸引了全球游戏开发者的目光。米哈游团队也被Siren所展示的效果吸引,由此萌生了制作偏二次元风格角色的想法。
米哈游一直以来有个口号叫「技术宅拯救世界」。当一群既懂技术又懂二次元文化的人聚集到一起,总会产生新的变量,融合了二次元审美和虚拟技术的鹿鸣也由此产生。
在2020年虚拟引擎技术开放日上,米哈游总裁刘伟进行了主题为《鹿鸣和UE的那些事》的演讲分享。他认为,实时性与高效产出是虚拟角色养成的关键点,而UE引擎则完美适配。
具体来说,鹿鸣应用了虚幻引擎提供的高质量渲染、动作捕捉(肢体、表情、手部)以及高品质下实时效果等技术解决方案,将鹿鸣的模型做的非常精美。在UE基础上,米哈游还进行了自有创新。据刘伟透露,米哈游在UE RTX基础上,对鹿鸣进行了更加自定义的开发,以满足在PBR(物理属性的引擎渲染)基础上,表现更高质量的卡通风格效果。
在2020年,虚拟偶像赛道并不火热。相比于大众熟知的绊爱、洛天依、初音未来等传统虚拟偶像,鹿鸣在建模精细度、渲染质感以及动作流畅度上,都远超同期虚拟偶像,其二次元美少女的形象也深受ACG用户的喜爱,因此人气直线飙升。
在米哈游自研动态桌面壁纸软件《人工桌面》上,鹿鸣有静态、动态、舞蹈等多种造型,用户可以通过《人工桌面》将鹿鸣以及伴生视频设置为壁纸、屏保。据悉,《人工桌面》在TapTap有8.6的评分,且下载数量十分庞大。
但尽管在3D渲染短视频和壁纸方面人气颇高,与绊爱们相比,鹿鸣似乎一直缺少直播功能。对虚拟偶像来说,直播的重要性不言而喻。视频产出更多是单向输出,而直播作为更加直接的内容表现形式,可以提供弹幕交互、实时互动等功能,即便是虚拟偶像的插科打诨,也可以看做是在跟粉丝建立日常联系。
因此早在2020年刘伟就明确表示,鹿鸣肯定会在直播中与大家见面,而且直播会达到与离线内容相同的品质,动作和声音都会实时呈现给观众。「我们还希望声音可以是鹿鸣的原声,这将是巨大挑战。」
但当时没人能知道,大伟哥让鹿鸣直播的这个想法,看起来并不遥远,却在两年后才真正实现。
技术展示
回看本次直播,可以发现米哈游已经有许多新技术应用于虚拟人;对鹿鸣来说,也意味着其从单纯的桌面壁纸,升级到了一个新的发展阶段。
根据鹿鸣官方账号在评论区的披露,本次直播的场景和模型均由米哈游基于UE4自制完成,动作生成采用动作捕捉,声音则通过逆熵AI生成。
在直播前,曾有业内人士预测,以米哈游的技术能力和内容生产水准,鹿鸣的直播对于整个虚拟偶像圈子来说可谓是一次降维打击。而从最终呈现效果看来,本场直播的确有诸多亮点。
首先伴随着「书记舞」动作的转场,鹿鸣以擅长的舞蹈开启了直播。在直播过程中,不断有弹幕询问「是录播吗?」鹿鸣为了证明自身的确是直播,会随即回复一些弹幕的问题,比如对米哈游总裁刘伟的问候,并能准确报出目前在看的观众人数。
具体来说,为了增加直播互动性,用户可以点击自己喜欢的史莱姆表情包发送相关弹幕,当同一类型的史莱姆(共有冰、火、雷、水、草五种)达到一定数量时,就能为鹿鸣解锁不同的挑战。挑战内容主要有你画我猜、舞蹈展示、脑筋急转弯三种。
比如火属性史莱姆代表「默契大挑战」,鹿鸣就与观众玩起了「你画我猜」的游戏;雷属性则代表「练习室」,鹿鸣为粉丝跳了王心凌的《爱你》。在表演完舞蹈后,还会结合夏季炎热的天气,一边喘气一边说:「这个天气跳舞实在是太热了。」
鹿鸣良好的直播表现很快吸引了超过46万人前来观看,并收获了300多位舰长。这样的成绩对于首次尝试直播的虚拟偶像来说,无疑是十分成功的。但令人遗憾的是,本场直播仅持续了30分钟,鹿鸣便以猫咪捣乱为由匆匆下线。
结合鹿鸣自己的爆料,以及直播呈现,本场直播其实是一次「AI合成语音+实时动捕」的结合。也就是说鹿鸣的声音是由米哈游的逆熵AI工作室,通过AI技术自动生成,而舞蹈和肢体动作,以及面部表情,都由动作捕捉完成。
在直播中的体现是,鹿鸣的语音一开始不够流畅,在回答弹幕问题时也显得非常模糊,不能准确回答,还能感受是人工智能。而且当弹幕要求鹿鸣唱歌时,鹿鸣给出的回应是「唱歌还得再练练」,也证明AI的声音练习还不到位。
相对应的,鹿鸣的动作和神态则非常拟真,无论是撩头发、背手、跳舞等动作,还是委屈、调皮、疑惑、嘟嘴等面部表情,都达到了很高质量的呈现。但直播后半段动作也出现了较多重复。
单从技术角度分析,鹿鸣此次显现出的是和传统Vtuber完全不同的路线。传统Vtuber与中之人深度绑定,因此比起绊爱和Asoul,鹿鸣在情感陪伴以及交互方面略显薄弱,但随着中之人爆雷事件更多发生,与米哈游自研AI技术的更多结合,或许会让鹿鸣的直播寿命更加长久。
还在路上
刘伟曾说:「米哈游希望通过技术来驱动,高效产出高质量内容。」因此对鹿鸣的整体规划,其实分为:高效内容输出、鹿鸣直播、技术输出三部分。
这也就意味着,米哈游对鹿鸣的开发充其量刚刚进行到第二阶段,而具有更大想象空间的技术输出,其实还在路上。
参考腾讯的虚拟人星瞳,其研发部门CDD(腾讯互娱内容生态部)总经理光芒曾表示,CDD作为一个单独的部门,下设虚拟人、虚拟制片等多个业务线,成立的定位就是希望探索游戏引擎在非游戏领域的应用,涉及实时渲染、实时交互、CG等过往积累的技术点,也是尝试将游戏技术应用到不同领域。
正如虚拟技术赛道资深从业者,超次元创始人陈坚所说:「大厂做虚拟人,在乎的不是人,而在虚拟技术。」
随着游戏引擎、3D渲染、实时交互等游戏技术达到相对较高水位,利用技术外溢发展其他领域无疑是正确的思路。而虚拟人源自游戏,其接近真人的形象和表达,能让公众在情感上更易于接受,看起来也是具有广阔发展前景的方向。
在元宇宙风起的当下,虚拟人的热潮更是达到了前所未有的高度。
米哈游在今年2月14日,正式宣布成立元宇宙品牌HoYoverse,并表示未来将通过各类娱乐服务为全球玩家创造和传递沉浸式虚拟世界体验。在这一宏大的愿景下,以鹿鸣为代表的虚拟人、虚拟技术无疑将发挥重要作用。米哈游在沉寂两年后,于现阶段进行鹿鸣直播尝试,其技术测试、技术探索备战未来的意味同样很浓。
但如果要展望未来,不可忽视的是,鹿鸣所代表的虚拟偶像,商业化程度依然很低,仍处在烧钱阶段。据腾讯星瞳研发团队表示,星瞳的项目投入很高,一场直播的实际投入远大于大家的猜测,目前还无法通过自行造血抵消成本。同样的问题,相信主打高质量呈现的鹿鸣,在直播过程中同样难以避免。
简单算一笔账,本次直播共有超过300名观众成为舰长,按最低标准2000元估算,这30分钟的直播至少收入6万元(不含打赏等其他收入)。但据业内人士透露,参考星瞳一场直播耗资可能达到几十万,鹿鸣这场直播很大概率是在「赔本赚吆喝」。
而在自身生存问题尚未解决的当下,要想实现刘伟所提出的终极目标:「让鹿鸣的相关技术能够输出给内容创业者们,让更多人能够共同参与创作。助力UGC社区的快速搭建,促进用户、创作者数量的加速裂变。」似乎还为时尚早。
毕竟在高效内容输出方面,鹿鸣在B站的更新频率并不高,在本次直播前,最新视频停留在今年1月份。而在直播时,面对观众「何时安排下一场?」的提问,鹿鸣也承认因为平时有很多事要忙,可能时间跨度会比较久。
因此整体来看,鹿鸣的直播首秀展现了米哈游相当高的渲染、AI技术水平,但要让直播可持续,把虚拟偶像这块盘子「做大」,甚至将旗下IP集体虚拟偶像化,米哈游还需要在引擎功能、插件开发、直播管线、镜头算法,甚至内容策划、直播运营等多个方面进行磨合和升级。
但正如直播评论区所说,「可以肯定的是,大伟哥不会忘了鹿鸣这个亲女儿。」