怎么制作一个自己的vtuber

动作捕捉 2023-04-03 6946

更新啦~ 更新啦~ 更新啦~

时隔一年半,我整理了一份比较全面的 《真 0成本 虚拟形象开播攻略

从免费获取模型,到虚拟形象开播~ 本攻略将手把手教你

囊括:如何免费获取一个3D模型,如何使用免费的面捕软件,如何用虚拟形象开播

按步操作,你也可以用虚拟形象开播啦~

不会建模也能拥有属于自己的模型! 真 0成本 3D虚拟主播/VTuber开播教学(手把手)

如何对VUP软件感兴趣,可以关注我的B站频道:VUP软件


什么是虚拟主播/VTuber?

首先,明确一点,虚拟主播不是AI,并不是靠人工智能来控制,拥有虚拟形象外形的主播。

虚拟主播是指使用虚拟形象在视频网站上进行投稿活动的主播,以虚拟YouTuber最为人所知。

在国内,虚拟主播普遍被称为虚拟UP主,Virtual UP(VUP)。在台湾及国外,虚拟主播由于普遍活跃于YouTube被称为Virtual YouTuber(VTuber)。

怎么制作一个自己的vtuber  第1张

如何去定义虚拟主播?

虚拟主播的实质是:由真人去演绎,以虚拟形象来呈现,依托捕捉技术关联真人与虚拟形象。最终,展现在观众面前是和真人主播相同,拥有个性,特定直播方向,一个动漫造型的主播。

怎么制作一个自己的vtuber  第2张

一个虚拟主播的背后,可以是一个人(个人势)亦可是一个团队(企业势)。

VTuber/虚拟主播/虚拟UP主=模型+人设+策划+技术(含美术后期)+运营/宣发

由上面的公式,引发思考,个人势相对企业势,会缺乏部分支援。如:建模、策划、后期。在美术,技术的支持上缺乏更专业的帮助。

但,企业势总归是少数,多数虚拟主播都曾是一个DD,对虚拟主播圈有浓烈爱好和广泛认知,相对可能不懂行的企业势,在节目表现和内容策划上会更贴近粉丝的爱好。

另外个人势,相对企业势拥有更自由的空间,粉丝驱动,节目生机活力,形式多样化。

怎么制作一个自己的vtuber  第3张

个人势,如何从零开始做虚拟主播?

简化上述公式,个人势VTuber=模型(2D/3D)+演员(策划,表演,剪辑,运营)+实现技术

怎么制作一个自己的vtuber  第4张

抛开其他不说,最核心的是人设,无论是策划,表演还是运营,人设是经调研分析,再三构思出的,但,恰恰在此,个人势极具优势,这么说:我个性便是我形象个性,我爱好便是我形象爱好,只要我放的开,将我的生活摆上舞台,只要自然真实就足以打动人心,赢得粉丝。

如果你个性鲜明,独具表演风格,但不愿意露脸,虚拟主播是你最好的选择!

模型(虚拟形象),演员就位,如“ 虚拟主播的实质是:由真人去演绎,以虚拟形象来呈现,依托捕捉技术关联真人与虚拟形象。”

所以,现在就缺技术了!

虚拟主播的捕捉技术

在VTuber的杂谈节目中,可看到虚拟形象除了具备表情还拥有丰富的动作,甚至还会跳舞。其实这些表情和动作,都是通过捕捉技术实现的。

怎么制作一个自己的vtuber  第5张

面部捕捉:通过普通电脑摄像头,手机摄像头(其中iphoneX及以上版本的摄像头采用faceID技术,捕捉更为精细)捕捉面部的关键点,并实时返回数据,精准映射到虚拟形象的面部。这样,演员做什么表情,虚拟形象也实时同步相同的表情,就做到了表情虚拟形象化。

动作捕捉:目前有基于计算机视觉的动作捕捉系统(代表:Kinect),基于马克点的光学动作捕捉系统(代表:Motion Analysis。),基于惯性传感器的动作捕捉系统(代表:Noitom Perception Neuron)。

惯性捕捉为例,演员穿戴动作捕捉设备,通过动捕设备的传感器(陀螺仪和磁力计),采集基本信息,通过算法实时返回运动数据。

基于惯性传感器的动捕系统采集到的信号量少,便于实时完成姿态跟踪任务。

解算得到的姿态信息范围大、灵敏度高、动态性能好,且惯性传感器体积小、便于佩戴、价格低廉。

怎么制作一个自己的vtuber  第6张

相比另外两种动作捕捉系统,基于惯性传感器的动作捕捉系统不会受到光照、背景等外界环境的干扰。又克服了摄像机监测区域受限的缺点,并可以实现多目标捕捉。

面部捕捉一样,动作捕捉实时返回运动数据,而这些数据是如何实时反馈到虚拟角色身上,下文将做说明。

我们了解了虚拟主播实现的技术,此时,技术小白发问“讲这么多,难道是要我写代码去支持吗?太复杂了!”

不用担心

虚拟主播实现工具---VUP

VUP取名源于Virtual UP意为虚拟UP主,是专业服务虚拟UP主,用于做虚拟直播,动画视频,IP运营的工具。

以虚拟直播为例,VUP是这样实现的

1、将自己的人物模型导入到VUP

VUP自带资源库(角色,动作,场景),资源库提供预制资源,同时也支持自定义资源。

自定义资源:人物模型(fbx,pmx),动作(fbx),场景(图片,视频,3D场景)

主播可将自己的人物模型,需要的舞蹈动作,场景导入VUP,为直播做准备。

怎么制作一个自己的vtuber  第7张

2、开启捕捉按钮,同步表情,动作至虚拟形象

(1)面捕

面对电脑摄像头,打开VUP面捕按钮,瞬间虚拟角色实时同步演员表情

怎么制作一个自己的vtuber  第8张

(2)动捕

考虑到动捕效果的准确性,VUP目前支持Noitom全套惯性捕捉及Hi5手指捕捉。主播穿戴,调试好动捕设备。再打开VUP动捕按钮。

此时,主播的运动数据直接同步到虚拟形象身上且实时。

怎么制作一个自己的vtuber  第9张

综上,主播无需懂技术,只需安装一个VUP,打开两个按钮(面捕按钮,动捕按钮),就可以实现真人虚拟角色化。此功能免费使用,省心省力。

3、直播玩法

(1)挂件玩法

针对游戏,解说类直播"主屏为游戏,解说画面,画面一角为虚拟角色"

传统方法是需要通过推流工具滤除背景色。

VUP的【挂件模式】就很直接 ,开启【挂件模式】,挂件窗口可选择滤除背景色,窗口边缘,只保留角色,角色可锁定,调整镜头。

最后,通过多人联机,可以实现多人挂件,这样就可以和虚拟主播朋友在直播间对话,聊天了。

如下图(背景可以是游戏画面,解说画面)

怎么制作一个自己的vtuber  第10张

(2)多人联机

类似于Vrchat,VUP支持多人联机

VUP多人联机引入了房间的概念,提供公共房间,自定义房间

公共房间:无需密码,直接加入

自定义房间:主播可创建房间,选择设置房间密码,邀请其他主播加入,进入房间后,亦可切换角色

怎么制作一个自己的vtuber  第11张

(3)弹幕互动

设置VUP弹幕参数,可实现粉丝在平台直播间,发送礼物,弹幕,直播画面会实时出现具备动画效果的道具实体。

如下图,粉丝给主播刷辣条礼物,从直播画面中可看到,从主播头顶上落下辣条道具

怎么制作一个自己的vtuber  第12张

4、第三方推流工具推流

(1)选择推流区域:VUP的预览窗口或捕捉放置挂件的显示屏

(2)设置rtmp地址,直播码

(3)推流

5、直播完成


好啦~ 今天的介绍就到这里

对VUP感兴趣的同学 可以到QQ群:860978744 一起交流(*^▽^*)

VUP下载地址:vlivemax.com


作者:薏夏Yixia
https://www.bilibili.com/read/cv4143465
出处: bilibili

The End