做一个VR美女主播直播平台还存在哪些技术问题无法突破?

Xsens动作捕捉 2023-05-04 3969

现在2D虚拟主播技术已经很成熟了,3D视频时代随着苹果发布眼镜以及AIGC人工智能生成内容和模型马上就来,是时候看看如何实现3D虚拟主播了。


做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第2张


现在实时渲染虚拟主播已经达到真人一样的效果。


做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第3张

还能随时调光。

做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第4张

一键更换任何场景装饰。


做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第5张


一键换装,换发型换人。


做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第6张


只要能想到的,都能放进虚拟空间,玩转光与影的魔法,以后AIGC生成更容易就是几句话的事。

做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第7张


做普通虚拟主播这样就是到天花板了,再往后就是立体3D的,本来以后也是都用眼镜看,一键就3D出屏了那谁还会看2D呢。

做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第8张


屏里屏外,观看感受天上地下
现在有个思路实现左右3D视频主播的方法。


首先还是按照以前教程手机连nolo启动steamvr,打开steamvr的预览窗口,让obs能录到这个窗口,这样只要想办法让虚拟主播在这个窗口里出现就可以了。

这就要用到动捕技术,包括面部捕捉,动作捕捉等,软件硬件免费付费各种实现方法方法很多,理论上找能进vr的就可以。

这里用的道乐师无穿戴方案摄像头测试捕捉动作,有哪里弄不懂的基本上找这些提供专门软件硬件服务的都有全套实现方法教,这里就不细说如何配置了。

表情的话,可用苹果手机实现,例如live face可捕捉表情和头动作,live link face专门捕捉表情,这里用的live link face


做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第9张



那么这两个软件动作加表情放一起在vr用,就能实现基本的全身摄像头实时捕捉加实时渲染效果了。

做一个VR美女主播直播平台还存在哪些技术问题无法突破?  第10张


如果想要提高捕捉质量和视频效果,要用专门的带捕捉的头显和硬件软件,那样就无法用手机捕捉表情啦,这也是用nolo的原因。

The End