视频动作捕捉软件一览

Xsens动作捕捉 2023-05-11 3174

距离上一次总结视频动作捕捉方案已经过去了一年半,相比当时更多的是 state of the art 状态,现在已经多了很多落地的产品,今天来做个整理,前半是罗列产品名,网址和视频,后面会有个 feature 的对比。

另外此类产品又可分为虚拟主播类和动捕方案类两种,虚拟主播类可以独立输出虚拟形象的视频,易于上手使用,动捕方案类则主要输出动捕数据,需要二次开发,但是扩展性更佳,当然也有一些虚拟主播类产品可以输出动捕数据,大家可以根据需求选用。

虚拟主播类

TDPT

https://digital-standard.com/tdpt/

这类产品中最早的,也是少数可以提供 SDK 的

RiBLA Broadcast

https://avex-technologies.com/riblas/lab/index.html

AVEX 出品,不过没有感觉到日本最大唱片公司之一的本气,MediaPipe 系

VIRTU

https://www.virtu.fun/

提供六种语言的教程,诚意满满

WebcamMotionCapture

https://webcammotioncapture.info/

mediapipe 系,中规中矩

小K直播姬

https://www.yunboai.com/live/

国内做的最早的,应该也是最知名的

VTMini

https://www.vtmini.cn/

创幻出品,功能全面

视频:

不穿动捕服也能使用3D虚拟形象?虚拟直播软件VTmini新版本摄像头半身动捕功能开放啦!_哔哩哔哩_bilibili

AM虚拟主播系统

http://www.aimocap.com/

与前两者相比功能少些,但是基本功能齐备

视频:

AiMocap

http://ai.dimocap.com/

应该唯一一个能在淘宝上购买正版的产品

视频:

MocapForAll

https://store.steampowered.com/app/1759710/MocapForAll/

唯一一个支持两个以上摄像头的产品,使用会有些复杂,不过效果也会带来相应的提升

视频动作捕捉软件一览  第2张

MocapForStreamer

https://store.steampowered.com/app/2064250/MocapForStreamer/

MocapForAll 的双摄像头简化版

视频动作捕捉软件一览  第3张

Kalidoface 3D

https://3d.kalidoface.com/

上线时是第一个跑在浏览器里的全身带表情产品,项目开源,MediaPipe 系

OpenLive3D

https://openlive3d.com/

同样跑在浏览器里,不如 Kalidoface 3D 知名

SysMocap

https://github.com/xianfei/SysMocap

UI 非常现代化,基于上文的 Kalidoface 3D 开发

动捕方案类

PoseAI

https://www.poseai.co.uk/

应该是唯一一个只能跑在手机端的产品

道乐师无穿戴

https://www.sunnyview.tech/dollarsmarkerless

利益相关,我们公司的产品,MediaPipe 系,可提供 SDK

POSE TRACKER

http://pose.uplugins.com/

看上去像是个原生虚幻项目,如果你希望将动捕直接整合进自己的项目,而不是借助于插件,说不定可以试试。MediaPipe 系

华为 HMS Core

https://developer.huawei.com/consumer/cn/doc/development/graphics-Guides/motioncapture-0000001207594543

应该适用于基于华为平台开发的产品

Feature 对比

说明:所有软件都支持上半身捕捉,不单独列出,?表示支持该项,× 表示不支持,?表示笔者未能找到相关说明。

平台全身捕捉手指捕捉表情捕捉输入格式同步至引擎输出格式
TDPTWin, iOS??×VRMUnity, UEBVH
RiBLA BroadcastWin×??VRM××
VIRTUWin, iOS, Android×??VRM××
WebcamMotionCaptureWin×?×VRMUnity, UEFBX
小K直播姬Win×??VRM××
VTMiniWin×??Live2D, VRM××
AM虚拟主播系统Win???VRM××
AiMocapWin??×Unity, UEBVH
MocapForAllWin???VRMUnity, UEBVH, FBX
MocapForStreamerWin×??VRMUnity, UEBVH, FBX
Kalidoface 3DWeb???VRM××
OpenLive3DWeb×??VRM××
SysMocapWin, macOS, Linux???VRM, FBX, GLB××
PoseAIiOS??××UE×
道乐师无穿戴Win??××Unity, UEBVH
POSE TRACKERWin?×××UE×
华为 HMS CoreAndroid??××××

The End