FRL发布全新AI 3D动捕方案，仅需25fp单目摄像头

8月26日消息，德国马克斯·普朗克研究所与Facebook Reality Labs发布了一项与3D动捕相关研究：PhysCap。据悉，这是一个基于AI算法的3D动捕方案，其特点是支持市面上现有的任何刷新率25fps或以上的单反相机，大大降低实时全身动捕的门槛。

据青亭网了解，FRL在论文中称PhysCap是首个符合物理和解剖学规律的3D动捕方案，可解决地板摆放等环境带来的限制，而且准确性可以达到目前最高水准，稳定性也得到大幅提高。与市面上昂贵的动捕套装或是3D传感器相比，PhysCap号称识别准确性更高，效果更好，成本也更低。

科研人员表示：PhysCap生成的3D动捕数据考虑到周围环境，因此无需后期分割即可直接用于虚拟动画、AR/VR、人机交互等场景。

原理方面，PhysCap首先运用卷曲神经网络，根据纯运动学方式来预测3D姿态，并推断出视频中人体的2D和3D节点。在经过优化后，PhysCap会继续运用另一种卷曲神经网络（用于识别脚跟和前脚在地上的位置，并识别静止或非静止姿态）来预测足部与地面的接触，以及运动状态。

最后，PhysCap会将重力、碰撞、足部位置等信息考虑在内，进一步优化第一阶段预测的运动姿势。

在实验中，科研人员利用索尼DSC-RXo轻便数码相机、2070显卡计算机，对PhysCap进行测试，并发现该方案虽然能支持在多种不同背景中进行3D动捕，但偶尔还存在一些足部位置/速度的预测误差。这也许可以通过地平面校正等方式来解决，尽管在户外可能较难实现。

此外，科研人员接下来还将继续探索人体在坐姿和平躺时的身体姿态，以及对手部、两腿的追踪和建模。