科学怪物！3D人体全身运动捕捉系统,港中文联合Facebook出品
1
介绍
2
方法
SMPL-X 模型 SMPL-X 人体模型是一个参数化的3D人体模型，是 SMPL 模型的扩展，能够通过低维的人体形状和姿态参数的组合来表达不同形状和姿态的3D人体，其与 SMPL 模型的最大差异在于 SMPL-X 模型通过引入额外参数，能够同时表达人体的手指运动和面部表情。
是人体的整体旋转，
是人体姿态相关的变形参数， 
是人体和人手形状相关的参数。作者将姿态参数
拆分为人体相关的参数
和左右手相关的参数
、
，所以
。所有的姿态参数由轴角表达，是某关节点相对于其父节点的相对旋转。最终得到的 SMPL-X 人体模型包含 10,745 个顶点
。人体关节点的3D位置可以通过在顶点上作用关节点回归矩阵 
得到：
。人手模型来自 SMPL-X 的手部，定义为
是手的姿态参数，
是手的形状参数，
是手的整体旋转。最终手部的网格包含 788 个顶点，即
，其中
的一个子集。同样手部关节点的位置可以通过关节点回归矩阵计算得到
包含一个手腕关节点、15个手指关节点和5个指尖点。手部网格和骨架层级关系如下图所示：
3D手部估计模块
是从输入图像中截取的手部区域图片块，
是弱透视投影的相机参数，能够将手部模型投影到输入图像。网络架构
损失函数
是在有3D人体参数时的关节点轴角损失：
是3D关节点标注数据时添加的关节点损失：
是2D关节点损失，其对预测相机参数非常重要：
是手部形状参数的正则项，用于惩罚不自然的手部形状。3D手部姿态数据集
3D人体估计模块
是从输入图像中截取的人体部分，
分别是人体全局旋转、人体姿态参数和人体形状参数。同样这里使用弱透视投影相机参数 
。损失函数和数据集
全身整合模块
复制粘贴方式：直接将人体和手部组合起来，速度快； 优化拟合方式：使用2D关键点来优化人体参数以得到更加准确的结果，但速度较慢。
复制粘贴组合
优化拟合方式
是3D关键点的投影与目标图像中检测的2D关键点之间的投影误差,
是一个先验项，使得人体的姿态和形状参数处在一个合理的范围。作者参考 EFT[3] 文章中的方法，通过微调网络来最小化目标函数，只需迭代少数几次便能得到不错的结果。
3
结果
参考论文
FrankMocap: A Fast Monocular 3D Hand and Body Motion Capture by Regression and Integration. Yu Rong, Takaaki Shiratori, Hanbyul Joo. ArXiv, 2020. Expressive Body Capture: 3D Hands, Face, and Body from a Single Image. Georgios Pavlakos, Vasileios Choutas, Nima Ghorbani, Timo Bolkart, Ahmed A. A. Osman, Dimitrios Tzionas, and Michael J. Black. CVPR, 2019. Exemplar Fine-Tuning for 3D Human Pose Fitting Towards In-the-Wild 3D Human Pose Estimation. Hanbyul Joo, Natalia Neverova, Andrea Vedaldi. ArXiv, 2020.
The End