CMU MOCAP动作捕捉数据集使用指南

CMU MOCAP动作捕捉数据集被广泛用于数据挖掘以及计算机视觉等研究领域。该数据集中的数据主要由各个关节附着传感器的人在一定时间内做出不同的动作而生成，CMU MOCAP数据内容的一个生成示例如图1所示。

附着在人体各个关节的传感器在一定时间内随着人的运动而记录不同时刻的位置信息，这样的数据类型可以看作是一段高维的多元时间序列（CMU MOCAP所涉及的数据一般包括覆盖30个人体关节的传感器）。针对该数据集的一个典型研究问题为：给定一段动作捕捉数据（多元时间序列），如何无监督（或者有监督）的对其进行符合人类直觉的分割（即在图1中，我们如何无监督的确定什么时候人的动作为walk，什么时候人的动作变为jump），并在此基础上识别出重复的动作模式（本质其实是聚类问题，即在一段时间内，受试者可在不同时间段都做出Walk的动作，我们如何识别出这两个时间段受试者做的是同一类动作）。针对上述研究问题，业界比较知名的baseline包括2014年在SIGMOD上发表的算法AutoPlait^[1]以及2013年在TPAMI上发表的算法HACA^[2]。两个算法都有开源代码。如果想要对AutoPlait有更多的了解，可观看我的另一篇回答：

有哪些看了让你醍醐灌顶的书籍、论文、期刊，使你对如何做数据挖掘、特征工程、统计挖掘有了眉目？65 赞同 · 0 评论回答

当然，CMU MOCAP数据集同样可用于多元时间序列预测的研究，基于该数据集的较为典型的序列预测算法包括2016年在SIGKDD上发表的算法RegimeCast^[3]以及在2019年在SIGKDD上发表的算法Orbitmap^[4]。同样的，两个算法都有开源代码，如果想要对RegimeCast有更多的了解，可观看我的另一篇回答：

有什么好的模型可以做高精度的时间序列预测呢？72 赞同 · 1 评论回答

以上为对CMU MOCAP数据集一个粗略的介绍，接下来我们将梳理该数据集的用法。

CMU MOCAP数据集的链接如下：

CMU MOCAP数据集的主界面（HOME）如下图所示，在HOME界面中显示了一些有关CMU MOCAP数据集的说明。整个数据集可分为Human Interaction，Interaction with Environment，Locomotion，Physical Activities & Sports，Situations & Scenarios以及Test Motions共计6个主题（categories），每个主题之下还可分为诸多子主题数据。我们在此关注的重点不是CMU MOCAP的所有主题，而是对如何处理该数据集中的数据加以讲解。因此，下文通常适用CMU MOCAP中的86号数据集进行示例说明。

在上图中的subject number搜索框中输入86，可得到如下86号数据集的搜索结果：

我们可以看到，86号数据集总共包含15个子数据集，为便于记录，我们将15个子数据集分别表示为86_01至86_15。在此页面中，我们重点关注整个86数据集的asf文件以及每个子数据集所对应的amc文件。asf文件包含86号数据集的统一骨架信息，并且是可下载的；而当前页面中每个子数据集所对应的amc文件是不可下载的，点进去会进入如下的页面（以86_01的amc文件为例）：

该amc文件记录了每个时间戳被试者的30各关节（root,lowerback,...,ltoes）所对应的位置信息，但该页面信息是不能下载的。因此我们需要转到图2中的FAQs页面去获取整个CMU MOCAP数据集配套的asf以及amc文件，获取的位置如下图中红框所示。注意，该zip文件包含整个CMU MOCAP所有数据集配套的asf以及amc文件，大小约为1G左右，请慎重下载！

OK，现在我们已经获得整个CMU MOCAP数据集配套的asf以及amc文件了，那么应该如何使用这些而文件呢？或者说如何将这些文件转换为我们能够处理的数据格式呢？CMU MOCAP数据集的Tools界面（点击图2中的Tools界面）给出了诸多工具，其中较为常用的是利用matlab函数将amc文件转化为我们能够处理的矩阵形式。amc To matrix的matlab函数可在下图红框位置获得：

有了amc To matrix的matlab函数，我们已经能够将amc文件转化为我们能够处理的矩阵形式。此时，让我们回到上文提出的研究问题：我们需要无监督（或有监督）的对其进行符合人类直觉的分割，并在此基础上识别出重复的动作模式。那么该数据集有没有分割的标准答案（即真实情况下，受试者在什么时间点正在做什么动作的标注信息，论文里一般称为ground truth）呢？答案是有的。首先，至少对于我们一直拿来举例的86号数据集（包含15个子数据，如图3），发表在2004年Graphics Interface（GI）会议上的文章^[5]对其中的1至14号子数据集最为合理的切割结果分别进行了估计，并发布在如下网站上：

segmentation?graphics.cs.cmu.edu/projects/segmentation/

有些朋友可能要问了，如果我需要研究除86号数据集以外的其他数据集，那么我应该如何获得ground truth数据呢？这个时候我们可能就需要下载专业的动作捕捉处理软件去进行人工标注了。首先下载并安装好软件MotionBuilder：

安装好MotionBuilder之后，我们打开该软件，点击File菜单栏中的Motion file Import选项，如下图：

紧接着同时选中86号数据集的asf骨架信息文件以及86_03子数据集的asf文件进行导入：

我们则可以获得如下界面。在如下界面中拖动时间进度条可实时显示受试者动作模式信息，这样我们就能够对CMU MOCAP数据集中的任意子数据集进行ground truth的人工标注了。

参考

1. ^Matsubara Y, Sakurai Y, Faloutsos C. Autoplait: Automatic mining of co-evolving time sequences[C]//Proceedings of the 2014 ACM SIGMOD international conference on Management of data. 2014: 193-204. https://dl.acm.org/doi/abs/10.1145/2588555.2588556
2. ^Zhou F, De la Torre F, Hodgins J K. Hierarchical aligned cluster analysis for temporal clustering of human motion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 35(3): 582-596. https://ieeexplore.ieee.org/abstract/document/6226420
3. ^Matsubara Y, Sakurai Y. Regime shifts in streams: Real-time forecasting of co-evolving time sequences[C]//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 2016: 1045-1054. https://dl.acm.org/doi/abs/10.1145/2939672.2939755
4. ^Matsubara Y, Sakurai Y. Dynamic modeling and forecasting of time-evolving data streams[C]//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. 2019: 458-468. https://dl.acm.org/doi/abs/10.1145/3292500.3330947
5. ^Barbi? J, Safonova A, Pan J Y, et al. Segmenting motion capture data into distinct behaviors[C]//Proceedings of Graphics Interface 2004. 2004: 185-194. https://dl.acm.org/doi/10.5555/1006058.1006081