转自 CAAI认知系统与信息处理专委会

作者 王成荫

基于肌电信号(EMG)的人机接口已经广泛使用于机器人控制、矫形、修复、辅助和康复设备。近年来，基于肌电信号的人类意图解码开展了较多研究，但很少有人对人体运动的连续解码进行研究。Anany Dwivedi等人2019年在IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILIT ATION ENGINEERING上发表了论文“A Learning Scheme for EMG Based Decoding of Dexterous, In-Hand Manipulation Motions”，提出了一种基于肌电信号的学习方法，用于对灵巧操作任务中的运动进行解码；还研究了不同肌肉在执行这些任务时的作用，以及性别和手的大小对整体解码准确性的影响。他们使用来自11个不同受试者的16个肌肉部位(8个在手上，8个在前臂)的肌电图信号和记录物体运动的光学运动捕捉系统，如图1所示。

图1 用于Vicon运动捕捉系统实验的对象

这些物品是:一个定制的立方体，在它的顶角有一根黄铜棒，使立方体的质量偏离中心，一个魔方和一个筹码罐。魔方和筹码罐来自YCB抓取物件组。Vicon系统的运动跟踪标记也被描绘。

1、实验设计

每个受试者都有一个关于如何完成实验任务的语音和视觉指导。在实验中，受试者被要求使用魔方执行三维平衡点操作任务，芯片可以来自Yale-CMu-berkley(YCB)抓取对象集和定制的偏心立方体(见图1)。对于所有的操作任务，每个受试者都要坐直，前臂放在定制的架子上。每次操作任务都以一个序列来执行，该序列以5秒的休息时间(手以静止姿势握住物体)开始，随后每次试验操作动作重复5次。每个会话有10个这样的试验。在每次试验(约30秒)之间给予充足的休息时间，以减少肌肉疲劳，并在试验结束时休息约5分钟。图2显示了所有的操作任务。实验期间执行的不同类型的操作任务有:

1、俯仰:手指的协调运动，产生立方体的俯仰运动

2、滚动:手指的协调运动，产生立方体的滚动运动

3、偏航:手指的协调运动，产生立方体的偏航运动

图2 实验过程中操作动作的实例

A)显示了立方体的俯仰运动，B)显示了立方体的滚转运动，C)显示了立方体的Y轴运动，而D)显示了圆柱体的俯仰运动，E)显示了圆柱体的滚转运动，F)显示了圆柱体的Y轴运动。轴是彩色编码的，原点的彩色“圆圈”和“X”标记表示轴垂直于页面的外/内方向。黑色粗箭头表示绕平面外轴的运动方向。

对于所有的操作任务，使用双微分肌电图电极从手的8块肌肉和前臂的8块肌肉测量肌电激活(图3)。对于手，三个电极放置在手掌上测量腰肌的活动，四个电极放置在手掌的背面测量骨间肌的活动，一个电极放置在拇指的基部测量拇对掌肌的肌电激活。对于前臂，三个电极放置在趾伸肌部位，三个放置在趾屈肌部位，一个放置在拇长展肌上，最后一个放置在测量拇短伸肌的肌电激活。接地电极放置在肘部，肌肉活动变得最小。电极位置的选择受到现有文献以及体内网站的启发。

图3 右臂手系统上用于肌电图数据采集的电极放置位置

带连接线的双点代表双微分肌电图电极。电极1、2和3放置在手掌的前面，测量蚓状肌的肌电激活。电极4、5、6和7放置在手掌后部，测量骨间肌的肌电激活。电极8放置在拇指的底部，测量对侧拇肌肌电激活。电极9、10和11测量趾伸肌部位的肌电激活。电极12、13和14测量趾屈肌部位的肌电激活。电极15测量拇长展肌的肌电激活，最后电极16测量拇短伸肌的肌电激活。地面用一个点表示，放在肌肉活动最小的肘部。

2、方法

2.1 特征提取

原始肌电信号由生物放大器采集和滤波(5Hz - 500Hz巴特沃兹滤波器)。使用200毫秒的滑动窗口，以10毫秒的增量分割信号。选择窗口大小和窗口的步幅，来使结果最好。可以注意到，由于实时限制，窗口的大小不能太大。但是，窗口应该足够大，以避免高偏差和方差。在这项工作中，从每个肌电信号通道提取3个不同的特征，即:均方根值（RMS），波形长度(WL)和过零点(ZC)。

2.2 用于物体运动解码的随机森林模型

为了成功解码物体运动，使用随机森林回归方法解决了一个回归问题，该问题将从肌电图数据中提取的特征映射到手动操作运动期间对象的实际运动。RF是决策(即，它由多个决策树组成)树的集合，可用于分类和回归。模型的输出是分类情况下树的投票数最多的类，回归情况下是所有树的平均预测。从“N”棵树中获取平均输出使输出正规化，使预测不太容易过度拟合。使用RF的预测模型优点是，这些模型对于小型和大型数据库非常有效，它们不需要庞大的训练数据集，它们具有快速的预测率，并且可以有效地解决多维问题。RF模型如图4所示，是通过使用训练集来生长“树”而创建的。这是通过随机选择替换的数据点来实现的。一般情况下，通过打包选择训练集的2/3(也称为包内样本集)来训练模型。在该集合上，执行属性打包，这是为了从特征集合的“M”个特征中选择“m”个特征。对于“m”的每个不同值，使用包内样本集来生长和训练树。一旦这些树被训练，它们就在训练集中剩余的1/3(也称为包外样本集)上被测试。评估每个树(用不同的特征集训练)的性能，并选择具有最佳性能的树。每个树的预测误差用于评估特征向量对于最小误差的重要性。这个过程重复‘N’次才能长出‘N’棵树。

图4 基于随机森林的模型训练流程图

IB N代表第N个包内训练集，OB N代表第N个包外训练集，OB Error N代表第N个包外错误。

2.3 学习框架

从肌电信号数据中提取时域特征。然后分成两组，一组用于训练，另一组用于验证。执行迭代训练和验证以优化超参数(如窗口大小、窗口跨度、RF参数等)。选择性能令人满意的模型作为最终模型。图5描述了模型优化的详细流程。下面讨论的结果是10倍交叉验证的平均值。为了比较通用模型与特定于主体和对象的模型的性能，在三个不同的集合中执行分析，即

1、特定个体和特定物体的RF模型:在这个集合中，我们为特定个体开发特定物体的模型。

2、特定个体和通用物体的RF模型:在这个集合中，我们为特定个体开发通用物体的模型。

3、通用个体RF模型：在这一组中，我们将收集到的数据分为女性、男性、手小(手长< = 165毫米)、手中(手长< 165毫米)和手大(手长> 185毫米)的参与者，并为每组训练特定物体和物体目标RF模型。

图5 针对手部操作运动的基于肌电信号的目标运动解码方案的框图

对运动过程中采集的肌电信号进行滤波，提取时域特征。对象运动数据被向上采样并变换到对象参考帧。处理后的数据分为训练集和验证集，并用作基于RF方法的学习方案的输入。训练和验证阶段确保预测数据与真实运动数据紧密一致。如果训练后的模型性能不令人满意，则使用不同的RF参数对模型进行重新训练，直到训练后的模型能够准确预测运动。

3、实验结果

3.1 特定个体和特定物体的RF模型

表1给出了解码运动的相关性和准确性结果。此模型的准确率为83%，从表中可以看出，与魔方相比，手尺寸较小的受试者对偏心质量立方体的运动解码精度有相当大的下降。然而，与魔方相比，手尺寸较大的受试者在偏心质量的魔方上表现相当或更好。

表1 个体和物体特定RF模型的相关性（C）和准确性（A）结果

图6呈现了在操纵每个对象时所有对象的肌肉重要性。可以观察到，所有不同的受试者利用不同的肌肉组合在相同的物体上执行相同的运动。

图6 每个肌肉的重要性比较

图6 比较每个肌肉的重要性，ABC分别为操纵魔方、筹码罐、偏心立方体时肌肉的重要性。每一列代表观察到的肌肉，每一行对应于参与本研究的受试者个体。在x轴上，L代表腰，I代表骨间，OP代表拇对掌，ED代表趾伸肌，FD代表趾屈肌，APL代表拇长展肌，EPB代表拇短伸肌。

3.2 特定个体通用物体的RF模型

表2给出了解码对象运动的相关性和准确性。很明显，与中等手大小的受试者相比，具有小手和大手的受试者具有较低的对象运动解码准确度。图7呈现了在操纵每个对象时所有对象的肌肉重要性.

表2特定个体通用物体的RF模型的相关性（C）和准确性（A）结果

图7 物体通用RF模型中每个受试者肌肉重要性的比较

3.3 个体通用RF 模型

表3显示了每个对象的解码运动的相关性和准确性。女性组(平均手长166毫米)和手小的参与者(手长< = 165毫米)的运动解码准确性下降。这类似于表1中观察到的趋势。图8显示了肌肉的重要性。最后，表4给出了物体通用RF模型解码运动的相关性和准确性。可以注意到，中等手大小的参与者组具有最好的运动解码准确性，而小手大小的参与者具有最低的运动解码准确性。图9显示了肌肉对于解码对象运动的重要性。从图中可以明显看出，手尺寸相对较小的群体对拇对掌肌(拇指肌肉)的重要性最高，远远高于其他肌肉。而手型较大组的手和前臂肌肉的重要性相对相似。图10示出了中等手大小组的参与者的实际与解码的运动。

表3 为特定物体的特定个体组训练的模型的相关(C)和准确度(A)结果

表4 为特定个体组训练的模型的相关性和准确性结果

图8 在三维空间操作对象时，对象特异性射频模型肌肉重要性的比较

图9 比较所有参与者组在三维空间中操作对象时肌肉的重要性

图10 中等手大小的参与者的肌电激活的实际运动与估计运动的图。A描述俯仰运动，B描述滚转运动，C描述偏航运动。虚线代表实际运动，实线代表预测运动

4、结论和讨论

在这项工作中，作者提出了一种基于表面肌电信号的学习方法，用于解码灵巧操作任务中的物体运动，并研究了不同肌肉对物体运动解码的贡献。为此，使用光学运动捕捉系统从人手和前臂的特定肌肉部位获取表面肌电信号以及三维空间中对象的运动数据。研究分两部分进行。在第一部分中，基于RF的特定物体模型和通用物体模型被训练用于每个个体。对于第二部分，所收集的数据被分为不同的组，即女性、男性、手小的参与者、手中等的参与者和手大的参与者，并且基于RF的特定物体和通用物体模型被训练。个体和物体特定模型的解码准确率高达83.61%，其中个体特定物体通用模型的解码准确率为73.82%，而通用解码模型的解码准确率为67.58%。因此，可以得出结论，解码模型越具体，解码精度越好。还表明，对于个体通用模型，如果模型是为按手长分组的受试者训练的，则可以获得更好的准确性。

从结果可以看出，手的大小会影响人们在灵巧操作任务中使用肌肉的方式。这一观察的原因可归因于不同受试者手部尺寸、运动学和肌肉骨骼尺寸的显著差异。由于这种差异，手小的参与者对拇对掌肌肉的重要性明显更高，而手大的参与者对所有肌肉的重要性相对更高。还观察到，与魔方相比，趾伸肌和趾屈肌对偏心质量立方的贡献更大。运动解码模型也可以在不同的个体、物体和手动操作运动之间进行归纳。这种通用模型需要考虑由于不同受试者手部尺寸和皮肤厚度的变化而引起的运动变化。

基于这些结果，可以得出结论，为身体健全的受试者开发基于肌电信号的人机界面是可行的，该界面将能够在执行灵巧的手内操纵任务期间有效地解码对象运动。这种接口可用于遥控机器人手臂-手系统，开发用于游戏和娱乐、康复等的肌肉计算机接口。这项研究表明，在解码灵巧操作动作时，手的内在肌肉远比前臂的肌肉重要。因此，在经桡动脉截肢者的情况下，这些肌肉的缺乏妨碍了在执行灵巧的手动操作任务中对肌电假肢的有效控制。对于假肢的这种灵巧控制，应该开发共享的控制方案，将基于肌电信号的控制方案与外部传感器和复杂的控制算法相结合，从而产生半自主的操作范例。这些控制方案可以与运动解码模型(其具有一致的性能)一起开发，以便通过用户与控制器的持续交互和适应来改善在线灵巧肌电控制。