[0001] 本发明涉及一种基于迁移学习和支持向量机的表面肌电信号动作识别方法，属于上肢动作识别技术领域。

[0002] 脑卒中现已成为全球第二大死亡原因和成年人致残的主要原因。脑卒中患者的康复训练成为患者患肢恢复运动能力的关键一环。传统康复医师在帮助患者康复训练的过程中持续时间较长且需要医师和患者一对一互动，对康复医师消耗较大，康复效率较低。康复机器人可以替代医师对患者进行一些较为机械重复的康复作业，提高脑卒中患者的康复效率。

[0003] 患者在患肢具备一定自主运动能力后检测其主动运动意图尤为重要，可实现患者主动辅助运动。通过表面肌电信号识别上肢运动意图是现有研究中的常用方法，其主要步骤为信号采集和预处理、特征提取、分类器学习等。传统研究方法人为提取肌电信号时域、频域和时频域上的特征信息，对特征进行组合，以选出送入分类器的最优特征，并赋上相应动作的标签。传统方法虽然存在操作原理的简便性、提取特征的可解释性等优点，但无法对特征质量的好坏提前判断，通常需要评价多种特征的组合，过程较为繁琐。由于受试者间的表面肌电信号差异较大，使用传统方法得到的模型可能在其他受试者使用时表现不佳，即模型泛化能力较差，这使得模型的使用范围受到很大限制。

[0004] 现有的表面肌电信号动作识别模型在对于上肢动作进行识别时的准确率不佳，且模型的泛化能力较差，影响装置的实用性。

[0052] 下面通过附图以及具体实施例对本发明技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的限定，在不冲突的情况下，本申请实施例以及实施例中的技术特征可以相互组合。

[0053] 本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符"/"，一般表示前后关联对象是一种“或”的关系。

[0054] 实施例一：

[0055] 如图1所示，本发明提供了一种基于迁移学习和支持向量机的表面肌电信号动作识别方法，包括：

[0056] 采集表面肌电信号，并对采集的表面肌电信号进行预处理；其中，所述预处理包括信号滤波、信号活动段检测和信号加窗；

[0057] 将预处理后的表面肌电信号通过短时傅里叶变换转换为其对应的频谱图，并将对应的频谱图沿竖直方向拼接以获取数据集；

[0058] 将获取的数据集输入到预先训练好的基于迁移学习和支持向量机的分类模型，通过所述分类模型输出对应该表面肌电信号的分类结果。

[0059] 得到所述训练好的基于迁移学习和支持向量机的分类模型，包括：

[0060] 采集动作相对应的表面肌电信号，并对采集的表面肌电信号进行预处理；其中，所述预处理包括信号滤波、信号活动段检测和信号加窗；

[0061] 将预处理后的表面肌电信号通过短时傅里叶变换转换为其对应的频谱图，并将对应的所有通道内的频谱图沿竖直方向拼接以获取数据集，将获取的数据集随机划分为训练集、验证集和测试集；

[0062] 通过迁移学习调用VGG16模型和Resnet50模型，对迁移的VGG16模型和Resnet50模型进行初步微调，将训练集和验证集输入初步微调的VGG16模型和Resnet50模型以确定最佳参数，根据最佳参数确定最佳微调的VGG16模型和Resnet50模型，将最佳微调的VGG16模型和Resnet50模型的最后一层全连接层去除后，将其作为特征提取网络，将训练集和验证集输入特征提取网络中以提取特征，将提取的特征拼接后输入支持向量机中进行训练，以获取分类模型；

[0063] 其中，所述最佳参数包括最优调整层数和最优调整块数。

[0064] 所述采集动作相对应的表面肌电信号包括：

[0065] 根据给定的动作指令同步采集动作相对应的表面肌电信号；

[0066] 其中，所述给定的动作指令包括：肘水平屈曲、肘水平伸展、肩水平内收、肩水平外展、前臂内旋、肘水平屈曲和前臂内旋的复合动作。

[0067] 如图2所示，具体的，预先设定的动作共6个，包括肘水平屈曲、肘水平伸展、肩水平内收、肩水平外伸、前臂内旋、前臂内旋和肘水平屈曲复合动作，通过对相应动作所涉及到的肌肉分析，选取三角肌、肱二头肌、肱三头肌、腕屈肌、肱桡肌五块肌肉，即使用五通道研究表面肌电信号；可选的，受试者共五名，每名受试者每个动作重复十次，每两次相同动作之间间隔4—5秒，每个动作共做十组，每组动作间休息4—5分钟，保证受试者相应肌肉区域无疲劳状态；采集结束后，得到每个动作50组数据，共300组数据。

[0068] 如图3所示，所述预处理包括信号滤波、信号活动段检测和信号加窗：

[0069] 采用巴特沃斯高通滤波结合小波阈值去噪对采集的表面肌电信号降噪处理，以获取降噪后的表面肌电信号；

[0070] 采用移动平均值结合阈值方法对降噪后的表面肌电信号进行活动段检测，以获取信号活动段；

[0071] 采用重叠滑动窗口对信号活动段加窗；

[0072] 其中，滑动窗口窗长为300ms，相邻窗口的重叠量设置为滑动窗口窗长的40％。

[0073] 具体的，对采集的表面肌电信号进行降噪处理：采用小波阈值去噪结合巴特沃斯高通滤波对采集的表面肌电信号进行滤波处理；小波阈值去噪选用db2小波对肌电信号做4层分解，同时结合固定阈值和硬阈值函数；3阶巴特沃斯滤波器去除掉10Hz以下的频率成分；

[0074] 对降噪后的表面肌电信号进行活动段检测：采用移动平均值方法检测信号活动段：对五通道肌电信号取平均，然后使用固定窗长的滑动窗对平均后的表面肌电信号逐项平均得到移动平均序列；结合阈值，将大于阈值且持续一段时间的移动平均序列的长度视为信号活动段；其中，若信号活动段长度小于300采样点，则将该段信号视为噪声信号舍弃；

[0075] 对活动段信号进行加窗操作：采用重叠时间窗口，滑动窗口窗长为300ms，相邻窗口的重叠量设置为滑动窗口窗长的40％；可选的，多通道肌电信号传感器采样频率为500Hz，故时间窗长为150个采样点，窗移为90个采样点，信号活动段检测和加窗处理如图3所示。

[0076] 所述将信号加窗后的表面肌电信号通过短时傅里叶变换转换为其对应的频谱图，并将对应的所有通道的频谱图沿竖直方向拼接以获取数据集，将获取的数据集随机划分为训练集、验证集和测试集包括：

[0077] 将信号加窗后的表面肌电信号时域片段进行短时傅里叶变换转换为其对应的频谱图，将对应的所有通道的频谱图沿竖直方向拼接成一张图片，将拼接后的图片按70％、15％、15％的比例随机划分为训练集、验证集和测试集。

[0078] 具体的，加窗后的表面肌电信号时域片段进行短时傅里叶变换得到频谱图，并将五通道频谱图沿竖直方向拼接：加窗后的表面肌电信号时域片段长度为150个采样点，将该信号时域片段进行短时傅里叶变换(STFT)，STFT的参数设定为：采样频率(fs)设为500Hz，每一段采样点数(nperseg)设为60，重叠采样点数(noverlap)设为30，窗函数(window)选用汉宁窗(hann)；将得到的五通道频谱图去掉边框、刻度，沿竖直方向无缝拼接为一张图片，将图像尺寸转换为224*224像素(VGG16模型和Resnet50模型要求的图片尺寸大小)，作为后续特征提取网络的输入；将得到的图片数据集按照70％、15％、15％的比例随机划分为训练集、验证集和测试集。

[0079] 如图4‑5和图7‑8所示，所述通过迁移学习调用VGG16模型和Resnet50模型，对迁移的VGG16模型和Resnet50模型进行初步微调，将训练集和验证集输入初步微调的VGG16模型和Resnet50模型以确定最佳参数，根据最佳参数确定最佳微调的VGG16模型和Resnet50模型，将最佳微调的VGG16模型和Resnet50模型的最后一层全连接层去除后，将其作为特征提取网络包括：

[0080] 通过迁移学习调用VGG16模型和Resnet50模型；

[0081] 对迁移的VGG16模型和Resnet50模型进行初步微调包括：调整VGG16模型最后一层全连接层的神经元数量，并在全连接层之间加入随机失活层；调整Resnet50模型最后一层全连接层的神经元个数，在全局平均池化层和全连接层之间加入随机失活层；

[0082] 将训练集和验证集输入初步微调的VGG16模型和Resnet50模型以确定最佳参数包括：对初步微调后的VGG16模型从顶层卷积层开始做微调分析，分别微调n层，并将训练集和验证集输入VGG16模型中以获取多组分类效果，将获取的多组分类效果进行比较以确定最优调整层数；对初步微调后的Resnet50模型从顶层卷积块开始做微调分析，分别微调m个卷积块，并将训练集和验证集输入Resnet50模型中以获取多组分类结果，将获取的多组分类结果进行比较以确定最优调整块数；其中，n为整数，n的取值范围为[0，13]；m为整数，m的取值范围为[0，17]。

[0083] 具体的，预训练VGG16模型含有16个可训练权重层，其中包含13层卷积层和3层全连接层(fc6、fc7、fc8)，其具体结构如图4所示；该模型是在含有1000个类别的大型图片数据集Imagenet上训练，所以其最后一层全连接层神经元个数为1000；将最后一层全连接层(fc8)神经元个数替换为6，以适应自己的分类任务，在全连接层之间加入随机失活层(Dropout)，其值设为0.5，用于缓解模型过拟合现象，完成对于VGG16模型的初步微调；对初步微调的VGG16模型从顶层卷积层开始做微调分析，结合VGG16模型的卷积层结构特点，分别微调n层，(n的取值范围为[0，13])，并将训练集和验证集输入VGG16模型中以获取多组分类效果，将获取的多组分类效果进行比较以确定最优调整层数；实验表明，当n为13时，分类效果表现最佳，即最优调整层数为13；训练集和验证集分类准确率随微调卷积层数的变化如下图7所示。

[0084] 具体的，预训练Resnet50模型含有50个可训练权重层，其中包含49层卷积层和1层用于分类的全连接层，具体结构如图5所示；49层卷积层分为1层单独的卷积核大小为7*7的卷积层和16个卷积块，每个卷积块中包含三个卷积层；Resnet50模型同VGG16模型一样，在含有1000个类别的数据集Imagenet上训练，所以其全连接层神经元个数为1000；将最后一层全连接层神经元个数替换为6，以适应自己的分类任务；在全局平均池化层和全连接层之间加入Dropout层，其值设为0.5，用以缓解模型过拟合；对Resnet50模型从顶层卷积块开始做微调分析，结合Resnet50模型的结构特点，分别微调m个卷积块(将7*7卷积层视为第17个卷积块，m取值范围为[0，17])，并将训练集和验证集输入Resnet50模型中以获取多组分类结果，将获取的多组分类结果进行比较以确定最优调整块数；实验结果表明，当m为15时，分类结果表现最佳，训练集和验证集的分类准确率随微调卷积块数的变化如下图8所示。

[0085] 根据最佳参数确定最佳微调的VGG16模型和Resnet50模型，将最佳微调的VGG16模型和Resnet50模型的最后一层全连接层去除后，将其作为特征提取网络包括：根据最优调整层数确定最佳微调的VGG16模型，根据最优调整块数确定最佳微调的Resnet50模型，去除最佳微调的VGG16模型和Resnet50模型最后一层全连接层，将去除最后一层全连接层后最佳微调的VGG16模型和Resnet50模型作为特征提取网络。

[0086] 具体的，将去除最后一层全连接层后最佳微调的VGG16模型和Resnet50模型作为特征提取网络，即去掉用于分类输出的全连接层，此时获取VGG16特征提取网络和Resnet50特征提取网络；VGG16特征提取网络的全连接层fc6和fc7的输出特征数均为4096，Resnet50特征提取网络的全局平均池化层(GAP)的输出特征数为2048；将fc6和fc7的输出特征分别与GAP的输出特征相拼接，得到特征数为6144；将拼接后的特征送入支持向量机进行训练，具体方式如图6所示。

[0087] 所述对初步微调后的VGG16模型和Resnet50模型进行微调分析的参数设定为：初始学习率设为0.0001，学习率衰减因子设为0.1，学习率衰减步长设为5，优化器选择adam，最大迭代次数设为60，批量大小设为36，随机失活层的值设为0.5。

[0088] 所述的支持向量机的参数设定为；核函数kernel选择高斯核函数，惩罚因子C设定为0.1，可选的，支持向量机中的惩罚因子在0.01‑1之间搜索，核函数在高斯核函数和线性核函数之间选择。

[0089] 图9是使用本发明提出的方法和使用传统方法的分类精度对比图，传统方法是使用随机森林、支持向量机和BP神经网络。

[0090] 本发明提出的方法利用短时傅里叶变换将一维信号转换为二维图像，同时结合经典预训练模型强大的特征提取能力和支持向量机对小样本数据集强大的学习能力，将两种经典模型提取的表面肌电图像的特征拼接后送入支持向量机中分类；实验结果表明，相较于单个模型使用softmax层分类方法和传统方法，该方法在测试集上表现出较好效果，取得令人满意的分类精度，本申请所提出的方法在对于上肢动作进行识别时的准确率较高，模型泛化能力较强，保证了本申请的实用性。

[0091] 实施例二：

[0092] 本发明实施例还提供了一种基于迁移学习和支持向量机的表面肌电信号动作识别装置，所述装置包括：

[0093] 采集模块：用于采集表面肌电信号，并对采集的表面肌电信号进行预处理；其中，所述预处理包括信号滤波、信号活动段检测和信号加窗；

[0094] 第一计算模块：用于将预处理后的表面肌电信号通过短时傅里叶变换转换为其对应的频谱图，并将对应的频谱图沿竖直方向拼接以获取数据集；

[0095] 第二计算模块：用于将获取的数据集输入到预先训练好的基于迁移学习和支持向量机的分类模型，通过所述分类模型输出对应该表面肌电信号的分类结果。

[0096] 本发明实施例所提供的一种基于迁移学习和支持向量机的表面肌电信号动作识别装置可执行本发明任意实施例所提供的基于迁移学习和支持向量机的表面肌电信号动作识别方法，具备执行方法相应的功能模块和有益效果。

[0097] 实施例三：

[0098] 本发明实施例还提供了一种终端，包括处理器及存储介质；

[0099] 所述存储介质用于存储指令；

[0100] 所述处理器用于根据所述指令进行操作以执行实施例一所述方法的步骤。

[0101] 实施例四：

[0102] 本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一所述方法的步骤。

[0103] 由于本发明实施例所提供的存储介质可执行本发明实施例一所提供的方法，因此，其具备执行方法相应的功能模块和有益效果。

[0104] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。

[0105] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0106] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0107] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0108] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。