The .gov means it’s official. Federal government websites often end in .gov or .mil. Before sharing sensitive information, make sure you’re on a federal government site. The https:// ensures that you are connecting to the official website and that any information you provide is encrypted and transmitted securely. As a library, NLM provides access to scientific literature. Inclusion in an NLM database does not imply endorsement of, or agreement with, the contents by NLM or the National Institutes of Health.
Learn more: PMC Disclaimer
Sheng Wu Yi Xue Gong Cheng Xue Za Zhi. 2021 Aug 25; 38(4): 621–629.
PMCID: PMC9927529

Language: Chinese | English

基于表面肌电信号能量核相图的卷积神经网络人体手势识别算法

Convolutional neural network human gesture recognition algorithm based on phase portrait of surface electromyography energy kernel

留凯 许

上海交通大学 宁波人工智能研究院(浙江宁波 315000), Ningbo Artificial Intelligence Institute of Shanghai Jiao Tong University, Ningbo, Zhejiang 315000, P.R.China 上海交通大学 自动化系(上海 200240), Department of Automation, Shanghai Jiao Tong University, Shanghai 200240, P.R.China

Find articles by 留凯 许

克勤 张

上海交通大学 宁波人工智能研究院(浙江宁波 315000), Ningbo Artificial Intelligence Institute of Shanghai Jiao Tong University, Ningbo, Zhejiang 315000, P.R.China

Find articles by 克勤 张

兆红 徐

上海交通大学 宁波人工智能研究院(浙江宁波 315000), Ningbo Artificial Intelligence Institute of Shanghai Jiao Tong University, Ningbo, Zhejiang 315000, P.R.China

Find articles by 兆红 徐

根科 杨

上海交通大学 宁波人工智能研究院(浙江宁波 315000), Ningbo Artificial Intelligence Institute of Shanghai Jiao Tong University, Ningbo, Zhejiang 315000, P.R.China 上海交通大学 自动化系(上海 200240), Department of Automation, Shanghai Jiao Tong University, Shanghai 200240, P.R.China 上海交通大学 宁波人工智能研究院(浙江宁波 315000), Ningbo Artificial Intelligence Institute of Shanghai Jiao Tong University, Ningbo, Zhejiang 315000, P.R.China 上海交通大学 自动化系(上海 200240), Department of Automation, Shanghai Jiao Tong University, Shanghai 200240, P.R.China 宁波工业互联网研究院(浙江宁波 315000), Ningbo Industrial Internet Institute, Ningbo, Zhejiang 315000, P.R.China

corresponding author Corresponding author.
杨根科,Email: nc.ude.utjs@gnaykg

在短时间 Δ t 内,可以将 sEMG 信号近似建模为弹簧振子,对于弹簧振子模型,其能量是动能与弹性势能的累加,则 sEMG 信号振子模型的能量 E 可以表示为如式(2)所示:

对于 sEMG 信号振子模型, k m 只与 sEMG 信号内部的特性有关,将(2)式表述为椭圆方程如式(3)所示:

由式(3)得出相图散点分布边界所围成的椭圆面积 S 与 sEMG 信号振子模型的能量 E 之间的正比关系如式(4)所示,因此可以把 sEMG 信号的平面椭圆分布称为 sEMG 信号的能量核特征。

sEMG 信号是肌肉收缩过程中所有活动运动单元产生的运动单元动作电位列 (motor unit action potential train,MUAPT) 相叠加的结果,可以将其视作肌肉纤维上的传播波 [ 20 ] ,MUAPT 中包含不同的谐波,每个谐波都在 sEMG 信号中生效,sEMG 信号振子的能量实际上是所有谐波能量的总和,谐波的平均能量密度 equation M 如式(5)所示 [ 5 ]

其中, A j 表示第 j 个分量的幅值, ρ 表示质量密度,振动源主角频率记为 ω 。学术界已经认可 sEMG 信号的均方根特征(root mean square,RMS)与肌肉的等长收缩力在短时间 Δ t 内存在一定的线性关系 [ 21 ] equation M1 包含 RMS 和动作单元的频率特征,因此在 Δ t 时间内肌肉力与 equation M2 存在一定的线性关系。再由式(4)可得 sEMG 信号相图椭圆面积的根号值与肌肉收缩力有一定的线性关系,因此可以用椭圆面积来表征 sEMG 信号内部的肌肉力特征。

综上可知 sEMG 信号的能量核相图椭圆面积是一种肌肉力特征,研究者提出了很多计算能量核相图椭圆面积的识别算法,并应用在 sEMG 信号识别中。能量核相图蕴含着椭圆面积和样本点分布等丰富信息,单纯提取面积的识别算法忽略了相图中信号采样点分布趋势和稀疏性等特征,这是手动提取特征的局限。本文提出 CNN 对 sEMG 信号能量核相图进行特征学习与识别的算法,省去了椭圆面积计算带来的时间复杂度,利用网络来自动学习相图更多的分布特征。

2. 基于 sEMG 信号能量核相图的 CNN 识别算法

2.1. sEMG 信号能量核相图图像构造

根据 sEMG 信号能量核模型理论,每个 sEMG 信号采集通道对应一幅包含 N 个采样点的散点分布图,滤除离坐标原点相差较大的干扰点,再利用 N 1 × N 2 的网格对相图上的散点进行覆盖,统计落在每个网格内部的散点个数,将统计数作为 N 1 × N 2 矩阵对应位置的元素大小,此二维数字矩阵便构成一幅 N 1 × N 2 的灰度数字图像,矩阵各元素对应图像像素大小。每个网格长度 l 与宽度 w 计算如式(6)所示,其中 x max y max x min y min 分别为能量核相图直角坐标的最大值与最小值, N 1 N 2 表示计数矩阵的尺寸。

由于不同计数网格的单元网格面积存在差异,本文将单元格面积作为权重系数加入 sEMG 信号能量核相图灰度图像中,如式(7)所示,其中 I 表示处理后的灰度图像, M 表示计数网格对应的数字矩阵, α 表示每个矩形网格单元的面积。

此外,根据 Chen 等 [ 5 ] 提出的能量核模型理论,能量核相图中各点围绕坐标原点呈椭圆分布,且由内到外分布密度逐步减小。由于能量核相图散点绘制误差等因素可能会导致靠近坐标原点的网格计数为 0,在图像中出现像素凹陷现象,使得能量核相图椭圆面积特征得不到较好体现,因此采用如式(8)所示的移动平均方法对矩阵图像进行了滑动滤波,该滤波方法可以有效避免像素凹陷现象,使得由网格计数方法获得的矩阵图像更加合理,同时也会去掉图像上的一些干扰噪声。

equation M3 ( i = 1, equation Z-20210719172336 , N 1 , j = 1, equation Z-20210719172342 , N 2 ) 表示计数网格每个单元的统计数值。经过上述预处理获得的单通道 sEMG 信号能量核相图是 N 1 × N 2 尺寸的灰度图,本文用到的 NinaPro DB2 数据集中每个手势对应 12 通道 sEMG 信号,这里根据多次实验测试经验和 sEMG 信号采集电极的空间相对位置对各灰度图像按照通道顺序进行了图像拼接,使图像包含电极的空间位置信息,最终将其处理成 4 N 1 × 3 N 2 大小的灰度图像来进行 CNN 的学习训练。为保证特征的连续性,采用如 图 2 所示的“时间窗 + 增量窗”的方式对 sEMG 信号分段进行特征提取, WT ST 分别表示 K 时刻的时间窗长度和增量窗长度。

Sliding time window method to extract signal segments

滑动时间窗法提取信号段

2.2. CNN 识别 sEMG 信号能量核相图算法

CNN 是一种包含卷积计算且具有深度结构的前馈神经网络,能够自动学习有效特征,使研究者摆脱手动构造特征的繁琐过程 [ 22 ] 。本文受到对分类问题性能优越的亚历克斯网络 (Alexnet) 的启发 [ 23 ] ,搭建如 图 3 所示的 CNN 识别网络,该网络主要由卷积层、池化层以及全连接层组成,卷积层中卷积核通过对输入样本进行卷积运算来提取特征,池化层通过空间上的运算和池化规则来减小卷积层产生的特征图尺寸,全连接层用来收集卷积、池化后的样本特征空间扩散信息。作为一种端到端的网络,CNN 在卷积提取特征以及全连接层分类输出方面有很强的学习能力 [ 11 ]

An external file that holds a picture, illustration, etc. Object name is swyxgcxzz-38-4-621-3.jpg
图 3

Main structure of CNN

CNN 主要结构

基于 sEMG 信号能量核相图的 CNN 识别算法框架如 图 4 所示,其主要包含数据预处理、能量核相图构造、CNN 模型训练及参数整定模块,经过图像化等预处理的 sEMG 信号能量核相图作为 CNN 网络的输入,卷积、池化等多层结构对输入图像进行特征提取与学习,训练好的 CNN 模型可以根据能量核相图识别出 sEMG 信号所属的手势动作类别。

An external file that holds a picture, illustration, etc. Object name is swyxgcxzz-38-4-621-4.jpg

CNN human gesture recognition algorithm based on phase portrait of sEMG energy kernel

基于 sEMG 信号能量核相图的 CNN 手势识别算法

本文提出的基于 sEMG 信号能量核相图的识别算法相比于文献[ 5 - 8 ]在特征提取方面,省去了计算能量核相图椭圆面积的步骤,同时对能量核相图进行了干扰点过滤、移动平均、添加面积因子等优化预处理,使得能量核相图分布更加合理。在分类器设计方面,本文算法搭建了 CNN 结构,输入为二维灰度图像格式,区别于文献[ 5 - 6 ]设计的一维面积向量输入格式。

3. 实验与结果分析

3.1. 实验配置与测试结果

为验证 CNN 识别 sEMG 信号能量核相图方法的有效性,本文从 NinaPro DB2 数据集中分别提取 2、4、8、16 种手势进行测试,将每一种手势前 5 次动作作为训练集,第 6 次动作作为测试集,为确保模型的可靠性,对训练集数据使用 5 折交叉验证方法来整定分类器参数,计数网格尺寸为 N 1 = N 2 =20,提取 sEMG 信号的能量核相图制作 80×60 尺寸的灰度图像训练集。本文使用程序开发环境 Pycharm 2018.3.5(JetBrains Inc.,捷克)与数学软件 MATLAB 2018a(MathWorks Inc.,美国),Pycharm 2018.3.5 用于样本制作和 CNN 搭建测试,MATLAB 2018a 用于对比实验和数据分析。分别取 WT =100 ms、 ST =100 ms 和 WT =200 ms、 ST =150 ms 来进行样本制作。预处理与训练过程如 图 5 所示,具体识别结果如 表 1 所示。本文 CNN 识别网络损失函数是交叉熵函数,使用自适应优化器(Adam),采用随机梯度下降优化算法,初始学习率为 0.000 1。网络结构包含输入层、3 层卷积层、3 层池化层、2 层全连接层以及 1 个分类输出层,3 层卷积层分别包含 8、16、32 个卷积核,卷积核主要是 3×3 尺寸,移动步长为 1。激活函数采用修正线性单元(rectified linear unit,ReLU),池化层采用最大池化规则,池化核尺寸为 2×2,移动步长为 1,输出层采用归一化指数函数(softmax)。根据交叉验证结果和损失函数变化判断过拟合程度,进而确定 CNN 的迭代次数,每次训练随机丢弃 50% 的输出特征来降低过拟合程度。

An external file that holds a picture, illustration, etc. Object name is swyxgcxzz-38-4-621-5.jpg

Feature extraction and training diagram of phase portrait of sEMG energy kernel

sEMG 信号能量核相图提取与训练图示

表 1

Experimental results of recognition accuracy and efficiency

识别精度与效率实验测试结果

手势类别数 平均识别精度 平均识别时间/ms
100 ms 时间窗 2 98.46% 0.34
4 93.10% 0.26
8 93.16% 0.26
16 80.32% 0.67
200 ms 时间窗 2 96.92% 0.28
4 93.96% 0.22
8 94.44% 0.24
16 85.12% 0.29

表 1 所示,CNN 结合 sEMG 信号能量核相图的识别方法在 2、4、8 种手势的识别实验中均达到 93% 以上的识别精度。训练好的 CNN 模型识别单张能量核相图的平均时间为 0.1 ms 数量级,在实际外骨骼机器人设备人机交互中可以忽略不计,因此在计算效率上本方法满足实时性要求。根据文献[ 7 ],使用 LF 与 DBC 方法提取 100 个 sEMG 信号数据段( WT =300 ms)能量核椭圆面积的计算时间分别是 1.051 s 和 0.789 s,本文采用文献[ 7 ]中能量核特征提取效率计算方式,对 100 个 sEMG 信号数据段( WT =300 ms)记录相图绘制时间,取 6 次的平均值为 0.298 s,由于 sEMG 信号的肌肉来源对处理算法的时间复杂度影响可忽略不计,因此可以得出结论:省去面积计算步骤,本文算法对能量核相图预处理的计算效率比 DBC 和 LF 方法明显提高。

3.2. 对比实验与效果分析

3.2.1. 多通道时间窗 sEMG 信号与能量核相图对比实验

为了验证能量核相图的识别性能,本文与文献[ 12 ]中利用时间窗覆盖 12 通道 sEMG 信号并提取信号幅值作为训练图像的方法进行了对比。时间窗长度分别取 200 采样点(100 ms 信号数据)与 400 采样点(200 ms 信号数据),分别形成 200×12 与 400×12 尺寸的灰度图像。与时间窗信号幅值方法对比的实验结果如 图 6 所示,在手势类别数为 4、8、16 时基于能量核相图的 CNN 识别方法准确率较高,在 2 类手势的识别中两种方法识别精度接近。该对比实验结果可以证明能量核相图的提取相比于未经特征提取的时间窗信号幅值数据具有较好的识别性能,进一步说明能量核相图特征的有效性。

An external file that holds a picture, illustration, etc. Object name is swyxgcxzz-38-4-621-6.jpg

Recognition effect comparison of multi-channel time window and phase portrait of energy kernel

多通道时间窗与能量核相图识别效果对比

3.2.2. CNN 与经典分类器识别能量核相图对比实验

为了验证 CNN 识别 sEMG 信号的性能,本文对能量核相图分别采用 CNN 与经典分类器进行分类对比,这里选用的经典分类器包括支持向量机(support vector machines,SVM)、 K 最近邻( k -nearest neighbor,KNN)、稀疏表示分类(sparse-based representation classification,SRC)和判别式 k 奇异值分解(discriminative k -singular value decomposition,DKSVD)。识别结果如 图 7 所示,可以看出时间窗是 100 ms 或 200 ms 时,采用 CNN 的识别精度都要高于上述经典分类器,在手势类别数增多时 CNN 识别优势更加明显。这说明利用 CNN 识别网络结合 sEMG 信号能量核相图在识别精度上要优于一些非网络学习的分类器,也验证了采用 CNN 网络进行分类的合理性。

An external file that holds a picture, illustration, etc. Object name is swyxgcxzz-38-4-621-7.jpg

Effect comparison of CNN and classic classifiers in recognizing phase portrait of energy kernel

CNN 与经典分类器识别能量核相图效果对比

3.2.3. CNN 与典型神经网络分类器识别能量核相图对比实验

为了证明选用 CNN 分类器的优势,本文进行了能量核相图结合常用 ANN 分类器的对比实验,进行对比的 ANN 分类器网络包含 MLP、RNN 和 LSTM,其中 RNN、LSTM 网络的输入均为二维能量核相图,将能量核相图处理成一维向量形式作为 MLP 的输入。对比实验结果如 图 8 所示,可以看出在手势类别不超过 4 时,CNN 与其它网络识别效果相近,但手势类别大于 4 时,CNN 网络识别体识别精度最高,此实验证明了本文选用 CNN 网络识别 sEMG 信号能量核相图的合理性。

An external file that holds a picture, illustration, etc. Object name is swyxgcxzz-38-4-621-8.jpg

Effect comparison of CNN and ANNs in recognizing phase portrait of energy kernel

CNN 与 ANN 分类器识别能量核相图效果对比

3.2.4. 能量核面积特征识别与 CNN 识别能量核相图对比实验

本文提出的 CNN 结合能量核相图的识别算法省去了计算能量核分布椭圆面积的步骤,为了对比该方法与文献[ 5 - 8 ]通过计算椭圆面积作为特征的识别方法的性能,本文进行了提取能量核椭圆面积为特征的识别实验。面积提取方式采用文献[ 6 ]中的 DBC 方法,分别采用 SVM、KNN、SRC 对面积特征进行分类识别,识别精度对比如 图 9 所示。可以看出提取面积特征的方法在手势类别小于 4 种时识别性能较好,但是在手势类别数增加时,CNN 结合能量核相图的识别精度比基于能量核面积特征的分类方法高。结合 表 1 中 CNN 识别时间很短可忽略不计以及 CNN 与 LF、DBC 计算效率对比的结论,说明省去计算面积的步骤直接利用能量核相图的 CNN 识别方法不仅满足运动意图识别对实时性的要求,而且在识别精度上有所提升。

An external file that holds a picture, illustration, etc. Object name is swyxgcxzz-38-4-621-9.jpg

Effect comparison of area extraction and CNN recognition based on phase portrait of energy kernel

能量核面积提取与 CNN 识别能量核相图对比实验

4. 结语

文章提出了一种基于 sEMG 信号能量核相图 CNN 手势识别算法,为了验证该算法的有效性,文章搭建了 CNN 识别框架并对手势 sEMG 信号数据集进行了识别测试。为了对比该分类算法的性能,文章主要进行了 4 类对比实验,分别是能量核相图提取与否、经典分类器种类、ANN 分类器种类和能量核椭圆面积计算与否。CNN 识别能量核相图的算法在上述的对比中均显现出优越性能,在手势类别多于 2 种时,平均识别精度提高超过 10%,并且 CNN 模型在线识别时间满足人体运动意图识别对实时性的要求,验证了本文识别算法的可行性与有效性,也为目前基于 sEMG 信号的人机交互研究提供了新的思路。本文仅针对手势 sEMG 信号数据集进行了测试,接下来将面向下肢助行外骨骼机器人,采集腿部肌肉的 sEMG 信号,同时融入力、加速度等传感器信息来研究更加可靠的人体运动意图识别方法。

利益冲突声明:本文全体作者均声明不存在利益冲突。

Funding Statement

科技部国家重点研发计划(2019YFB1705703)

Funding Statement

National Key Research and Development Project

References

1. 丁其川, 熊安斌, 赵新刚, 等 基于表面肌电的运动意图识别方法研究及应用综述 自动化学报 2016; 42 (1):13–25. [ Google Scholar ]
2. Meng Qingyun, Meng Qiaoling, Yu Hongliu, et al. A survey on sEMG control strategies of wearable hand exoskeleton for rehabilitation//2017 2nd Asia-Pacific Conference on Intelligent Robot Systems (ACIRS), Wuhan: IEEE, 2017: 165-169.
3. Phukpattaranont P, Thongpanja S, Anam K, et al Evaluation of feature extraction techniques and classifiers for finger movement recognition using surface electromyography signal. Med Biol Eng Comput. 2018; 56 (12):2259–2271. doi: 10.1007/s11517-018-1857-5. [ PubMed ] [ CrossRef ] [ Google Scholar ]
4. 丁帅, 王亮 基于块稀疏贝叶斯学习的肌电信号特征提取 仪器仪表学报 2014; 35 (12):2731–2738. [ Google Scholar ]
5. Chen X, Yin Y, Fan Y EMG oscillator model-based energy kernel method for haracterizing muscle intrinsic property under isometric contraction. Chin Sci Bull. 2014; 59 (14):1556–1567. doi: 10.1007/s11434-014-0147-3. [ CrossRef ] [ Google Scholar ]
6. Chen X, Zeng Y, Yin Y Improving the transparency of an exoskeleton knee joint based on the understanding of motor intent using energy kernel method of EMG. IEEE Trans Neural Syst Rehabil Eng. 2017; 25 (6):577–588. doi: 10.1109/TNSRE.2016.2582321. [ PubMed ] [ CrossRef ] [ Google Scholar ]
7. Zeng Y, Yang J, Peng C, et al Evolving gaussian process autoregression based learning of human motion intent using improved energy kernel method of EMG. IEEE Trans Biomed Eng. 2019; 66 (9):2556–2565. doi: 10.1109/TBME.2019.2892084. [ PubMed ] [ CrossRef ] [ Google Scholar ]
8. 石欣, 朱家庆, 秦鹏杰, 等 基于改进能量核的下肢表面肌电信号特征提取方法 仪器仪表学报 2020; 41 (1):121–128. [ Google Scholar ]
9. Yang Kuo, Zhang Zhen. Real-time pattern recognition for hand gesture based on ANN and surface EMG//2019 IEEE 8th Joint International Information Technology and Artificial Intelligence Conference (ITAIC), Chongqing: IEEE, 2019: 799-802.
10. Abdel-Hamid O, Mohamed A, Jiang H, et al Convolutional neural networks for speech recognition. IEEE/ACM Trans Audio, Speech, Language Process. 2014; 22 (10):1533–1545. doi: 10.1109/TASLP.2014.2339736. [ CrossRef ] [ Google Scholar ]
11. Pinzón-Arenas J O, Jiménez-Moreno R, Herrera-Benavides J E. Convolutional neural network for hand gesture recognition using 8 different EMG signals//2019 XXII Symposium on Image, Signal Processing and Artificial Vision (STSIVA). Bucaramanga: IEEE, 2019: 1-5.
12. Atzori M, Cognolato M, Müller H Deep learning with convolutional neural networks applied to electromyography data: a resource for the classification of movements for prosthetic hands. Front Neurorobot. 2016; 10 :9. [ PMC free article ] [ PubMed ] [ Google Scholar ]
13. Geng W, Du Y, Jin W, et al Gesture recognition by instantaneous surface EMG images. Sci Rep. 2016; 6 :36571. doi: 10.1038/srep36571. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
14. Wei W, Wong Y, Du Y, et al A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface. Pattern Recognit Lett. 2019; 119 :131–138. doi: 10.1016/j.patrec.2017.12.005. [ CrossRef ] [ Google Scholar ]
15. Zhai X, Jelfs B, Chan R M, et al Self-recalibrating surface EMG pattern recognition for neuroprosthesis control based on convolutional neural network. Front Neurosci. 2017; 11 :379. doi: 10.3389/fnins.2017.00379. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
16. He Yunan, Fukuda O, Bu Nan, et al. Surface EMG pattern recognition using long short-term memory combined with multilayer perceptron//2018 40th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Honolulu: IEEE, 2018: 5636-5639.
17. Wu Yuheng, Zheng Bin, Zhao Yongting. Dynamic gesture recognition based on LSTM-CNN//2018 Chinese Automation Congress (CAC), Xi’an: IEEE, 2018: 2446-2450.
18. Staudenmann D, Roeleveld K, Stegeman D F, et al Methodological aspects of SEMG recordings for force estimation--a tutorial and review. J Electromyogr Kinesiol. 2010; 20 (3):375–387. doi: 10.1016/j.jelekin.2009.08.005. [ PubMed ] [ CrossRef ] [ Google Scholar ]
19. Du Y C, Lin C H, Shyu L Y, et al Portable hand motion classifier for multi-channel surface electromyography recognition using grey relational analysis. Expert Syst Appl. 2010; 37 (6):4283–4291. [ Google Scholar ]
20. McComas A J, Mrozek K The electrical properties of muscle fiber membranes in dystrophia myotonica and myotonia congenita. J Neurol Neurosurg Psychiatry. 1968; 31 (5):441–447. doi: 10.1136/jnnp.31.5.441. [ PMC free article ] [ PubMed ] [ CrossRef ] [ Google Scholar ]
21. Trajano G S, Nosaka K, Blazevich A J Neurophysiological mechanisms underpinning stretch-induced force loss. Sports Med. 2017; 47 (8):1531–1541. doi: 10.1007/s40279-017-0682-6. [ PubMed ] [ CrossRef ] [ Google Scholar ]
22. 李伟, 杨向东, 陈恳 基于CNN和RNN联合网络的心音自动分类 计算机工程与设计 2020; 41 (1):46–51. [ Google Scholar ]
23. Krizhevsky A, Sutskever I, Hinton G E Imagenet classification with deep convolutional neural networks. Commun ACM. 2017; 60 (6):84–90. doi: 10.1145/3065386. [ CrossRef ] [ Google Scholar ]

Articles from Sheng Wu Yi Xue Gong Cheng Xue Za Zhi = Journal of Biomedical Engineering are provided here courtesy of West China Hospital of Sichuan University