[0001] 本发明涉及技能教学及测试技术领域，特别是涉及一种用于钢琴弹奏动作、力度和肌电信号的测量平台及方法。

[0002] 钢琴弹奏作为一项专业的手部运动技能，初学者需要在专业教师的指导下经过大[1]量的训练才能掌握。在钢琴弹奏的学习过程中需要保持正确的人手姿态 ，以保证手指的[2]
灵活有力，并避免长时间弹奏带来的手部损伤，除此之外还要学会控制手指的触键力度 ，以保证弹奏乐曲的准确性和平稳性。钢琴弹奏的手部姿态和触键力度对于钢琴弹奏的学习至关重要，而人体的一切运动又都是大脑的活动通过肌肉的收缩引起的外部表现形式，所以弹奏的动作和力度与相关肌肉的表现密不可分，尤其是在钢琴弹奏学习初期，初学者的肌肉表现通常是紧张的、不协调的，需要进行及时的调整和改善才能够更好地掌握钢琴弹[3]
奏这项技能 。因此，通过对专业人士做弹琴触键动作时的动作、力度和肌电信号数据进行综合信息采集与分析，并得到相应规律对钢琴教学具有重要的指导意义。

[0003] 在动作数据测量方面，主要有数据手套采集[4]和相机采集[5]，但是数据手套会影响人手的自然运动，造成测量数据的不准确，而相机采集需要在手部粘贴标记点，测量结果会受标记点粘贴情况的影响。Leap Motion传感器是一种专业手部信息捕获设备，它可以直接识别人手关节和指尖特征点，且不需要佩戴任何其他外部设备或粘贴标记点，测量更准[6]确，而且测量帧数快，测量精度高，能够很好的满足对手部弹琴动作的测量需求 。在力度数据测量方面，常用的压力传感器有陶瓷压阻式、扩散硅式、金属应变片粘贴式、差压电容[7]
式、薄膜式等，其中薄膜压力传感器具有精度高、蠕变性好、抗干扰力强等性能 ，而且其厚度小、制作简单，能够很好的满足对触键力度测量的需要。在肌电信号数据测量方面，根据采集方式可以分为侵入式采集和非侵入式采集，侵入式采集需要把针极刺入实验者的肌肉组织内部，虽然采集到的信号更加准确，但是会对实验者造成伤害。而非侵入式采集是通过在皮肤上粘贴表面电极贴片对实验者进行肌电信号采集，这种采集到的信号叫做表面肌电[8]
信号，该方法无需深入到实验者的肌肉组织中，具有操作简单方便，安全无创伤的优点 ，所以在肌电信号测量中选择表面肌电信号采集设备进行肌电信号数据采集。

[0004] Leap Motion的最佳测量位置是在手部正下方14‑24cm处[9]，作为一个光学传感器，它在测量时需要传感器和手之间没有遮挡，因此需要设置透明平台来完成手部动作测量。薄膜压力传感器需要粘贴在稳固的平台上，并且其感应区域全部受压时测量效果最好。为测量得到更加真实准确的表面肌电信号，需要能够模拟弹琴触键过程，例如琴键按下深度和触键阻力等。综上所述，如何根据各数据采集设备的特点，搭建更加真实的测量环境，实现对动作、力度和表面肌电信号数据的同步采集，对后续进行对数据的分析处理并得到相应规律显得格外重要。

[0005] 参考文献：

[0006] [1]雷蕾.钢琴演奏中的手指技法之探讨[J].赤峰学院学报(科学教育版),2011,3(06):112‑114.

[0007] [2]陈慧.浅析钢琴弹奏中的力量贯通与合理支配[J].音乐时空,2014,(12):142.[0008] [3]姜力.从人体运动科学视角看钢琴弹奏技能的形成——兼及钢琴弹奏技能的素质结构[J].艺术百家,2009,25(03):200‑202.

[0009] [4]Alba R,L.J S,Margarita V.Problems Using Data Gloves with Strain Gauges to Measure Distal Interphalangeal Joints’Kinematics[J].Sensors,2022,22(10):1‑10.

[0010] [5]Zhao W,Chai J,Xu Y Q.Combining Marker‑Based Mocap and RGB‑D Camera for Acquiring High‑Fidelity Hand Motion Data[C].Proceedings of the ACM SIGGRAPH/Eurographics Symposium on Computer Animation.2012:33‑42.

[0011] [6]彭淼,陈国丽,姜瑜.基于Leap Motion体感传感器的手部位置信息获取方法研究[J].南方农机,2021,52(07):28‑33.

[0012] [7]虞沛芾,李伟.薄膜压力传感器的研究进展[J].有色金属材料与工程,2020,41(02):47‑54.

[0013] [8]陈斌.基于表面肌电信号的手势识别研究[D].南昌:南昌大学,硕士学位论文,2021.

[0014] [9]Nizamis K,Rijken N,Mendes A,et al.A Novel Setup and Protocol to Measure the Range of Motion of the Wrist and the Hand[J].Sensors,2018,18(10).发明内容

[0015] 本发明的目的是为了克服现有技术中的不足，提供一种用于钢琴弹奏动作、力度和肌电信号的测量平台及方法，本发明针对传统与手部运动规律相关的研究中只是对动作、力度和表面肌电信号其中一项或两项数据进行测量的局限性，结合更适用于对手指做弹琴运动的动作测量设备Leap Motion传感器、力度测量设备薄膜压力传感器和表面肌电信号采集设备的特点，搭建更加真实的测量环境，该平台能够模拟真实弹琴时琴键的按下深度、复位阻力，能够对单指运动、多指组合运动等进行动作、力度和表面肌电信号数据的同步采集，并通过对得到的数据进行分析处理，得到专业人士做弹琴动作时相应指标的变化规律。

[0016] 本发明的目的是通过以下技术方案实现的：

[0017] 一种用于钢琴弹奏动作、力度和肌电信号的测量平台，包括测量平台框架、拉簧固定座、拉簧、琴键、琴键轴座、薄膜压力传感器、承压平台、Leap Motion传感器和下平台；

[0018] 所述测量平台框架为长方体框架结构，测量平台框架由连接杆和角码通过紧固件可拆卸的连接组成，测量平台框架的顶部一侧的连接杆空置形成敞口以便于演奏者手部伸入进行钢琴弹奏；所述测量平台框架的顶部通过角码可拆卸固定有所述拉簧固定座，所述拉簧固定座的底部等间距的设置有14个拉簧固定环A；

[0019] 所述琴键轴座可拆卸的设置在测量平台框架的背部，琴键轴座的内侧等间距的设置有14个支座，所述支座用于支撑光轴；

[0020] 所述琴键由透明亚克力板和活动板组成，所述活动板的末端设有带有连接孔的卡槽，所述活动板通过卡槽与支座配合后通过光轴穿接，所述活动板能够绕所述光轴转动，所述活动板的前端设有凹槽，所述透明亚克力板嵌入所述凹槽内并通过胶水粘接；位于所述凹槽上方的活动板上表面设有拉簧固定环B，所述拉簧的一端与拉簧固定环A连接，另一端与拉簧固定环B连接；位于所述凹槽下方的活动板下表面设有圆柱形凸块，圆柱形凸块的顶端为半球状突触；

[0021] 测量平台框架的两侧通过角码可拆卸的连接有支撑杆，两个支撑杆之间连接有所述承压平台，所述承压平台位于拉簧固定座的正下方；通过凹槽将所述承压平台上表面划分为14个小平台，每个小平台上均放置有所述薄膜压力传感器，所述薄膜压力传感器上放置有圆形橡胶垫；

[0022] 所述下平台设置于测量平台框架底部，所述下平台上设置有Leap Motion传感器。

[0023] 进一步的，所述连接杆、支撑杆均由铝型材构成。

[0024] 进一步的，当琴键被按下时拉簧能够提供阻力，当按压结束时拉簧能够使琴键复位。

[0025] 进一步的，所述琴键的宽度为22mm，与标准钢琴琴键宽度一致，当琴键受到按压时位于其底部的半球状突触能够按压到下方的薄膜压力传感器上，并保证压力垂直向下作用到薄膜压力传感器上，活动板在被按压时能够绕光轴旋转。

[0026] 进一步的，所述薄膜压力传感器用于间接测量手指按压力，测量每次触键动作的力度数据；所述Leap Motion传感器用于检测人手各手指关节信息，记录人手关节特征点动作数据。

[0027] 进一步的，所述承压平台上表面每个凹槽的宽度为1.5mm，与相邻两个琴键之间的间隙一致；所述承压平台的高度设置需满足使琴键的按下深度为10mm，符合钢琴琴键标准按下深度。

[0028] 本发明还提供一种基于所述测量平台的钢琴弹奏信息采集方法，包括：

[0029] (1)根据人体功能解剖图谱，找到做弹琴动作时与手部运动有关的肌肉，包括指伸肌、指浅屈肌、拇短伸肌、大鱼际肌、桡侧腕屈肌、尺侧腕屈肌，在前臂对应位置用酒精湿巾擦拭皮肤表面，然后粘贴表面电极，并连接表面肌电信号采集设备，在实验之前，采集受试者做相应动作时的最大自主收缩MVC信号，用于后续归一化处理；

[0030] (2)将Leap Motion传感器放置在下平台上，并调整其位置使手掌能够处于其最佳检测范围内；

[0031] (3)将薄膜压力传感器连接单片机和PC机，用于读取和保存力度数据；

[0032] (4)将手放置在测量平台上，保持弹琴时的标准动作要求，人手在水平方向上靠近Leap Motion传感器，保证Leap Motion传感器能够直接测量到手指各关节点；

[0033] (5)手指按照钢琴弹奏指法要求做各弹琴触键动作，某一指触键时，其他四指在琴键上保持位置和姿态不变，该指进行抬指动作，模仿真实弹琴过程中的抬指蓄力过程，然后进行落指动作，模仿真实弹琴过程中的落指触键动作，该指按压琴键触底时，落指动作停止，并根据正常弹琴习惯停留相应时间，然后开始下一次弹奏，不断重复上述过程，并根据节拍器的提示按节奏进行；

[0034] (6)在弹奏过程中利用Leap Motion传感器、薄膜压力传感器和表面肌电信号采集设备对钢琴弹奏的动作、力度和表面肌电信号数据进行综合信息采集。

[0035] 本发明还提供一种钢琴弹奏综合信息分析方法，薄膜压力传感器在压力的作用下电阻值发生变化，通过电阻‑电压转换模块将电阻值的变化转换为电压值的变化，之后经过STM32微处理器内置的ADC模块，即模数转换模块，将模拟电压量转换为数字电压量，最后通过串口发送给PC机，实现在电脑上显示电压的变化，并进行数据的储存，在整个过程中需要通过仿真器进行程序的烧录和对单片机进行供电。

[0036] 进一步的，在进行力度数据采集之前需要对薄膜压力传感器进行标定，得到输出电压与施加载荷的关系曲线，通过标定曲线能够根据输出电压值进而得到触键力度数据，标定过程直接在测量平台上进行；

[0037] 标定时将最外侧琴键的拉簧拆除，琴键在无外力作用下能够自然下落，当琴键受到向下的压力时，通过半球状突触将压力垂直作用在薄膜压力传感器上，压力由悬挂的砝码和琴键自重提供，砝码通过细线悬挂在琴键上，每个砝码重50g，依次悬挂1到10个砝码，并对薄膜压力传感器进行数据采集，在不同压力作用下，将稳定后10s内输出电压的平均值作为该砝码质量下对应的电压值；

[0038] 忽略各种摩擦力和微小形变，并将琴键简化为质量集中在重心的杆，利用杠杆原理进行计算，得到砝码实际作用在薄膜压力传感器上的压力为悬挂砝码质量的1.25倍；同理按照杠杆原理，得到琴键自重作用在薄膜压力传感器上的质量；

[0039] 每次施加的实际载荷为1.25倍的砝码质量与琴键自重作用力的总和，依次悬挂1到10个砝码并记录输出电压值，每个重量砝码对应薄膜压力传感器的输出分别测试3次，并取其平均值，得到不同施加载荷下对应输出电压；

[0040] 对砝码质量和输出电压进行曲线拟合得到标定曲线，利用标定曲线，通过测量输出电压对弹琴时的触键力进行预测，完成触键力度数据的采集。

[0041] 本发明还提供一种钢琴弹奏综合信息数据处理方法，包括数据预处理、特征提取、规律分析，具体如下：

[0042] 对于动作数据，首先进行坐标系的转换，根据Leap Motion传感器的特性建立Leap Motion输出坐标系，然后根据各手指、手腕特点建立人手坐标系，利用坐标变换将Leap Motion传感器输出数据转换为人手坐标系下数据，然后对人手坐标系下数据做中位值平均滤波，滤除其中偏离过大的数据，最后通过滑动时间窗口将每次动作分割，以进行特征提取；在特征提取环节提取掌指关节转角的最大值MAX和最小值MIN特征用于钢琴弹奏触键动作规律的分析；

[0043] 对于力度数据，首先要进行中位值平均滤波，消除由偶然出现的脉冲干扰所引起的采样值偏差，然后采用滑动时间窗口分割每次动作数据，最后提取触键力度的最大值特征进行钢琴弹奏触键力度的分析；

[0044] 对于表面肌电信号数据，首先分别采用30～500Hz的带通滤波器和50Hz的陷波滤波器，滤除心电干扰、设备固有噪声、人体自身噪声、运动伪迹、基线漂移和工频干扰等噪声，然后利用正式试验之前采集的MVC信号对表面肌电信号数据进行归一化处理，最后采用滑动时间窗口对每次动作进行分割，完成对表面肌电信号的预处理；在特征提取部分，提取均方根值RMS、平均绝对值MAV、方差VAR这些时域特征，或提取中值频率MDF、均值频率MNF这些频域特征，或提取小波变换WT、小波包变换WPT这些时频域特征，然后对提取的特征进行特征降维与特征融合，以进行钢琴弹奏表面肌电信号分析。

[0045] 与现有技术相比，本发明的技术方案所带来的有益效果是：

[0046] 1.本发明的钢琴弹奏综合信息采集平台，通过模拟真实的弹琴环境，能够在十分贴近自然的状态下实现对钢琴弹奏的动作、力度和表面肌电信号数据的同步采集，通过对采集到的数据进行处理与分析，能够得到对应指标的变化规律。尤其是表面肌电信号的引入能够在生理层面对钢琴弹奏运动学习规律进行探索，并和触键动作、触键力度信息共同构建起一个更加全面的钢琴弹奏评价体系，通过对各信号的分析，以及各信号之间关系的建立，能够完善评价体系，提高评价效果。

[0047] 2.本发明的钢琴弹奏综合信息数据分析方法，能够有效的对数据进行滤波和分割，提高信号质量，获得主要信号特征，并通过建立肌电特征与触键动作映射模型和肌电特征与触键力度映射模型，更好地对钢琴弹奏水平进行评价，同时当模型具有一定精度和稳定性时，可以通过只测量表面肌电信号得到触键动作和触键力度信息，并简化测量评价方法和评价过程，除此之外，还可以将模型应用于钢琴教学机械手外骨骼的主被动按需辅助控制，根据使用者的需求进行更加灵活、精准的钢琴辅助教学。

[0048] 3.本发明模拟钢琴击弦机原理，在触键过程中，琴键能够按压一定深度，测量平台能够提供一定阻力，并使琴键能够复位。相比于现有研究中很多都是按压带有标记琴键位置的玻璃板、亚克力板等固定平面，本发明能够提供更加真实的测量环境，同时也能够测量得到更加真实准确的数据。本发明设计两组共计14个琴键，能够实现对单指触键、多指组合触键和跨键等钢琴弹奏常用触键动作进行综合信息采集。

[0049] 4.本发明根据Leap Motion传感器的测量方式和人手弹琴动作习惯设计测量平台整体框架结构尺寸，使人手处于Leap Motion传感器的最佳测量范围内，用Leap Motion传感器来捕捉并记录手部关节相关特征点空间位置坐标。

[0050] 5.为防止对动作采集过程造成遮挡，本发明设计相关结构实现对手指触键力的间接采集，并保证触键力垂直作用于薄膜压力传感器上，同时需要设计承压平台使薄膜压力传感器能够平稳固定，并保证琴键按下深度。除此之外，在使用之前，还需要对薄膜压力传感器进行标定。

[0051] 6.本发明在测量表面肌电信号时，更有针对性的根据要做的弹琴触键动作找到在前臂和手掌上与动作对应的相关肌肉并布置电极，进行表面肌电信号的采集。在确定相关肌肉的过程中通过结合人体功能解剖图谱中各肌肉的位置及作用，以及实际的弹琴触键动作，更有针对性的选择肌肉，能够保证在使用较少的采集电极的情况下获得充足的信息，又能够避免布置太多电极所带来的数据处理的难度的提升。

[0052] 7.本发明能够同步采集专业人士做相关弹琴触键动作时的手部动作数据、触键力度数据和相关肌肉的表面肌电信号数据，并对采集到的数据进行滤波降噪和分割等预处理操作，然后进行特征提取，对于表面肌电信号还需要进行特征降维与特征融合，通过对提取到的特征进行分析得到专业人士做弹琴动作时相应指标的变化规律。并将得到的规律用于钢琴教学指导，相比于之前一些研究中只是根据触键动作的一些指标进行钢琴辅助教学，增加触键力度和表面肌电信号能够提供更多的指标以进行钢琴辅助教学，提升教学效果。

[0067] 以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0068] 实施例1

[0069] 如图1所示，本实施例提供一种用于钢琴弹奏动作、力度和肌电信号的测量平台，包括测量平台框架1、拉簧固定座2、拉簧3、琴键4、琴键轴座5、薄膜压力传感器6、承压平台7、Leap Motion传感器9和下平台8；

[0070] 如图2和图3所示，测量平台框架1为长方体框架结构，测量平台框架由若干根连接杆101和角码102通过紧固件(螺栓)可拆卸的连接组成，测量平台框架1的顶部一侧的连接杆101空置形成敞口以便于演奏者手部伸入进行钢琴弹奏；测量平台框架的顶部通过角码202可拆卸固定有拉簧固定座2，拉簧固定座2的底部等间距的设置有14个拉簧固定环A201；
本实施例中的测量平台框架采用欧标15×15mm的铝型材搭建并用直角角码和螺栓螺母紧固件进行连接，保证测量时人手能够在Leap Motion传感器最佳识别范围内，即连接杆101均由欧标15×15mm的铝型材构成。

[0071] 将拉簧固定座2与14个琴键4左右对齐并通过紧固件固定在测量平台框架1上，同时通过直角角码和紧固件将该拉簧固定座2固定于测量平台框架上并与琴键4上的拉簧固定环B403上下对齐，保证拉簧固定座2上每一个拉簧固定环A201处于每个琴键4上的拉簧固定环B403的正上方。本实施例中拉簧固定座2是由欧标15×15mm的铝型材和一个长方形连接片通过螺钉连接构成，其中长方形连接片和拉簧固定环A201可通过3D打印为一体结构。

[0072] 见图4，琴键4由透明亚克力板402和活动板401组成，透明亚克力板402能够防止Leap Motion对动作测量时产生遮挡，其宽度为22mm，为标准钢琴琴键宽度。活动板401为3D打印件，活动板401的末端设有带有连接孔的卡槽，活动板401通过卡槽与支座501配合后通过光轴502穿接，活动板401能够绕光轴502转动，在被按压时能够绕光轴502回转中心旋转，连接孔上表面的外侧设置为不同于其他部分的直角结构，能够在受到拉簧拉力复位时实现复位截止，使琴键停在水平位置。

[0073] 活动板401的前端设有凹槽，透明亚克力板402嵌入凹槽内并通过胶水粘接固定构成完整琴键4；位于凹槽上方的活动板401上表面设有拉簧固定环B403，拉簧3的一端与拉簧固定环A201连接，另一端与拉簧固定环B403连接，当琴键4被按下时能够提供一定阻力，当按压结束时能够使琴键复位；位于凹槽下方的活动板401下表面设有圆柱形凸块404，用于间接测量触键力，圆柱形凸块404的顶端为半球状突触；当琴键4受到按压时球面能够按压到下方的薄膜压力传感器6上，并保证压力垂直向下作用到薄膜压力传感器6上，琴键后端另一侧通过光轴与琴键轴座5连接。

[0074] 见图5，琴键轴座5可拆卸的设置在测量平台框架1的背部，琴键轴座5的内侧等间距的设置有14个支座501，支座501用于支撑光轴502，同时限制各琴键4左右移动的自由度，14个琴键通过光轴502与琴键轴座5连接，琴键轴座5通过紧固件固定在欧标15×15mm的铝型材上，同时通过直角角码503和紧固件将该段型材固定于测量平台框架1上，并通过上下调整其位置，使琴键在无其他外力作用下，能够受到一定的拉簧拉力，使琴键能够稳定在水平位置。本实施例中琴键轴座5和其上的支座501可通过3D打印获得。

[0075] 见图6，测量平台框架1的两侧通过角码可拆卸的连接有支撑杆10，两个支撑杆10之间通过角码702连接有承压平台7，承压平台7位于拉簧固定座2的正下方；通过凹槽将承压平台上表面划分为14个小平台701，每个小平台701上均放置有薄膜压力传感器6，薄膜压力传感器6上放置有圆形橡胶垫11。

[0076] 具体的，薄膜压力传感器6用于间接测量手指按压力，测量每次触键动作的力度数据。选择直径大小与薄膜压力传感器感应区域大小一致的圆形橡胶垫11，并粘贴固定于薄膜压力传感器上，使其覆盖整个感应区域，当受到琴键施加的垂直向下的压力时，通过圆形橡胶垫能够将压力施加到薄膜压力传感器的整个感应区域，更好的发挥薄膜压力传感器的检测效果。

[0077] 具体的，本实施例中是将3D打印的承压平台7通过紧固件固定在水平的铝型材上，并与琴键左右对齐，承压平台上的每个凹槽宽度为1.5mm，与琴键间隙一致，然后通过直角角码和紧固件将该段型材连接到两根竖直铝型材即支撑杆10上，并通过调整其上下高度，保证琴键的按下深度为10mm，符合钢琴琴键标准按下深度，最后将两根竖直铝型材即支撑杆10通过直角角码和紧固件连接到测量平台框架1上，并调整其前后距离使承压平台每个小平台的中心位于琴键下侧圆柱形凸起的正下方，承接琴键被按下时竖直向下的压力。

[0078] 下平台8设置于测量平台框架1底部，下平台8上设置有Leap Motion传感器9。Leap Motion传感器9用于检测人手各手指关节信息，记录人手关节特征点运动数据。下平台8为一整块亚克力板，为Leap Motion传感器提供平整的放置平面，减少测量时对Leap Motion传感器的影响。

[0079] 实施例2

[0080] 见图7，本实施例提供基于上述实施例1中的测量平台进行钢琴弹奏综合信息采集方法，包括以下步骤：

[0081] (1)根据人体功能解剖图谱，找到做弹琴动作时与手部运动有关的肌肉，如指伸肌、指浅屈肌、拇短伸肌、大鱼际肌、桡侧腕屈肌、尺侧腕屈肌，在前臂对应位置用酒精湿巾擦拭皮肤表面，然后粘贴表面电极，并连接表面肌电信号采集设备，在正式实验之前，需要采集受试者做相应动作时的最大自主收缩(MVC)信号，用于后续归一化处理；

[0082] (2)将Leap Motion传感器放置在下平台上，并调整其位置使手掌能够处于其最佳检测范围内；

[0083] (3)将薄膜压力传感器连接单片机和PC机，用于读取和保存触键力度数据；

[0084] (4)将手放置在平台上，保持弹琴时的标准动作要求，人手在水平方向上尽量靠近Leap Motion传感器，保证Leap Motion传感器可以直接识别到手指各关节点；

[0085] (5)手指按照钢琴弹奏指法要求做各弹琴触键动作，以食指触键为例，其他四指在琴键上保持位置和姿态不变，食指进行抬指动作，模仿真实弹琴过程中的抬指蓄力过程，然后进行落指动作，模仿真实弹琴过程中的落指触键动作，食指按压琴键触底时，落指动作停止，并根据正常弹琴习惯停留相应时间，然后开始下一次弹奏，不断重复上述过程，并根据节拍器的提示按一定节奏进行；

[0086] (6)在弹奏过程中利用Leap Motion传感器、薄膜压力传感器和表面肌电信号采集设备对钢琴弹奏的动作、力度和表面肌电信号数据进行综合信息采集。

[0087] 实施例3

[0088] 本实施例提供钢琴弹奏综合信息分析方法，具体如下：

[0089] 1.力度数据采集过程及薄膜压力传感器标定

[0090] 对于动作数据的测量和表面肌电信号数据的测量直接应用Leap Motion传感器和Noraxon表面肌电信号采集设备即可，而对于力度数据的测量需要单独购买薄膜压力传感器，本实施例购买的是FSR402系列薄膜压力传感器，压力数据采集系统框架如图8所示，薄膜压力传感器在压力的作用下电阻值会发生变化，通过电阻‑电压转换模块能够将电阻值的变化转换为电压值的变化，然后经过STM32微处理器内置的ADC模块，即模数转换模块，将模拟电压量转换为数字电压量，然后通过串口发送给PC机，这样就能够在电脑上显示电压的变化，并进行数据的储存，在整个过程中需要通过仿真器进行程序的烧录和对单片机进行供电。

[0091] 在进行力度数据采集之前需要对薄膜压力传感器进行标定，得到输出电压与施加载荷的关系曲线，通过标定曲线就能够根据输出电压值进而得到触键力度数据。标定过程直接在综合信息采集平台上进行，琴键按压过程及相关具体结构如图9所示。

[0092] 标定时将最外侧琴键的拉簧拆除，琴键在无外力作用下能够自然下落，当琴键受到向下的压力时，通过突触将压力垂直作用在薄膜压力传感器上，压力由悬挂的砝码和琴键自重提供，如图10所示，砝码通过细线悬挂在琴键上，每个砝码重50g，依次悬挂1到10个砝码，并对压力传感器进行数据采集，在不同压力作用下，将稳定后10s内输出电压的平均值作为该砝码质量下对应的电压值。

[0093] 由图10可以看出砝码实际施加的压力并不是位于薄膜压力传感器正上方，需要通过计算得到砝码实际施加在薄膜压力传感器上的正压力，这里忽略各种摩擦力和微小形变，并将琴键简化为质量集中在重心的杆，其在竖直方向上的受力情况如图11所示，利用杠杆原理进行计算，得到砝码实际作用在薄膜压力传感器上的压力为悬挂砝码质量的1.25倍。

[0094] 琴键重量为17g，琴键重心到琴键回转中心的水平距离为38mm，同理按照杠杆原理，琴键自重作用在薄膜压力传感器上的质量为16g。

[0095] 综上所述，每次施加的实际载荷为1.25倍的砝码质量与琴键自重作用力的总和，依次悬挂1到10个砝码并记录输出电压值，每个重量砝码对应薄膜压力传感器的输出分别测试3次，取其平均值，得到不同施加载荷下对应输出电压如表1所示。

[0096] 表1不同施加载荷下对应的输出电压

[0097]

[0098]

[0099] 对砝码质量和输出电压进行曲线拟合得到标定曲线如图12所示。利用标定曲线，通过测量输出电压就能够对弹琴时的触键力进行预测，完成触键力度数据的采集。

[0100] 2.钢琴弹奏综合信息数据处理流程

[0101] 数据处理的整体流程包括数据预处理、特征提取和规律分析。根据不同信号的特点需要采取相应的数据处理方法，具体流程如图13所示。

[0102] 对于动作数据，首先需要进行坐标系的转换，根据Leap Motion传感器的特性建立Leap Motion输出坐标系，然后根据各手指、手腕特点建立人手坐标系，利用坐标变换将Leap Motion传感器输出数据转换为人手坐标系下数据，然后对数据做中位值平均滤波，滤除其中偏离过大的数据，最后通过滑动时间窗口将每次动作分割，以进行特征提取。在特征提取环节主要提取掌指关节转角的最大值(MAX)和最小值(MIN)特征用于钢琴弹奏触键动作规律的分析。

[0103] 对于力度数据，首先要进行中位值平均滤波，消除由偶然出现的脉冲干扰所引起的采样值偏差，然后采用滑动时间窗口分割每次动作数据，最后提取触键力度的最大值特征进行钢琴弹奏触键力度的分析。

[0104] 对于表面肌电信号数据，首先分别采用30～500Hz的带通滤波器和50Hz的陷波滤波器，滤除心电干扰、设备固有噪声、人体自身噪声、运动伪迹、基线漂移和工频干扰等噪声，然后利用正式试验之前采集的MVC信号对数据进行归一化处理，最后采用滑动时间窗口对每次动作进行分割，完成对表面肌电信号的预处理。在特征提取部分，用于肌电特性分析的特征较多，可以提取均方根值(RMS)、平均绝对值(MAV)、方差(VAR)等时域特征，中值频率(MDF)、均值频率(MNF)等频域特征，以及小波变换(WT)、小波包变换(WPT)等时频域特征，然后对提取的特征进行特征降维与特征融合，以进行钢琴弹奏表面肌电信号相关规律的分析与研究。

[0105] 综上，钢琴弹奏作为一项专业的手部运动技能，其对人手姿态以及触键的动作和力度都有着严格的要求，尤其是对于初学者，在早期养成良好的弹奏习惯对将来的学习和发展至关重要，但在关注动作和力度训练的同时，肌肉的表现往往容易被忽视，尤其是在学习的初期，肌肉的表现多数是紧张的、不协调的，甚至是错误的，如果养成错误的弹琴习惯，对乐曲演奏和人手健康都会产生不好的影响，需要及时的发现和纠正。而对于有着丰富弹琴经验的专业钢琴弹奏人士，其手部动作十分细腻，且有着明显的运动规律，因此可以通过对专业人士的触键动作和触键力度进行测量并总结规律，用于钢琴教学的指导。除此之外，动作与力度的产生都是受到相关神经肌肉的支配，因此，通过引入肌电信号，并搭建钢琴弹奏综合信息采集平台，实现对动作、力度和表面肌电信号数据的综合信息采集，并总结相关规律，用于钢琴教学指导，对钢琴教育领域有着重要的意义。

[0106] 为了实现钢琴弹奏综合信息采集，在动作测量方面，选择性价比高、测量精度高，且不需要粘贴或穿戴任何外部设备的Leap Motion传感器作为动作数据采集设备，相比于传统接触式测量对人手动作有着明显的影响，这种非接触式测量更适用于弹琴动作的测量；在力度测量方面，选择成本低、体积小、精度高、抗干扰能力强的薄膜压力传感器作为力度数据采集设备，并通过利用单片机等模块搭建压力数据采集系统，实现对力度数据的采集；在肌电信号采集方面，选择操作简单、对人体没有损伤的表面肌电信号采集设备实现对肌电信号的采集。然后根据各测量设备的特点，并模拟真实的钢琴弹奏环境，搭建综合信息采集平台，实现对动作、力度和表面肌电信号数据的综合信息采集。

[0107] 除此之外，对压力采集系统进行了标定，并给出了具体操作过程及标定结果。然后结合各信号特点，提出了钢琴弹奏综合信息数据处理流程，通过对测量得到的数据进行预处理和特征提取，进而分析研究得到相关规律，能够从更多维度、更深层次、更加全面科学的辅助钢琴教学。

[0108] 本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。