技术领域
[0001] 本发明涉及手语识别技术领域，具体为一种便于携带的智能手语翻译器。
相关背景技术
[0002] 在地铁、路边看到聋哑人，他们之间交流都是用手语，但是由于很少有正常人学习过手语，因此很难和我们正常人进行交流。聋哑旅客买车票也常遇到困难。为了帮助聋哑人与正常人交流，出现了一些利用图像或视频进行手语识别翻译的方法。然而这种方法要依赖于摄像头，使用地点也只适用于室内固定位置，比如电脑前，日常生活中不便利，外出不便于携带和使用。因此，本领域技术人员提供了一种便于携带的智能手语翻译器，以解决上述背景技术中提出的问题。
具体实施方式
[0044] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045] 实施例1：
[0046] 如图1‑5所示，本发明实施例提供一种便于携带的智能手语翻译器，包括2个手套、控制主板、10个弯曲度传感器和2个三轴加速度传感器，控制主板包括具有服务器和识别手语功能的行空板和采集发送数据的掌控板；
[0047] 包括以下具体步骤：
[0048] 1)手语采集模块，用于收集人体手语动作的弯曲度传感器和三轴加速度传感器的数据，每隔0.1秒采集一次16个传感器的数据，并对数据进行归一化，保持范围在0‑225，发送到服务器；
[0049] 2)样本获取模块，采用MQTT接入物联网服务器来获取数据，利用监测服务器是否有数据以及消息获得数据，将判定后的一段时间内的时序数据保存为数据矩阵和图像，完成一个样本采集，例如，采集2秒内的手语过程中的各项数据变化情况，0.1秒采集一次，一共采集20次数据，形成[20，16]的数据矩阵，作为一次数据采样；
[0050] 3)神经网络模型模块，采用MMEdu的MMClassification库，然后设定MobileNet模型，训练checkpoint参数，得到识别手语的神经网络模型。
[0051] 智能手语翻译器通过2个手套、控制主板、10个弯曲度传感器和2个三轴加速度传感器组成，行空板和掌控板作为主要的服务器端和数据采集发送端。
[0052] 设定三种手语类别,分别是“你好、谢谢、帮帮我”。
[0053] 在生成训练样本集的过程中，分别做出相应的手语动作，手语采集模块和样本获取模块对每个类别采集100个带标签的样本，其中70个用来训练模型，30个用来测试模型。
[0054] 在训练模型阶段，采用MMEdu的MMClassification库，然后设定MobileNet模型，输入层为20*16个节点，输出层为3个节点，分别对应以上三个手语标签，然后训练checkpoint参数，得到能识别手语的神经网络模型。其中设定训练参数：
[0055] Epoch＝20 lr＝0.005
[0056] validate＝True,
[0057] checkpoint＝checkpoint,
[0058] device＝'cuda',
[0059] optimizer＝'Adam'，达到准确率要求获取最优模型checkpoint。
[0060] 在识别手语阶段，当做出某种手语动作时，手语采集模块和样本获取模块采用MQTT接入物联网服务器来采集手语时序数据，输入神经网络模型，就可以识别出其类别，并用语音播报出来。
[0061] 利用剩余30个样本进行测试，准确率如下表所示：
[0062]手语内容 正确次数(共30个) 准确率
你好 28 93％
谢谢 29 97％
我需要帮助 29 97％
[0063] 尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
