[0001] 本发明涉及听障人员无障碍交流技术领域，具体为一种听障人员无障碍交流的方法。

[0002] 在社会中，听障人员往往通过残疾学校学习手语，哑语后可与同样理解识别手语的人员交流，我国现有听障人员达2700万之多。而在社会生活中，懂手语的人很少，这使得众多的听障人员在生活中与正常人交流发生困难。以往只能是用写汉字的方式缓慢交流，
从而长期让这些听障人员无法融入社会大家庭中。造成生活工作上极大的困难。随着近几
年全球化的高速发展，作为国际事务繁多的我国在国际上与国际友人的交流也随之增多然
而因各地区语言语法的不同导致手语与语法也不同。即便加上丰富的身体及面部表情来表
达手语，各国的手语也相差甚远，这就造成国际地区之间的清障人员无法正常交流。如国际比赛赛事的举办，作为正常人的志愿者要对外国听众人员就更摸不着头脑。

[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

[0039] 在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”、“前端”、“后端”、“头部”、“尾部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对
本发明的限制。此外，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0040] 在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

[0041] 请参阅图1至图2，本发明提供一种技术方案：一种听障人员无障碍交流的方法，包括摄像头1，摄像头1的输出端分别连接有影像采集模块2和影像识别单元7，影像采集模块2的输出端分别连接有手势录入单元3和人脸录入模块4，手势录入单元3和人脸录入模块4的输出端均连接有影像处理单元5，且影像处理单元5的输出端连接有视频影像备份单元6，影像识别单元7的输出端连接有数据处理模块8，且数据处理模块8的输出端连接有判断单元
9，判断单元9的输出端分别连接有提示模块10和转换模块11，转换模块11的输出端连接有
自动翻译模块12，且自动翻译模块12的输出端连接有语音播放模块13。

[0042] 发明中：摄像头1通过API接口与影像采集模块2实现数据传输，影像采集模块2用于听障人员的视频影像采集，收集人脸或手势影像信息。

[0043] 发明中：影像采集模块2通过API接口与手势录入单元3和人脸录入模块4实现数据传输，且手势录入单元3和人脸录入模块4通过API接口与影像处理单元5实现数据传输，手
势录入单元3用于录入听障人员的手势影像，以及手势用语，人脸录入模块4用于录入听障
人员的人脸影像信息，影像处理单元5用于处理听障人员的手势影像和手势用语，以及人脸影像。

[0044] 发明中：影像处理单元5通过API接口与视频影像备份单元6实现数据传输，视频影像备份单元6用于储存备份手势影像对应录入的手势用语，以及用户的人脸影像。

[0045] 发明中：影像识别单元7通过API接口与数据处理模块8实现数据传输，数据处理模块8通过API接口与判断单元9实现数据传输，影像识别单元7用于采集听障人员的人脸影像
和手势影像，并进行识别影像的清晰程度；判断单元9用于判断人脸影像和手势影像与备份正确的用户人脸影像和手势用语是否相同。

[0046] 发明中：判断单元9通过API接口与提示模块10和转换模块11实现数据传输，提示模块10用于提醒听障人员和用户是否识别成功，转换模块11用于将听障人员的手势影像信
息转成出正确的手势用语。

[0047] 发明中：转换模块11通过API接口与自动翻译模块12实现数据传输，自动翻译模块12通过API接口与语音播放模块13实现数据传输，自动翻译模块12用于自动翻译手势用语，并转成文字信息，语音播放模块13用于播放识别的文字信息。

[0048] 发明中：听障人员无障碍交流的方法，包括以下步骤：

[0049] S1、根据听障人员的位置调整摄像头1：将摄像头1对准并靠近听障人员，使听障人员处于摄像头1影像的覆盖范围内；

[0050] S2、录入听障人员的人脸影像和手势影像信息：通过摄像头1上的影像采集模块2采集视频影像，获取听障人员的人脸影像和手势影像，并将听障人员的人脸影像通过人脸
录入模块4导入影像处理单元5，影像处理单元5将脸影像数据信息储存至视频影像备份单
元6，而手势录入单元3将听障人员的手势用语录入，并将手势用语与对应的标准语音数据
信息导入影像处理单元5，并同步备份至影像处理单元5，用于手势用语的识别以及核对；

[0051] S3、激活摄像头1并采集听障人员的人脸影像和手势影像信息：通过影像采集模块2上的影像识别单元7捕捉听障人员的人脸影像或手势影像，直至捕捉到听障人员备份的人
脸影像或手势影像，此时，激活摄像头1，摄像头1开始运行，摄像头1对摄像头1听障人员的人脸影像或手势影像通过人脸录入模块4和手势录入单元3开始录入；

[0052] S4、识别听障人员的人脸影像和手势影像信息：影像识别单元7识别出听障人员正确的人脸影像或手势影像，激活摄像头1，将听障人员的人脸影像或手势影像传输至数据处理模块8；

[0053] S5、分析并判断采集人脸影像和手势影像有无捕捉正确：通过数据处理模块8上的判断单元9，对比听障人员的人脸影像或手势影像与影像处理单元5上的视频影像备份单元
6备份的提前录入的人脸影像或手势影像，若听障人员的人脸影像或手势影像与提前录入
的人脸影像或手势影像识别成功，通过提示模块10提醒听障人员和用户识别成功，若识别
失败，则重新采集听障人员的人脸影像和手势影像；

[0054] S6、转换识别成功的人脸影像和手势影像信息：将采集的人脸影像和手势影像通过转换模块11将识别成功的人脸影像或手势影像与视频影像备份单元6中的手势用语一一
对应，并转换成备份的文字；

[0055] S7、识别文字信息并翻译：自动翻译模块12将转换的文字翻译出适配的人群，用于满足不同人群的需求；

[0056] S8、读取文字信息并朗读：自动翻译模块12开始工作，并通过语音播放模块13将文字读取，此时，用户能够实时听取听障人员所表达的信息。

[0057] 发明中，听障人员无障碍交流的方法，还包括，识别手势动作所代表的含义，执行通过所述自动翻译模块自动翻译手势用语，并转成文字信息的操作；

[0058] 步骤A1、根据所述影像采集模块，将采集录入的听障人员的手势影像逐帧进行图像灰度化处理；

[0059] 步骤A2、将各帧图像视为一个二维平面分布图，并与初始无手势动作进行比对，获取各帧图像的动作幅度变化值；

[0060]

[0061] 其中，N为逐帧灰度化处理后的图像总数量，p为各图像横向拆分单元格数量，其取值为[1，100]，q为各图像纵向拆分单元格数量，其取值为[1，100]，为初始无手势动作的横向动作标准向量值，为初始无手势动作的纵向动作标准向量值， 分别为各帧图像中各横向、纵向单元格变化后的动作向量值， 为二维密度分布函数，其取值为
以图像中心距对各单位图像的动作进行变化幅度比对，W为获取各帧图像的
动作幅度变化值；

[0062] 步骤A2、根据各帧图像单元格的动作变化幅度值，与预设数据库轨迹信息比对，获取各帧图像手势动作运行角度变化率；

[0063]

[0064] 其中，log为对数函数，i为表达各词组所对应手势分解动作的数量，其取值为[1，M]，j为不标准手势数量，其取值为[1，M‑1]，Wi为第i个手势所对应的动作幅度变化值，li为第i个不标准手势动作幅度的超幅率，其取值为[0.2，0.5]，(1‑li)log(1‑Wi)为将不标准手势进行加权修正处理，T(θ)为数据库中第θ个轨迹所对应的手势动作运行角度变化率，J(θ)获取各帧图像手势动作运行角度变化率；

[0065] 步骤A3、根据动作幅度变化值和手势动作运行角度变化率，将手势语言转换成对应的语言文字；

[0066]

[0067] 其中，exp为以自然常数e为底的指数函数，Y(τ)为预设数据库中第τ编号的词组对应的手势动作趋势变化值， 为获取实际手势动作趋势变化值，P(τ)为获取数据库中与实际手势动作趋势变化值一致的词组编号值，当P(τ)＝0，表示当前实际手势动作趋势变化值与预设数据库中第τ编号的词组对应的手势动作趋势变化值一
致，执行通过所述自动翻译模块自动翻译手势用语，并转成文字信息的操作。

[0068] 上述技术方案的有益效果为：基于目前听力及语言障碍者人数较多，但手语规范普及程度相对较差的情况，手语识别将手语由视觉语言转换成文字等表达方式，更好的建
立了人们同听力及语言障碍者之间交流的桥梁，本技术方案通过对手语姿态进行逐帧分
解，精确确认手语幅度和运行轨迹，并设立超限值，能引申判断手语者表达语言的情绪，使手语识别性能达到最佳。

[0069] 以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即
可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的
部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳
动的情况下，即可以理解并实施。

[0070] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和
范围。