技术领域
[0001] 本发明涉及信息交互技术领域，尤其涉及一种听障人士与周围环境的信息互动方法及装置。
相关背景技术
[0002] 随着车辆技术的发展，车辆变得更加智能化，车内的交互系统也变得更加有趣和实用和多样化，车辆的使用人群并非只有现实中的正常人群，更包括一些听障人士。他们的视力、智力和正常人相同，操作驾驶能力也没有问题。因此如何实现听障人士理解听障人士周围环境的互动信息成为亟待解决的技术问题。
具体实施方式
[0039] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施例并不代表与本说明书一个或多个实施例相一致的所有实施例。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
[0040] 需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
[0041] 为了实现听障人士理解听障人士周围环境的互动信息的目的，本申请实施例提供一种听障人士与周围环境的信息互动方法，获取声音接收器输入的车辆内部听障人士周围环境的声音；依据声音与可视信息的关联关系，转换声音为用于供听障人士识别的可视信息；展示可视信息；可视信息用于供听障人士周围环境与听障人士进行信息互动。
[0042] 相较于相关技术中的其他用户表达语音，听障人士听力有限，听不清而言，在本申请实施例中，通过声音接收器接收到声音，并转换为听障人士识别的可视信息，进行展示。如此，可以实现听障人士周围环境与听障人士的互动，使得听障人士可以理解周围环境的互动信息。
[0043] 图1所示为本申请实施例的听障人士与周围环境的信息互动方法应用于车辆的结构示意图。
[0044] 如图1所示，该听障人士与周围环境的信息互动方法可以应用于车辆10。该车辆包括中控台11、以及分别与该中控台CSD(Control System Designed，控制系统设计)连接的声音接收器12、显示设备13及图像采集设备14中的一种或多种。
[0045] 其中，声音接收器12用于接收外界的声音。声音接收器12可以但不限于包括设置在车辆外侧的车外声音接收器以及设置在车辆内侧的车内声音接收器中的一者或多者。示例性的，车外声音接收器可以但不限于为车外收音传感器。示例性的，车内声音接收器可以但不限于为车载麦克风或车载收音器。当车外声音接收器接收到声音，此时，说明此声音来自车辆外界的。当车内声音接收器接收到声音，此时，说明此声音来自车辆内部的。
[0046] 中控台11可以用于实现整车的控制。中控台11可以包括CSD媒体显示器，用于显示信息。此CSD媒体显示器可以也可以为触媒显示屏，用于接收用户输入的信息。
[0047] 上述显示设备13可以包括设置在车辆外侧或内部的显示屏或显示器，用于实现与车辆外侧的周围环境的互动。示例性一，显示屏可以但不限于为车头LED(Light Emitting Diode，发光二极管)显示屏。示例性二，显示屏可以但不限于为车尾LED显示屏。示例性三，显示屏可以包括车载AR‑HUD(Augmented Reality Heads‑Up Display，增强现实抬头显示器)、车载CSD媒体显示器、HUD(Head Up Display，平视显示系统)、VR(virtual reality，虚拟实境)/AR(Augmented Reality，增强现实)、后排屏中的一者或多者媒体设备。
[0048] 继续图1所示，图像采集设备14可以包括车载OMS(Occupant Monitoring System，车内乘客监控系统)/DMS(Driver Monitor System，驾驶员监测系统)摄像头。该车载OMS/DMS摄像头，用于采集听障人士的手语动作。
[0049] 进一步的，上述听障人士与周围环境的信息互动方法也可以应用于中控台。
[0050] 在另一些实施例中，上述听障人士与周围环境的信息互动方法也可以应用于电子设备。该电子设备可以但不限于为智能手机或者智能平板电脑。
[0051] 图2所示为本申请实施例提供的听障人士与周围环境的信息互动方法的流程示意图。
[0052] 如图2所示，本申请实施例的听障人士与周围环境的信息互动方法，包括如下步骤110至步骤130：
[0053] 步骤110，获取声音接收器输入的车辆内部听障人士周围环境的声音。
[0054] 上述车辆内部听障人士周围环境可以包括车内听障人士周围环境的声音及车内听障人士车内周围环境的声音。
[0055] 车内听障人士周围环境的声音包括车内听障人士车内周围环境中的设备声音及车内听障人士车外周围环境中的人员声音中的一者或多者；
[0056] 上述车内听障人士车内周围环境中的设备声音包括车机系统的车机应用的声音。车内听障人士车外周围环境中的人员声音包括车内用户的提问语音。
[0057] 车外听障人士车外周围环境的声音包括听障人士车外周围环境的警报声音及车外用户的声音中的一者或多者。如此，车辆内部听障人士可以和周围环境的车辆内部的人员、车辆外侧的人员、车辆外侧的其他车辆及车机系统中的车机软件的声音的一者或多者进行信息交互。
[0058] 步骤120，依据声音与可视信息的关联关系，转换声音为用于供听障人士识别的可视信息。
[0059] 上述可视信息可以用于直观反映所要表达的内容。其中，可视信息可以但不限于包括文字或手语对应的手势动作。对应的，可以将其他车辆的报警声音，转换为图像，方便用户在中控台上观看。将用户的语音转换为文字或手语对应的手势动作。将应用软件的语音，转换为文字或手语对应的手势动作。
[0060] 步骤130，展示可视信息；可视信息用于供听障人士周围环境与听障人士进行信息互动。
[0061] 对于步骤130中，在中控台或电子设备上展示可视信息，可以供听障人士周围环境与听障人士进行信息互动。
[0062] 在本申请实施例中，实现听障人士周围环境与听障人士的互动，使得听障人士可以理解周围环境的信息。
[0063] 继续图2所示，上述步骤120可以通过多种实施例实现：
[0064] 在上述步骤120的一种实施例中，依据声音与可视信息的对应关系，转换声音为用于供听障人士识别的可视信息。
[0065] 在上述步骤120的另一实施例中，将声音输入至识别转换模型，输出与声音对应的用于供听障人士识别的可视信息。其中，识别转换模块可以但不限于包括预先建立声音与文字的转换模型，或者预先建立声音与手语对应的手势动作的转换模型，并且，识别转换模型是通过声音及可视信息的训练样本训练得到的。如此，可以通过预先建立的识别转换模型，可以提高声音识别的精准度。并且，通过长期的不断的训练，可以提高声音识别的精准度。
[0066] 继续如图2所示，本申请实施例的听障人士与周围环境的信息互动方法的第一个实施例中，上述步骤110可以包括第一个步骤，上述步骤120可以包括第二个步骤以及上述步骤130可以包括第三个步骤。
[0067] 在第一个实施例中，听障人士包括驾驶位置的听障人士及副驾驶位置的听障人士中的任一者。第一个步骤，获取车内声音接收器输入的车内用户声音。
[0068] 第二个步骤，转换车内用户声音为用于供听障人士识别的手语动作或可视信息。
[0069] 第三个步骤，在车辆的中控台上展示手语动作或可视信息。
[0070] 本申请实施例的听障人士与车辆内部人员的互动举例如下：
[0071] 无语言障碍的人员说话时，车载收音器会采集人员的声音，再通过系统自然语义理解转化成文字内容。或者，将文字内容转化成手语表达视频、投送在车载CSD、HUD、VR/AR、后排屏等媒体设备上。这样车内的听障人士就可以即时看到其他正常乘车用户的意图表达。反向的，当听障人士表达手语时，车内OMS/DMS摄像头采集手语表达信息，将手语翻译成语音或文本，播放在车内的媒体设备中。
[0072] 本申请实施例的听障人士与车辆内部的车机系统的互动举例如下：
[0073] 听障人士独立驾乘车辆时，比如遇到车机软件为地图导航。地图导航的语音播报时，可以将导航的语音接入到本系统中，如“前方200米右转、前方有电子摄像”这种情况时，系统会自动将其文字内容转化成手语动画演示呈现在CSD/HUD等媒体显示设备中。如此，可以将不具备语音转化能力的地图导航，实现可视信息的展示，方便听障人士使用。
[0074] 图3所示为图2所示的听障人士与周围环境的信息互动方法的车外环境图像显示的流程示意图。
[0075] 结合图2所示，如图3所示，本申请实施例的听障人士与周围环境的信息互动方法的第一个实施例中，上述步骤110可以包括步骤111，上述步骤120可以包括步骤121和步骤122，以及上述步骤130可以包括步骤131。
[0076] 步骤111，获取通过车外声音接收器输入的听障人士车外周围环境的声音。
[0077] 其中，上述听障人士车外周围环境的警报声音用于反映车辆外界的鸣笛和/或用户说话的声音。上述听障人士车外周围环境的警报声音可以作为警示源，其但不限于包括日常的汽车喇叭声、警笛、火警等中的一种或多种警报声音。声音信息包括警报声音及正常人的互动语音。
[0078] 步骤121，解析声音，确定声音相对于车辆的方位。
[0079] 步骤122，依据声音相对于车辆的方位，转换声音为与方位对应的图像信息；图像信息包括与声音相对于车辆的方位对应的图标显示位置；图标显示位置用于反映声音的方位。
[0080] 步骤131，根据图标显示位置，展示图像信息。如此，可以将车辆车外周围环境的声音转换为图像信息，可以听障人士直观地掌握车辆车外周围环境的声音的情况。
[0081] 上述步骤131在一些实施例中，直接展示图标显示位置处的图像信息。
[0082] 在本申请实施例中，可以通过图像信息的展示，听障人士知道声音的方位及来源，方便听障人士与车外周围环境互动。
[0083] 结合图2所示，听障人士周围环境的声音包括听障人士车外周围环境的警报声音。上述步骤121进一步包括第一个步骤，上述步骤122进一步包括第二个步骤，上述步骤130包括第三个步骤。
[0084] 第一个步骤，解析警报声音，确定警报声音的音量分贝及相对于车辆的方位。第二个步骤，依据警报声音的音量分贝及相对于车辆的方位，转换警报声音为与该方位及音量分贝均对应的图像信息；图像信息包括与警报声音相对于车辆的方位对应的图标显示位置，以及与音量分贝对应的图标闪烁频率。图标闪烁频率越快，对应于，报警声音的音量分贝越大。其中，图标可以用于反映警报声音的声源类型。比如，人的声音，对应图标为人的图标。再比如，车辆的声音，对应图标为车的图标。第三个步骤，按照图标闪烁频率，展示图标显示位置处的图像信息。如此，可以通过图像信息的展示，听障人士知道声音的方位、来源及报警声音的音量分贝，方便听障人士与车外周围环境互动。
[0085] 图4所示为图3所示的听障人士与周围环境的信息互动方法的车外环境图像显示的流程示意图。
[0086] 在本申请实施例的听障人士与周围环境的信息互动方法的第二个实施例中，结合图2和图3，如图4所示，上述步骤131进一步可以包括步骤1311，方法还包括如下步骤100至步骤101；
[0087] 步骤100，获取车外数据采集设备采集的发出声音对应的车外环境信息。
[0088] 其中，上述车外数据采集设备可以但不限于包括毫米波雷达和摄像头中的一者或多者。
[0089] 步骤101，将车外环境信息生成车外环境图像。
[0090] 步骤1311，展示图标显示位置处的图像信息，以及所生成的车外环境图像。
[0091] 相较于相关技术中听障人士听力有限，无法及时对外部的车辆鸣笛声音的音源方位及大小有所判断而言，本申请实施例中，不仅可以方便听障人士直观地展示声音的方位及大小，而且还可以提供车外环境图像，方便用户更直观，更直接地掌握车外环境信息。
[0092] 在另一些实施例中，方法还包括对危险驾驶预警的震动座椅报警。
[0093] 本申请实施例的车辆鸣笛的声音与听障人士进行信息互动的举例如下：
[0094] 当车辆内部有听障人士驾驶/乘坐车辆时，车辆外部有鸣笛的警报声音，车外收音传感器采集到声音，声音可以包括音源位置及音源大小。结合车外数据采集设备判断是具体鸣笛的车辆，鸣笛的车辆会以2D图像的形式显示在中控CSD，哪个方位来车鸣笛，对应位置的图标显示，音量分贝越大，图标频闪率越高，以视觉呈现来代替声音表达。
[0095] 通过智驾系统确定外部有危险驾驶预警或高速的高频率鸣笛信号时，车辆除了媒体设备上的图像警示，还会有座椅震动提醒，同样的，警示源在哪个方位，警示图像和震动就在哪个方位。其中，智驾系统比如ADAS系统会有判断提醒。
[0096] 图5所示为图2所示的听障人士与周围环境的信息互动方法的正常人与听障人士信息互动的另一流程示意图。
[0097] 结合图2所示，如图5所示，方法还包括如下步骤140至步骤160：
[0098] 步骤140，获取由车内信息数据设备输入的听障人士的手语动作或可视信息。
[0099] 上述车内信息数据设备可以但不限于包括摄像头及中控台的输入界面。上述手语动作可以但不限于包括手指和手臂等身体多个部位的肢体运动。示例性，手语动作可以为手语手势。摄像头可以采集听障人士的手语动作或可视信息。中控台的输入界面可以接收由听障人士输入的手语动作。
[0100] 在上述步骤140的一些实施例中，听障人士包括驾驶位置的听障人士；方法还包括：启动自动驾驶模式。在自动驾驶模式启动的情况下，获取通过图像采集设备输入的听障人士的手语动作。如此，短暂的自动驾驶模式下，听障人士使用手语动作，与周围环境进行互动，获得听障人士输入的手语动作，可以提供驾驶的安全性。同时，满足听障人士的互动需求，提高用户体验效果。
[0101] 本申请实施例的自动驾驶模式下的听障人士与车内用户的信息互动举例如下：
[0102] 车内用户提问，听障人士可以短暂开启一下自动驾驶模式，然后对着DMS摄像头进行手语表达，然后车机将手语转译成文字信息，再以语音形式播放表达。手语表达完之后，可以继续接手方向盘。
[0103] 步骤150，依据手语动作与正常人可读信息的关联关系或者可视信息与正常人可读信息的关联关系，转换手语动作或可视信息为正常人可读信息。
[0104] 其中，正常人是无语言障碍的人员，可以说出语音。
[0105] 在上述步骤150的一些实施例中，将手语动作输入至手语识别转换模型，输出与手语对应的正常人可读信息。其中，手语识别转换模块可以但不限于包括预先建立手语对应的手势动作与文字的转换模型，或者预先建立手语对应的手势动作与语音的转换模型，并且，手语识别转换模型是通过手语动作及正常人可读信息的训练样本训练得到的。如此，可以通过预先建立的手语识别转换模型，可以提高手语识别的精准度。并且，手语识别转换模型相当于手语语言动作库，通过长期的手语语言识别进行不断的训练，以建立成深度学习的手语语言识别系统，提高手语识别的精准度。
[0106] 在上述步骤150的又一些实施例中，将文字输入至文字识别转换模型，输出与文字对应的正常人可读信息。其中，文字识别转换模块可以但不限于包括预先建立文字与语音的转换模型，并且，识别转换模型是通过文字及可视信息的训练样本训练得到的。如此，可以通过预先建立的识别转换模型，可以提高文字识别的精准度。并且，通过长期的不断的训练，可以提高文字识别的精准度。
[0107] 步骤160，播放正常人可读信息；正常人可读信息用于供听障人士与正常人进行信息互动。
[0108] 上述播放正常人可读信息可以通过音响播放正常人可读信息中的声音，也可以是通过显示设备播放正常人可读信息中的文字。
[0109] 相较于相关技术中的听障人士表达手语动作，其他乘员看不懂而言，本申请实施例中，依据手语动作与正常人可读信息的关联关系或者可视信息与正常人可读信息的关联关系，转换手语动作或可视信息为正常人可读信息，更有利于正常人读取可读信息，与听障人士进行信息交互。
[0110] 本申请实施例的听障人士与车辆外部环境进行信息互动举例如下：
[0111] 当车辆内部的听障人士想与外部车辆环境或人员进行信息互动时，车载DMS/OMS摄像头会采用图像识别技术，分析听障人士的手指和手臂等身体多个部位的肢体运动，将手语翻译成文字，投送到车头/车尾LED显示屏幕上。这里有两种情况，一般车内听障人士使用手语是两只手，所以一般是非驾驶位手语表达、或车辆静止态手语表达。这种主动表达内容一般可以是“本车为听障人士驾驶，请前/后/左/右方来车小心”或其他手语语义表达。
[0112] 结合图2所示，听障人士包括驾驶位置的听障人士。一般听障驾人员必须带助听器，才能驾驶车辆。听障人士周围环境的声音包括：车内用户的提问语音。上述步骤130进一步可以包括第1个步骤，上述步骤140进一步可以包括第2个步骤，上述步骤150进一步可以包括第3个步骤。
[0113] 第1个步骤，通过中控台展示与提问语音匹配的多个候选语音解答对应的可视信息。
[0114] 第2个步骤，依据通过中控台的输入界面接收到的针对可视信息的选择指令，确定选择指令所选择的候选语音解答对应的可视信息。
[0115] 第3个步骤，依据可视信息与正常人可读信息的关联关系，将所选择可视信息，转换为正常人可读信息。
[0116] 其中，上述第3个步骤进一步可以将提问语音输入至语音识别转换模型，输出与提问语音匹配的多个候选语音解答对应的可视信息。
[0117] 相较于相关技术的由听障人士输入文字表达，太影响听障人士的驾驶安全而言，本申请实施例中，不需要听障人士输入文字，直接选择所需输入的内容，速度更快。
[0118] 本申请实施例的听障人士与正常人的信息交互的举例如下：
[0119] 在用户乘车时，车载语音首先语音提示用户，“驾驶人员为听障残疾人士，但已佩戴助听器，请别担心您的驾驶安全，如有交流问题请跟我说”，系统通过语音识别转换模型优先尝试帮会解答出4种类型的答案的可视信息。由听障人士选择任一种答案的可视信息，生成正常人可读信息。若表意不够准确，可选择其中任一种，在该种回答的基础上继续深化为4种类型的答案的可视信息，···如此循环，直到出现符合听障人士表意的答案的可视信息，再通过车载语音播放该答案的语音。具体可以通过AR‑HUD、或AR‑HUD眼镜这种不影响驾驶、并能通过方向盘按键来选择的形式。
[0120] 对于听障人士为乘员，摄像头识别手语，手语转语音/文字，用户的语音转文字/手语。
[0121] 基于与上述方法同样的申请构思，本申请实施例还提出一种听障人士与周围环境的信息互动装置，如图6所示，该装置可以包括如下模块：
[0122] 声音获取模块41，用于获取声音接收器输入的车辆内部听障人士周围环境的声音；
[0123] 语音转换模块42，用于依据声音与可视信息的关联关系，转换声音为用于供听障人士识别的可视信息；
[0124] 信息展示模块43，用于展示可视信息；可视信息用于供听障人士周围环境与听障人士进行信息互动。
[0125] 在一些实施例中，装置还包括：车外环境信息获取模块，用于获取车外数据采集设备采集的发出声音对应的车外环境信息；图像生成模块，用于将车外环境信息生成车外环境图像；展示模块，具体用于展示图标显示位置处的图像信息，以及所生成的车外环境图像。
[0126] 在一些实施例中，装置还包括听障人士信息获取模块，用于获取由车内信息数据设备输入的听障人士的手语动作或可视信息；
[0127] 手语转换模块，用于依据手语动作与正常人可读信息的关联关系或者可视信息与正常人可读信息的关联关系，转换手语动作或可视信息为正常人可读信息；
[0128] 播放模块，用于播放正常人可读信息；正常人可读信息用于供听障人士与正常人进行信息互动。
[0129] 上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，可以达到相同的技术效果，在此不再赘述。
[0130] 本申请实施例的车辆包括如下听障人士与周围环境的信息互动系统或如上述的听障人士与周围环境的信息互动装置。
[0131] 图7所示为本申请实施例提供的听障人士与周围环境的信息互动系统50的模块框图。
[0132] 如图7所示，听障人士与周围环境的信息互动系统50包括一个或多个处理器51，用于实现如上的听障人士与周围环境的信息互动方法。
[0133] 在一些实施例中，听障人士与周围环境的信息互动系统50可以包括计算机可读存储介质59，计算机可读存储介质59可以存储有可被处理器51调用的程序，可以包括非易失性存储介质。在一些实施例中，听障人士与周围环境的信息互动系统50可以包括内存58和接口57。在一些实施例中，听障人士与周围环境的信息互动系统50还可以根据实际应用包括其他硬件。
[0134] 本申请实施例的计算机可读存储介质59，其上存储有程序，该程序被处理器51执行时，用于实现如上描述的听障人士与周围环境的信息互动方法。
[0135] 本申请可采用在一个或多个其中包含有程序代码的计算机可读存储介质59(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可读存储介质59包括永久性和非永久性、可移动和非可移动媒体，可以任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质59的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD‑ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
[0136] 以上所述仅为本说明书的较佳实施例而已，并不用以限制本说明书，凡在本说明书的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书保护的范围之内。
[0137] 还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
