[0001] 本实用新型涉及智能控制领域，尤其涉及一种多模态人机交互系统。

[0002] 科技的进步，直接带来的是生活上的方便和快捷，直接影响的是生活质量的提升，针对手术治疗方面则尤其明显。以手术治疗为例，在医生进行手术时，通常需要间或进行电子计算机断层扫描(Computed Tomography，CT)图像操作来参考患者信息，但由于无菌的考虑，医生在手术时，若需要进行CT图像操作，则需要手术室外助理帮忙进行操作，效率低下，操作无法精准，延长手术时间和增加医护人员的疲劳程度。

[0003] 目前，通常使用3D手势来进行CT图像的浏览、翻页、选择及细节调整等等操作。多数设备仅允许医护人员在屏幕前进行隔空手势操作，极少将语音和手势结合，缺乏调节的灵活度及精准度。同时，现有设备面对手术中的视觉和图像盲点时，仅能依据医生经验去规避重要神经与血管，无法通过增强现实以更好地规避风险。实用新型内容

[0004] 有鉴于此，本实用新型的目的之一在于提供一种多模态人机交互系统，能够至少解决上述部分问题。

[0005] 本申请实施例提供了一种多模态人机交互系统，所述多模态人机交互系统包括3D摄像机、显示屏、头戴式可穿戴设备和主机；

[0006] 所述3D摄像机和所述显示屏分别与所述主机有线通信连接；

[0007] 所述头戴式可穿戴设备内置无线信号发射模块，所述主机内置无线信号接收模块，所述无线信号发射模块与所述无线信号接收模块建立数据通信。

[0008] 在一种可能的实现方式中，所述多模态人机交互系统还包括活动底座，所述活动底座上固定有两个可伸缩的柱状支架，所述显示屏安装在两个可收缩的所述柱状支架上；

[0009] 所述柱状支架的背板设有开槽，所述主机安装在所述开槽内。

[0010] 在一种可能的实现方式中，所述3D摄像机通过螺栓固定在所述显示屏的顶盖上。

[0011] 在一种可能的实现方式中，所述头戴式可穿戴设备为智能眼镜，所述智能眼镜包括两个镜圈和两个镜脚，其中，两个所述镜脚分别装配在所述镜圈的两侧，形成佩戴空间；

[0012] 所述智能眼镜上与两个所述镜圈等距离，且远离所述佩戴空间的一侧嵌设所述无线信号发射模块；

[0013] 一个镜圈远离所述佩戴空间的一侧嵌设一个景深摄像头，所述景深摄像头与所述无线信号发射模块通信连接。

[0014] 在一种可能的实现方式中，靠近所述景深摄像头且远离所述佩戴空间的一侧还设有投影透镜；

[0015] 所述镜脚尾部且靠近所述佩戴空间的一侧还设有出音孔，所述出音孔内嵌设喇叭。

[0016] 在一种可能的实现方式中，所述镜圈靠近所述佩戴空间的一侧设有收音孔，所述收音孔内嵌设麦克风；

[0017] 所述镜脚靠近所述佩戴空间的一侧还嵌设有骨声纹识别传感器；

[0018] 所述麦克风和所述骨声纹识别传感器均与所述无线信号发射模块通信连接。

[0019] 在一种可能的实现方式中，所述无线信号发射模块和所述无线信号接收模块的通信方式包括蓝牙、WiFi、ZigBee中的至少一种。

[0020] 在一种可能的实现方式中，所述镜圈上靠近所述佩戴空间的一侧还嵌设有一内置摄像头，所述内置摄像头与所述无线信号发射模块无线连接。

[0021] 在一种可能的实现方式中，所述镜脚远离所述佩戴空间的一侧还嵌设有无线充电单元。

[0022] 在一种可能的实现方式中，所述镜脚的远离所述佩戴空间的一侧还嵌设有电量指示灯，所述电量指示灯与所述智能眼镜内置的充电电池电连接。

[0023] 相对于现有技术而言，本实用新型具有以下有益效果：

[0024] 本实用新型提供基于一种多模态人机交互系统，所述多模态人机交互系统包括3D摄像机、显示屏、头戴式可穿戴设备和主机，其中，3D摄像机、显示屏和头戴式可穿戴设备分别同主机建立通信连接，建立了3D摄像机和头戴式可穿戴设备之间的联系，可通过3D摄像机和头戴式可穿戴设备共同完成手术的操作，提高了操作的效率、灵敏性及精准性。

[0025] 为使本实用新型的上述目的、特征和优点能更明显和易懂，下文特举较佳实施例，并配合所附附图，做详细说明如下。

[0034] 下面将结合本实用新型实施例中附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。

[0035] 通常在此处附图中描述和示出的本实用新型实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本实用新型的实施例的详细描述并非旨在限制要求保护的本实用新型的范围，而是仅仅表示本实用新型的选定实施例。基于本实用新型的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本实用新型保护的范围。

[0036] 在下文中，可在本实用新型的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

[0037] 此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

[0038] 除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本实用新型的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本实用新型的各种实施例中被清楚地限定。

[0039] 请参照图1，图1为本申请实施例提供的一种多模态人机交互系统的模块示意图，所述多模态人机交互系统100包括3D摄像机120、显示屏130、头戴式可穿戴设备140和主机110；

[0040] 所述3D摄像机120和所述显示屏130分别与所述主机110有线通信连接；

[0041] 所述头戴式可穿戴设备140内置如图4中的无线信号发射模块402，所述主机110内置无线信号接收模块，所述无线信号发射模块402与所述无线信号接收模块建立数据通信。

[0042] 其中，3D摄像机120可实时采集监控区域的图像，并将采集到的图像转换为图像信号后再通过有线连接传输至主机110，供主机110进行分析和处理。示例性地，所提供的多模态人机交互系统100可以应用于临床手术场景，具体的，当3D摄像机120在监控区域监测到医护人员的手势信息如五指张开，则将该五指张开的图像信息传输至主机，主机根据预设的手势操作库，识别到对应的操作指令如五指张开对应的放大指令，并将该操作指令发送至显示屏130，将显示屏130中展示的图像进行整体放大。相对于现有的需要医护人员将手指直接作用于显示屏130上的缩放键的触控操作才能实现缩放的方案，有效减少了不必要的手动操作，且一定程度上避免了医护人员的手指与显示屏的接触。

[0043] 显示屏130主要显示在实际操作过程中用户需要观看或者参考的图片信息，如CT图像、心电图等可供医护人员进行分析观察分析的图像。其中，显示屏130可根据实际需求选择4K至8K甚至更高分辨率的屏幕。可选地，显示屏130包括正面设置的屏幕和背板，正面屏幕除了可展示图像信息外，屏幕正面的一侧可展示相关的手势操作信息，以提示初次接触该设备的医护人员如何进行正确的手势操作，示例性地，可在显示屏130正面的左侧和/或右侧显示手势信息，手势信息包括手势图像和与手势图像对应的文字说明，如手势图像为一个拳头，拳头下方的文字为“缩小”，则表示向3D摄像机展示拳头，可实现对显示屏130上图像进行缩小的功能。可选地，具体的手势及对应的控制指令可根据医护人员的操作需求进行更改，以提高手势操作的实际适用性。

[0044] 主机110可作为处理器及控制器，主机110分别与显示屏130和3D摄像机120有线连接，并将经分析得到的操作指令传输至显示屏130，可实现对图像的调节，如整体放大、局部放大和高亮显示等。

[0045] 头戴式可穿戴设备140同主机110无线通信，可将实时监测到的信息通过头戴式可穿戴设备140上设置的无线信号发射模块402发送至主机，主机110再解析接收到的监测信息并获取对应的操作指令。若3D摄像机120监测到医护人员佩戴有头戴式可穿戴设备140，且该头戴式可穿戴设备140同主机110间正常通信时，3D摄像机120可配合头戴式可穿戴设备140共同实现对显示屏130中图像的调节。

[0046] 示例性地，头戴式可穿戴设备140正常工作且处于3D摄像机120可监测的区域，具体地，通过3D摄像机120如图2的3D摄像头201进行监视，3D摄像头201可通过转轴202进行转向。若医护人员佩戴该头戴式可穿戴设备140正视3D摄像机120或显示屏130时，头戴式可穿戴设备140内置的陀螺仪监测到医护人员的头部左偏或者右偏，则将左偏或右偏的角度信息通过内置的无线信号发射模块402发送至主机110，主机110对角度信息进行解析并获取对应的操作指令，然后将操作指令发送至显示屏130，可实现对显示屏130中图像的调节。

[0047] 相较于通过3D摄像机120获取图像信息识别头部左偏或右偏，头戴式可穿戴设备140通过内置的陀螺仪获取左偏或右偏的角度信息，可灵敏且精准地调节图像的左右移动。

[0048] 可选地，无线通信的方式包括WiFi、蓝牙和ZigBee中的至少一种，可根据实际需求进行选择，本申请在此不做限定。

[0049] 为避免有线连接的线缆204发生如破损、接口连接处205损坏及人员经过时无意绊断的情形，可选地，3D摄像机120、显示屏130和主机110可配设无线信号通讯模块，在线缆204发生意外断开等情况时可及时切换至无线通信，保证通信的持续性。

[0050] 综上，本实施例提供的多模态人机交互系统，包括3D摄像机、显示屏、头戴式可穿戴设备和主机，其中，3D摄像机、显示屏和头戴式可穿戴设备分别同主机建立通信连接，建立了3D摄像机和头戴式可穿戴设备之间的联系，可通过3D摄像机和头戴式可穿戴设备共同完成手术的操作，增强了不同设备间的联动，提高了操作的效率、灵敏度及精准度。

[0051] 另外，显示屏130的固定方式以及显示屏130、3D摄像机120和主机110的安装位置同样重要，如根据医护操作人员的身高调节显示屏的高度，针对不同身高的医护人员均可达到一个最佳观感，进一步地，在狭小的手术室内同时放下显示屏130、3D摄像机120和主机110，如何布局安装可有效节省空间。

[0052] 在一种可能的实现方式中，请参照图2，图2为本申请实施例提供的一种多模态人机交互系统所涉及的3D摄像机和显示屏的装配示意图。本实施例中，多模态人机交互系统100还包括活动底座206，所述活动底座206上固定有两个可伸缩的柱状支架，所述显示屏
130安装在两个可收缩的所述柱状支架上，其中，可伸缩的柱状支架通过螺栓进行固定及高度的调节，通过调节支架的高度改变显示屏130的高度，针对不同身高的医护人员均可按需调节，达到最佳观感。

[0053] 此外，所述柱状支架的背板设有开槽，所述主机110安装在所述开槽内。示例性地，其中一个柱状支架设开槽用于安装主机110，另一个柱状支架内部同样镂空，可放置用于连接的线缆204，有效提高了空间的利用率。

[0054] 具体地，活动底座包括四个均匀分布的轮子，并且，四个轮子上均设有卡扣，可固定活动底座的位置，避免发生轻微碰撞而导致活动底座四处移动。两个可伸缩的柱状支架固定在活动底座上，可选地，柱状支架与活动底座的固定方式为通过螺栓进行固定，也可直接焊接。

[0055] 针对3D摄像机120的固定方式，请参照图3，图3为本申请实施例提供的一种多模态人机交互系统所涉及的3D摄像机的固定结构203示意图，其中，3D摄像机120是通过螺栓固定在显示屏130的顶盖上，可选地，3D摄像机120的高度可通过螺栓进行调节。

[0056] 针对头戴式可穿戴设备140，请参照图4，图4为本申请实施例提供的一种多模态人机交互系统所涉及的头戴式可穿戴设备的示意。

[0057] 可选地，所述头戴式可穿戴设备140为智能眼镜，所述智能眼镜包括两个镜圈400和两个镜脚401，其中，两个所述镜脚401分别装配在所述镜圈400的两侧，形成佩戴空间，其中，佩戴空间指的是镜脚401和镜圈400组成的镜框所包围的区域。

[0058] 所述智能眼镜上与两个所述镜圈400等距离，且远离所述佩戴空间的一侧嵌设所述无线信号发射模块402；

[0059] 一个镜圈400远离所述佩戴空间的一侧嵌设一个景深摄像头405，主要用于增强现实，突显操作细节，使得医护人员可进行精准操作，其中，所述景深摄像头405与所述无线信号发射模块402通信连接。

[0060] 进一步地，所述景深摄像头405还具备手势识别的功能，此处的手势识别主要针对微手势，可以理解为识别满足近距离，细节丰富的手势。示例性地，医护人员在需要对3D摄像机120做相应的手势动作以调节显示屏130中的图片的大小、方向等情形下，其一，3D摄像机120的识别区域或手势动作可能被其他医护人员、手术设备部分遮挡或完全遮挡，无法实现对应的手势调节功能，其二，医护人员在长时间的手动下，手部关节已极度疲劳，面临无法实现能被3D摄像机120远距离识别标准的调节动作的情形。具备手势动作识别的景深摄像头405可近距离如5cm至20cm识别手势，如医护人员一侧手掌靠近景深摄像头405，大拇指螺纹面与食指螺纹面贴合后缓慢张开，则对应将图片放大的指令。避免了有遮挡物遮挡3D摄像机120或医护人员做出的手势动作的情形，同时近距离识别细微动作，也降低了医护人员的操作复杂度。

[0061] 并且，所述景深摄像头405还具备录像的功能，可录制视频经无线信号发射模块402传输至主机110，并最终在显示屏130上进行显示，医护人员仍可针对显示屏130上播放的视频进行手势操作。

[0062] 在一种可能的实现方式中，靠近所述景深摄像头405且远离所述佩戴空间的一侧还设有投影透镜403；所述镜脚401尾部且靠近所述佩戴空间的一侧还设有出音孔407，所述出音孔407内嵌设喇叭。

[0063] 在另一种可能的实施方式中，所述镜圈400靠近所述佩戴空间的一侧设有收音孔406，所述收音孔406内嵌设麦克风；所述镜脚401靠近所述佩戴空间的一侧还嵌设有骨声纹识别传感器409；所述麦克风和所述骨声纹识别传感器均与所述无线信号发射模块通信连接。

[0064] 示例性地，医护人员还可配合语音操作实现对图像的调节，通过智能眼镜上配置的麦克风识别到声音，并将声音信息经无线信号发射模块402发送至主机110，经主机110解析获得对应的操作指令，然后主机110将操作指令发送自显示屏130，实现对图像的调节。进一步地，为避免多个医护人员同时说话，同一时间内存在多个声音，对佩戴有智能眼镜的医护人员的声音指令产生明显干扰，智能眼镜上还嵌设有骨声纹识别传感器409，可在医护人员进行手术前进行校准，在手术操作过程中仅可识别出预先校准的声音，保障了通过声音识别调节的精准性。另外，医护人员还可语音控制景深摄像头405启动视频录制或暂停视频录制，起到了很好的联动作用。

[0065] 可选地，所述镜圈400上靠近所述佩戴空间的一侧还嵌设有一内置摄像头404，所述内置摄像头404与所述无线信号发射模块402无线连接。具体地，内置摄像头404可监测佩戴医护人员的眼球特征信息。示例性地，若佩戴医护人员的眼球缩小，将眼球缩小的信息经无线信号发射模块402发送至主机110，主机110对其进行识别并匹配到对应的操作指令，如眼球缩小对应将图片放大的操作指令，主机110将该操作指令发送至显示屏130，以实现对图片的放大。

[0066] 进一步地，内置摄像头404还可以检测佩戴者面部表情的变化信息，可佩戴者的面部表情变化信息配合3D摄像机监测的画面信息共同实现控制。示例性地，当内置摄像头404检测到面部微表情的变化，说明医护人员存在看不清图像的情况，需要对图像进行方法，但是具体放大那一块区域是未知的，此时，可根据3D摄像机识别人眼正对的图像区域，将人眼正对区域的图像进行放大，实现了精准且灵敏地调节。

[0067] 在一种可能的实现方式中，所述镜腿远离所述佩戴空间的一侧还嵌设有无线充电单元408，所述镜脚401的远离所述佩戴空间的一侧还嵌设有电量指示灯410，所述电量指示灯410与所述智能眼镜内置的充电电池电连接。无线充电单元408可保证智能眼镜的正常工作，有效避免智能眼镜因电量低影响信息的传输，或者因没电而关机不工作的情形。

[0068] 综上所述，在本实施例中，3D摄像机、显示屏和头戴式可穿戴设备分别同主机建立通信连接，建立了3D摄像机和头戴式可穿戴设备之间的联系，可通过3D摄像机和头戴式可穿戴设备共同完成手术的操作，增强不同设备间的联动，提高了操作的效率、灵敏度及精准度。

[0069] 在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本实用新型的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0070] 另外，在本实用新型各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

[0071] 所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本实用新型的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本实用新型各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0072] 以上所述，仅为本实用新型的具体实施方式，但本实用新型的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本实用新型揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本实用新型的保护范围之内。