[0001] 本发明涉及人机交互技术领域，具体涉及一种手势采集系统。

[0002] 随着科技的发展，各种智能设备的应用越来越广泛。人与智能设备之间的人机交互越来越多，人机交互方式有接触式或非接触式两种，接触式的人机交互较为成熟和完善，而非接触式的人机交互操作方式则处于研究起步阶段。近年来，非接触式的人机交互方式一直是人机交互方式中研究的热点和难点问题，研究好非接触式的人机交互方式具有很高的使用价值。

[0003] 手势是一种直观的、自然的交互方式，表达快捷，表达意义丰富，是人类互相交流信息的重要工具。手势识别时按照某种规则识别出手势表达的内容，具有很强的一致性和扩展性。在应用方面，手势识别系统可以在应用软件中直接操作软件或虚拟对象。然而，如何更有效地对手势进行识别，到达更好的人机交互状态，是研究的热点和难点问题。

[0023] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0024] 请参阅图1，本发明实施例提供的手势采集系统，包括手指姿态采集装置1，该手指姿态采集装置1包括主采集模块11及辅助采集模块(图未示出)，主采集模块11设在手掌下方并随着手掌同步摆动，主采集模块11可以用于采集手指姿态信息，主采集模块11例如可以为摄像头，主采集模块11通过获取手指图像的方式采集手指姿态信息。辅助采集模块也用于辅助采集手指姿态信息，辅助采集模块可以位于手部的任意一个可以采集到手指姿态的位置，以实现对手指姿态信息的辅助采集。辅助采集模块例如可以为摄像头，通过获取手指图像的方式辅助获取手指姿态信息。

[0025] 可以理解的是，在人机互动中，手势采集系统不单单要采集手指姿态，还需要采集腕部姿态及前臂姿态。

[0026] 为了实现对腕部姿态的采集，本发明的手势采集系统例如还包括腕部姿态采集装置2，所述腕部姿态采集装置2用于采集腕部的收展姿态信息与腕部的屈伸姿态信息。本发明通过腕部姿态采集装置2采集腕部的收展姿态信息与腕部的屈伸姿态信息，实现对腕部姿态的采集。需要说明的是，在解剖学上，将手掌伸开，腕部绕着垂直于手掌的轴摆动即为腕部的收展作动，腕部绕着手腕关节摆动即为腕部的屈伸作动，本发明中的腕部姿态采集装置2可以对腕部的收展作动及屈伸作动进行采集从而获取腕部的收展姿态信息与腕部的屈伸姿态信息。

[0027] 请结合参阅图2-5，在本实施例中，腕部姿态采集装置2包括随着腕部收展与屈伸的腕部姿态采集臂22，所述传感模块24采集所述腕部姿态采集臂22的屈伸信息及收展信息，从而实现对腕部姿态信息的采集。为了保证腕部姿态采集臂22能够随着腕部收展与屈伸，传感模块24能够精确采集到腕部姿态采集臂22的屈伸信息及收展信息，腕部姿态采集臂22通常由硬质材料制作，这样腕部姿态采集臂22不会轻易形变，可以避免因腕部姿态采集臂22轻易变形所导致的影响腕部姿态采集臂22的屈伸及收展作动，以致最终影响采集准确度的问题。

[0028] 为了实现对前臂姿态信息的采集，本发明的手势采集系统例如还包括前臂姿态采集装置3，所述前臂姿态采集装置3用于采集前臂姿态信息。在本实施例中，所述前臂姿态采集装置3包括三轴陀螺仪、三轴磁力计与三轴加速度传感器，其中，三轴陀螺仪用于检测前臂的三轴角速度，三轴加速度传感器用于检测前臂的三轴加速度，三轴磁力计用于检测前臂的所处状态的三轴磁力，使检测的前臂姿态信息更加精确，以获取精确的前臂姿态信息。

[0029] 本发明的手势采集系统还能够确定需要控制的电子设备，本发明的手势采集系统例如还包括环境信息采集装置4，该环境信息采集装置4用于在周围环境寻找需要控制交互的电子设备(电脑，平板，家用电器，IOT，车载设备等)并实现手臂相对于室内或者室外的局部外周环境的定位。在本实施例中，环境信息采集装置4为环境信息摄像头。当然，前臂姿态采集装置3还包括设于腕带上的反光点，环境信息采集装置4可以采集反光点的位置信息。

[0030] 为便于实现人机互动，本发明的手势采集系统还包括处理器5及无线通信模块6，手指姿态采集装置1、腕部姿态采集装置2、前臂姿态采集装置3、环境信息采集装置4以及无线通信模块6均与处理器5连接，手指姿态采集装置1采集的手指姿态信息、腕部姿态采集装置2的腕部姿态信息、前臂姿态采集装置3采集的前臂姿态信息及环境信息采集装置4寻找到的需要控制的电子设备与前臂的空间信息均发送至处理器5，处理器5根据上述信息确定需要控制的电子设备以及计算出前臂的空间坐标，并根据上述信息输出相应的操作指令并通过无线通信模块6发送至需要控制的电子设备，从而实现与需要控制的电子设备的人机互动，即通过手势即可实现对电子设备的控制。

[0031] 请参阅图2-5，本发明的手势采集系统还包括腕带7，腕带7用于戴在手腕上，主采集模块11、腕部姿态采集装置2、前臂姿态采集装置3、环境信息采集装置4、无线通信模块6以及处理器5例如均可以与腕带7连接，这里的连接包括直接连接和间接连接，直接连接就是直接设置在腕带7上，间接连接就是通过某种元件例如连接杆等与腕带7连接。设置腕带7的目的是为了便于实现主采集模块11随着手掌同步摆动，腕部姿态采集装置2的腕部姿态采集臂22随着腕带运动。主采集模块11及腕部姿态采集装置2与腕带7的连接方式具体见下详述。

[0032] 当然，在其他实施例中，也可以不设置腕带7，主采集模块11也可以通过吸盘等方式固定在手掌的下方。腕部姿态采集装置2也可以通过吸盘的方式设置在腕部。前臂姿态采集装置3、环境信息采集装置4、无线通信模块6以及处理器5等可以固定在手臂上或者通过连杆等结构与手臂相连并位于手臂的外侧，前臂姿态采集装置3、环境信息采集装置4、无线通信模块6以及处理器5的安装方式不限于此，只要能满足相应的信号采集、传输及处理即可。

[0033] 在本实施例中，腕带7呈套状，所述腕带7间隔地设有第一固定部71与第二固定部72，所述第一固定部71与第二固定部72分别与桡骨茎突和尺骨茎突的体表突出部分适配以将所述腕带7固定装设在手腕上，以防止腕带7从手腕处脱落或滑动。具体地，所述第一固定部71与第二固定部72为开设在所述腕带7上的通孔或者凹槽，这样桡骨茎突和尺骨茎突能够收容在通孔或凹槽，使得腕带7固定在手腕上。需要说明的是，在图示中，是以戴在右手的腕带为例进行描述，右手手掌朝下，手指垂直并指向纸面。可以理解的是，戴在左手上的腕带结构和戴在右手上的腕带结构相同，只是第一固定部71与第二固定部72的开设位置需要分别对应左手上的桡骨茎突的体表突出部分和左手上的尺骨茎突的体表突出部分。

[0034] 具体地，请参阅图2，图2是本发明的手势采集系统第一实施例的立体结构示意图。在该实施例中，腕部姿态采集臂22包括随着腕部收展的收展臂220及随着腕部屈伸的屈伸臂222，传感模块24包括两个角度传感器，两个角度传感器分别为采集收展臂220的收展角度的收展角度传感器240以及采集屈伸臂222的屈伸角度的屈伸角度传感器242，本实施例通过收展角度传感器240采集收展臂220随腕部收展时的收展角度，通过屈伸角度传感器
242采集屈伸臂222随腕部收展时的屈伸角度，以实现对腕部收展角度及屈伸角度的精确采集，从而获取腕部姿态。

[0035] 进一步地，腕带7在戴在手腕上后，腕带7与腕部收展时的收展轴有与收展臂220对应的两个交点，腕带7与腕部屈伸时的屈伸轴有与屈伸臂222对应的两个交点。收展臂220包括固定端及与固定端相对的自由端，屈伸臂222同样包括固定端及与固定端相对的自由端，其中，收展臂220与所述屈伸臂222两者其中之一的固定端安装在所述腕带7上并位于对应两个交点的其中之一处且安装其对应的角度传感器，自由端沿着所述腕带7绕至所述收展臂220与所述屈伸臂222两者中的另一个对应的两个交点其中之处并与所述收展臂220与所述屈伸臂222两者中的另一个的固定端连接，所述收展臂220与所述屈伸臂222连接点具有一定夹角且安装另一个角度传感器，所述收展臂220与所述屈伸臂222两者中的另一个的自由端绕着所述腕带7设置并向所述腕带7的外侧延伸至与腕部的近手的位置固定，本实施例是通过采集臂与手的近手腕部的位置卡接的方式与手的近手腕部的位置固定。这样手腕屈伸作动时，手腕在屈伸时，屈伸臂222将随着手腕屈伸，屈伸角度传感器242即可感应到屈伸臂222的角度变化从而感应到手腕的屈伸姿态，手腕在收展时，收展臂220随着手腕收展，收展角度传感器240即可感应到收展臂220的角度变化从而感应到手腕的收展姿态。

[0036] 在本实施例中，收展臂220与屈伸臂222两者中的位于腕部的近手的位置的自由端绕至腕部的近手的位置的底部并安装主采集模块11，以保证主采集模块11可以随着手掌摆动。当然在其他实施例中，也可以在腕带7上延伸出连接杆位于手掌下方，主采集模块11安装在连接杆上。

[0037] 为了保证采集到的角度信息的准确性，屈伸角度传感器242沿着屈伸轴设置，收展角度传感器240沿着所述收展轴设置，也就是屈伸角度传感器242与收展角度传感器240均与沿对应交点的切线垂直。

[0038] 具体地，在本实施例中，如图3所示，在三维坐标系中，X方向代表屈伸轴，Z方向代表收展轴，Y方向为腕带7的轴向，在具体设置时，腕带7与收展轴有A、B两个交点，腕带7与屈伸轴有C、D两个交点，屈伸臂222的一端安装在腕带7与屈伸轴的任意一交点例如C交点处，屈伸角度传感器242与屈伸臂222的固定端连接且沿着X轴设置，屈伸臂222的自由端绕着腕带7设置，然后屈伸臂222的自由端绕到A点位置，然后将收展臂220的固定端与屈伸臂222的自由端连接，再将收展臂220的自由端绕向腕带7的外侧且与手的近手腕部的位置固定，具体为收展臂220的自由端朝向C交点所在方向绕线的过程中延伸至腕带7的外侧，然后朝向手靠近手腕的位置绕线至位于腕带7的外侧且与手的近手腕部的位置固定，此处采用收展臂220卡在手的近手腕部的位置的方式与手的近手腕部的位置固定。这样腕部屈伸时，屈伸臂222通过腕带7随着腕部绕着屈伸轴摆动，屈伸角度传感器242随着屈伸臂222摆动，屈伸角度传感器242从而采集到屈伸臂222的摆动角度，以获取腕部的屈伸姿态，此时，收展臂220并不会绕着收展轴摆动，收展角度传感器240不会采集到收展臂220的收展角度；腕部在收展时，收展臂220固定在手的靠近腕部的位置，收展臂220随着腕部绕着收展轴摆动，屈伸臂222与收展臂220之间角度随着收展臂220的摆动发生变化，收展角度传感器240采集到收展臂220的摆动角度，以获取腕部的收展姿态，此时，屈伸臂222并不会绕着屈伸轴摆动，屈伸角度传感器242不会采集到屈伸臂222的收展角度。

[0039] 为了方便安装主采集模块11，收展臂220的自由端可以绕至手的近手腕部的位置的底面，然后再朝向手掌延伸，主采集模块11安装在收展臂220的自由端，以保证主采集模块11随着手掌同步摆动。

[0040] 在另一实施例中，如图4所示，X方向代表屈伸轴，Z方向代表收展轴，Y方向为腕带7的轴向，在具体设置时，在该实施例中，收展臂220的固定端安装在腕带7与收展轴的任意一交点例如A交点处，收展角度传感器240固定在收展臂220的固定端且收展角度传感器240沿着Z轴设置，收展臂220的自由端绕着腕带7设置，然后收展臂220的自由端例如绕至C点位置。屈伸臂222的固定端与收展臂220的自由端连接，屈伸角度传感器242安装在屈伸臂222与收展臂220的连接处，屈伸角度传感器242沿着X轴设置。屈伸臂222的自由端绕向腕带7的外侧且与手的近手腕部的位置固定，具体为屈伸臂222的自由端朝向A交点然后再向D点绕线，并在绕线的过程中延伸至腕带7的外侧，然后朝向手靠近手腕的位置绕线至位于腕带7的外侧且与手的近手腕部的位置固定，此处是通过屈伸臂222与手的近手腕部的位置卡接的方式与手的近手腕部的位置固定。这样腕部屈伸时，屈伸臂222固定在手的靠近腕部的位置随着腕部绕着屈伸轴摆动，屈伸臂222与收展臂220之间的夹角发生变换，屈伸角度传感器242从而采集到屈伸臂222的摆动角度，以获取腕部的屈伸姿态，此时，收展臂220并不会绕着收展轴摆动，收展角度传感器240不会采集到收展臂220的收展角度；腕部在收展时，收展臂220通过腕带7随着腕部绕着收展轴摆动，收展角度传感器240随着收展轴摆动，收展角度传感器240采集到收展臂220的摆动角度，以获取腕部的收展姿态，此时，屈伸臂222并不会绕着屈伸轴摆动，屈伸角度传感器242不会采集到屈伸臂222的屈伸角度。

[0041] 为了方便安装主采集模块11，屈伸臂222的自由端可以绕至手的近手腕部的位置的底面，然后再朝向手掌延伸，主采集模块11安装在屈伸臂222的自由端，以保证主采集模块11随着手掌同步摆动。

[0042] 请参阅图5，图5是本发明的手势采集系统第二实施例的立体结构示意图，在该实施例中，所述腕部姿态采集臂22为伸缩杆，所述腕部姿态采集臂22与所述腕带7连接，包括位于所述腕带7上方、侧方或下方的第一端以及与腕部的近手的位置固接的第二端，所述腕部姿态采集臂22与所述腕带7的交点位于所述第一端与所述第二端之间，所述腕部姿态采集臂22的第一端能够围绕所述交点摆动，所述传感模块24通过获取所述第一端的摆动信息获取所述腕部姿态采集臂22的屈伸信息与收展信息。

[0043] 具体地，在该实施例中，腕带7上设有鱼眼轴承75，腕部姿态采集臂22通过穿设所述鱼眼轴承75的方式与所述腕部姿态采集臂22连接，鱼眼轴承75的结构及作动原理均为现有技术，在此不再赘述。腕部姿态采集臂22可以通过安装在腕带7上的鱼眼轴承75随着腕部摆动，具体为腕部姿态采集臂22在鱼眼轴承75与腕部姿态采集臂22第二端之间的部分根据需要进行伸缩，腕部姿态采集臂22的第一端通过鱼眼轴承75随着腕部摆动，传感模块24可以获取第一端的摆动信息以获取腕部姿态，更具体地是，腕部在收展时，腕部姿态采集臂22的第一端通过鱼眼轴承75随着腕部左右摆动，传感模块24获取第一端的左右摆动的角度以获取腕部的收展姿态信息，腕部在屈伸时，腕部姿态采集臂22的第一端通过鱼眼轴承75随着腕部上下摆动，传感模块24获取第一端的上下摆动的角度以获取腕部的屈伸姿态信息。

[0044] 在本实施例中，请参阅图6，传感模块24为霍尔传感器，腕部姿态采集臂22的第一端设有磁铁26，磁铁26在腕部姿态采集臂22的第一端附近形成磁场，霍尔传感器感应磁铁26形成的磁场，霍尔传感器可以感应磁场的变化，磁场的变化是由于腕部姿态采集臂22的第一端摆动形成，因此所述传感模块24通过获取所述腕部姿态采集臂22的第一端磁场信息，以获取腕部姿态采集臂22的第一端的上下摆动角度以及左右摆动角度，进而获取腕部的屈伸姿态信息与收展姿态信息。

[0045] 在本实施例中，传感模块24位于腕部姿态采集臂22的延伸方向上且相对腕部姿态采集臂22的第一端更远离腕部姿态采集臂22的第二端，以便于传感模块24准确获取腕部姿态采集臂22的第一端磁场信息。

[0046] 在本实施例中，本发明的手势采集系统还包括固定结构8，固定结构8呈“C”形，具体可以通过硬质塑胶板弯折而成，固定结构8固定在腕部近手的位置例如通过卡接的方式固定，固定结构8相对于腕带7更靠近手，腕部姿态采集臂22的第二端固定在固定结构8上，主采集模块11固定在固定结构8上，为了使主采集模块11位于手掌的下方，固定结构8上例如向手指的方向延伸出连接杆至手掌下方，主采集模块11固定在连接杆上。

[0047] 在上述内容中，主采集模块11的安装区域为腕关节向手指方向0～5厘米以内，手腕到手臂0～3厘米以内，且距离体表皮肤0～3厘米以内，优选距离体表皮肤0～2厘米以内，将主采集模块11安装在这个区域可以实现对手指姿态信息的精确采集。

[0048] 与现有技术相比，本发明的手势采集系统具有以下优点：

[0049] 1.降低成本：传统的手势识别装置都是采用外部环境来拍摄图像从而通过识别手势的方法来进行的，此类方法会导致每一台被控设备都需要配备识别设备(键盘鼠标手标)。例如家里有20个被控设备(pad，电脑，电视机，手机，其他智能家电等IOT设备)，每个设备都需要安装一套手势识别装置，这是非常耗费成本的；而本发明通过环境信息采集装置4确定需要控制的电子设备，实现通过一套手势识别设备就可以对多个被控设备的控制。

[0050] 2.大幅提高手势识别准确度：

[0051] a)现有技术中采用外部环境拍摄图像的方式来识别手势的系统，必须先将手部作动从复杂嘈杂的背景中分离(segment)出来，这样才能降低误识别率。本发明通过设置主采集模块设在手掌底面并与手掌同步摆动，也就是主采集模块的视角和位置相对手指而言固定，同一个手势作动只会用从一个固定角度拍摄的图像来识别，不需要分离背景，同时也可让识别系统不用考虑背景删除所需的计算消耗。

[0052] b)现有技术中采用外部环境拍摄图像的方式来识别手势的系统需要对分离出来的手势图像的尺寸缩放，旋转，远近，遮挡进行处理。我们的设计方式，手指的位置距离摄像头是固定的，无需对图像进行尺寸缩放和旋转处理。也不会因为拍摄角度不同导致大面积遮挡的发生。

[0053] c)采用外部环境拍摄图像的方式来识别手势的系统在外部环境中使用摄像头时对于同一个手指作动姿势要求从不同角度都能识别，这就要求需要大量数据训练(同一种姿势不同角度的大量图像来训练识别系统才能保证准确度)。同一个姿势比如手指并拢伸直这个姿态在外部环境拍摄图像的方式来识别时，需要360度不同方向的摄像角度获得照片，才能保证从各个角度对这一个作动的识别准确率，而采用在手掌固定的位置，固定的视角拍摄照片，对于同一个姿势不需要从360*360度各个方向上获取照片来训练识别系统。这可以大大减少训练的数据量，也大大提高了识别准确度。

[0054] d)由于采用手掌根部部署摄像头，手指距离摄像头最远也只有15cm-20cm，可以降低摄像头分辨率，也大幅降低系统处理的图像数据，而如果采用外周环境部署摄像头的方式，由于人手距离摄像头较远，且位置不固定，所以必须提高摄像头分辨率保证任何位置都能拍摄到足够的清晰度。

[0055] 3.加快识别速度：

[0056] 手势识别是需要实时性的，识别速度如果太慢，用户不会认可。

[0057] 由上面2中的a)可得：如果有嘈杂的背景，就必须对图像进行遍历，定位手所在的位置，很耗费时间；

[0058] 由上面2中的b)可得：对手势图像的缩放进行处理也要对图像遍历，更耗费时间；

[0059] 由上面2中的c)可得：对一种手指姿态从不同角度去识别，比单一视角识别需要更多层的神经元，假设以1度的范围对同一个手指姿态进行识别就需要比单一视角识别多达129600不同角度的图片。单一视角只要1张图片训练就可以。可以大幅降低神经元权重的数量，运算加速明显；

[0060] 由上面2中的d)可得：摄像头分辨率的降低导致图像的像素大幅降低，处理的像素量会小很多。500万像素的比62500像素的设备处理像素的数量降低近80倍。在卷积神经网络处理过程中，1张图在一层神经网络里要用近20个过滤器遍历处理，单层的性能就会提高1600倍，在深度神经网络里会有多层，提高的还要多。

[0061] 4.降低功耗：

[0062] 识别系统的功耗和浮点运算次数(神经网络权重的乘法)相关。

[0063] 由上面2中的a)可得：对卷积核对图像进行遍历，来过滤嘈杂的背景，需要耗费较多功耗；

[0064] 由上面2中的b)可得：对手势图像的缩放进行处理也要增加卷积神经网络的非线性权重的数量，产生多倍的功耗；

[0065] 由上面2中的c)可得：减少了同一个姿势的manifolder图像，可以大大降低卷积神经网络的非线性权重的数量和神经网络的深度；

[0066] 由上面2中的d)可得：图像的像素大幅降低，500万像素的比62500像素的设备处理像素的在单层卷积神经网络处理过程中，会提高1600倍(浮点运算量)，在多层深度神经网络处理过程中又会成倍增加，功耗降低明显。

[0067] 在leap motion类似的外周环境拍摄方式，自身只能提供80％的运算能力，还有20％的运算靠USB连接的计算机才能运行，这种方式要在穿戴式设备中实现是不可能的，因为穿戴式设备的电池不能提供给芯片足够的功耗来获得运算结果。其次穿戴式设备的主芯片运算能力也不可能比得上计算机。只有采用我们发明的这种方式才能在穿戴式设备中实现实时的识别。

[0068] 5.可以在任何地方识别

[0069] 在外部环境中使用摄像头，需要把手放在该摄像头所在的区域，包括hololens所采用的方式都要求手臂举起，保证头盔中的摄像头能照射到手，而我们的方式手放在任何位置都可以感知。

[0070] 6.防止大猩猩臂

[0071] 由于5的缘故，本发明不需要长时间抬举手臂，并让手放在摄像头的识别区，可以防止手臂酸胀(大猩猩臂)，这个症状在ipad的使用者当中相当普遍。也可以防止鼠标手(腕管综合症)的发生。此外，大猩猩臂会导致用户将手持设备放低，从而引发颈椎问题。

[0072] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。