技术领域
[0001] 本公开属于动作识别技术领域,本公开尤其涉及一种动作识别方法。
相关背景技术
[0002] 惯性测量单元即IMU(或称为运动传感器,或称为惯导模块)是测量物体三轴姿态角(或角速率)以及加速度的装置。一般的,一个IMU包含了三个单轴的加速度计和三个单轴的陀螺,加速度计检测物体在载体坐标系统独立三轴的加速度信息,而陀螺检测载体相对于导航坐标系的角速度信息,测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。
[0003] 身体动作包括头部动作、手臂动作、腿部动作等。
[0004] 例如头部动作,包括颈部动作带动头部运动(例如摇头、点头、歪头等导致的头部运动),还包括身体动作带动头部运动(例如计步、站坐、跳蹲等动作导致的头部运动)。
[0005] 数据融合技术是利用计算机对按时序获得的若干观测信息,在一定准则下加以自动分析、综合,以完成所需的决策和评估任务而进行的信息处理技术。
[0006] 现有技术中尚无能够对身体各个部位动作进行综合识别的动作识别方法。
具体实施方式
[0028] 下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
[0029] 需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。
[0030] 图1是本公开一个实施方式的动作识别方法的示意性流程图,包括:实时地检测目标部位的至少一个动作信息;判断是否检测到目标部位的至少一个动作信息;以及如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息。
[0031] 动作信息,例如是基于惯性测量单元(IMU,下称IMU)检测到的动作信号而生成,动作信号可以通过IMU的角速度测量装置和加速度测量装置测得(IMU的硬件结构属于现有技术,在此不再赘述),例如测量头部在三维空间中的角速度和加速度,并以此解算出头部的姿态。包括IMU的电子设备例如耳机、手表等,其IMU可以生成动作信息。本领域技术人员应当理解,目标部位指的是人体的例如头部、手臂等部位,目标部位的至少一个动作信息,例如可以是头部的一个动作信息、两个动作信息或者三个动作信息等等,手臂的一个动作信息、两个动作信息或者三个动作信息等等。
[0032] 上述方法例如通过计算机程序实现,可以将实现上述方法的计算机程序写入IMU。
[0033] 图2是本公开又一个实施方式的动作识别方法的示意性流程图,包括:实时地检测目标部位的至少一个动作信息;判断是否检测到目标部位的至少一个动作信息;以及如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息;基于目标部位的至少一个动作事件信息生成至少一个包含动作事件信息的第一通知信息。
[0034] 与图1所示的实施方式不同的是,图2示出的实施方式的方法还基于动作事件信息生成了包含动作事件信息的第一通知信息。图2所示的方法例如通过计算机程序实现,可以将上述方法的计算机程序写入IMU,在包括IMU的电子设备(例如耳机、手表)中,电子设备的处理器(例如耳机芯片、手表芯片)可以基于第一通知信息而进行相应的处理。优选地,第一通知信息包括生成动作事件信息的时间信息。其中“目标部位的至少一个动作事件信息”例如是头部的一个动作事件信息、两个动作事件信息或者三个动作事件信息等等,相应的,生成一个第一通知信息、两个第一通知信息或者三个第一通知信息等等。
[0035] 在本公开的又一个实施方式中,动作识别方法还包括:获取初始信息,初始信息包括初始时间信息;基于所述初始时间信息,对动作事件信息进行监测,当超过预定时间段阈值且未生成动作事件信息,生成语音信息;或者基于所述初始时间信息,对动作事件信息进行监测,当超过预定时间段阈值且未获得动作事件信息的通知信息时,生成语音信息。
[0036] 本领域技术人员应当理解,上述初始信息可以通过例如光学传感器、蓝牙等获得,以耳机作为电子设备的示例,当耳机初始被佩戴在头部,耳机的光学传感器生成上述初始信息,或者耳机初始被佩戴在头部,耳机的蓝牙与手机等移动终端连接,生成上述初始信息。本实施方式的一个应用场景是,从耳机初始被佩戴在头部,即开始监测头部动作事件信息的生成时间,如果超过预定时间段阈值未生成头部动作事件信息或者未获得头部动作事件信息的通知信息,则生成语音信息来提醒用户进行头部运动。
[0037] 尤其是对于真无线蓝牙耳机(现有技术中一种类型的真无线蓝牙耳机包括主耳机和副耳机,主耳机通过蓝牙与手机或音乐播放器等移动终端连接,副耳机与主耳机通过蓝牙连接;另一种类型的真无线蓝牙耳机包括两个入耳式耳机,并不区分主耳机和副耳机),通过将被写入实现上述方法的计算机程序的IMU配置在主耳机和副耳机中,或者优选地配置在主耳机中,或者通过将被写入实现上述方法的计算机程序的IMU配置在上述两个入耳式耳机中,使得真无线蓝牙耳机的应用场景更丰富,通过佩戴这种真无线蓝牙耳机,用户可以在学习、工作等场景下对头部动作进行检测而不必再佩戴专门的动作检测设备。
[0038] 图3是本公开又一个实施方式的动作识别方法的示意性流程图。包括:实时地检测目标部位的至少一个动作信息;判断是否检测到目标部位的至少一个动作信息;以及如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息;基于目标部位的至少一个动作事件信息生成至少一个包含动作事件信息的第一通知信息;基于至少一个第一通知信息,生成至少一个第二通知信息;基于至少一个第二通知信息,生成至少一个动作完成信息。
[0039] 与图2所示的实施方式不同的是,图3示出的实施方式的方法还基于第一通知信息生成了第二通知信息,基于第二通知信息生成了动作完成信息。图3所示的方法例如通过计算机程序实现。可以将“实时地检测目标部位的至少一个动作信息;判断是否检测到目标部位的至少一个动作信息;以及如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息;基于目标部位的至少一个动作事件信息生成至少一个包含动作事件信息的第一通知信息;基于至少一个第一通知信息,生成至少一个第二通知信息”的计算机程序写入第一电子设备(例如耳机、手表等),将“基于至少一个第二通知信息,生成至少一个动作完成信息”的计算机程序写入第二电子设备(例如手机、便携式计算机等)。
[0040] 作为一个示例,将“实时地检测目标部位的至少一个动作信息;判断是否检测到目标部位的至少一个动作信息;以及如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息;基于目标部位的至少一个动作事件信息生成至少一个包含动作事件信息的第一通知信息”的计算机程序写入耳机中的IMU,将“基于至少一个第一通知信息,生成至少一个第二通知信息”的计算机程序写入耳机的芯片,将“基于至少一个第二通知信息,生成至少一个动作完成信息”的计算机程序写入手机。如果生成了多个第二通知信息,相应的,生成多个动作完成信息。“动作完成信息”可以是例如弹窗信息、文字记录信息、图表信息等。
[0041] 图4是本公开又一个实施方式的动作识别方法的示意性流程图,包括:实时地检测目标部位的至少一个动作信息;判断是否检测到目标部位的至少一个动作信息;以及如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息;对目标部位的所述至少一个动作事件信息中的各个类型的动作事件信息进行数量统计。
[0042] 与图1所示的实施方式不同的是,图4示出的实施方式的方法还对目标部位的至少一个动作事件信息中的各个类型的动作事件信息进行数量统计。图4所示的方法例如通过计算机程序实现,可以将图4所示方法中“对目标部位的所述至少一个动作事件信息中的各个类型的动作事件信息进行数量统计”的计算机程序写入电子设备的芯片,例如耳机芯片、手表芯片等。
[0043] 作为一个示例,可以通过耳机的IMU的传感器来检测头部水平位移和/或头部垂直位移,生成头部水平位移动作信息,通过图4所示的方法对头部水平位移动作信息进行实时检测,生成头部水平位移动作事件信息,耳机的芯片对“头部水平位移动作事件信息”进行统计,从而可以实现耳机的计步功能。本领域技术人员应当理解,通过图4示出的方法,还可以统计例如“头部向左转40度动作事件信息”、“手臂水平位移动作事件信息”等的数量。
[0044] 图5是本公开又一个实施方式的动作识别方法的示意性流程图,包括:实时地检测目标部位的至少一个动作信息;判断是否检测到目标部位的至少一个动作信息;以及如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息;对目标部位的所述至少一个动作事件信息中的各个类型的动作事件信息进行数量统计;对多个目标部位的相同类型的动作事件信息的数量统计信息进行优化,得到优化后的相同类型的动作事件信息的数量统计信息。
[0045] 与图4所示的实施方式不同的是,图5示出的实施方式的方法还对多个目标部位的相同类型的动作事件信息的数量统计信息进行优化,得到优化后的相同类型的动作事件信息的数量统计信息。图5所示的方法例如通过计算机程序实现,可以将图5所示方法中“对多个目标部位的相同类型的动作事件信息的数量统计信息进行优化,得到优化后的相同类型的动作事件信息的数量统计信息”的计算机程序写入另外的电子设备。
[0046] 作为一个示例,可以将“对多个目标部位的相同类型的动作事件信息的数量统计信息进行优化,得到优化后的相同类型的动作事件信息的数量统计信息”写入手机、便携式计算机或者云端服务器等。以手机为例,同一用户的耳机和手表将各自的计步数量发送至该用户的手机,对两者的计步数量进行优化,可以提高计步的准确性,简单的,可以取两者计步数量的平均值,当然还可以通过各种数据融合算法来对两者的计步数量进行优化。
[0047] 根据本公开的一个优选实施方式,在实时地检测目标部位的至少一个动作信息之前,还包括:预设目标部位的至少一个动作类型以及所述至少一个动作类型对应的至少一个动作类型特征信息;判断是否检测到目标部位的至少一个动作信息,包括:判断检测到的动作信息是否归属于所述至少一个动作类型特征信息;如果检测到目标部位的至少一个动作信息,则生成目标部位的至少一个动作事件信息,如果未检测到目标部位的至少一个动作信息,则不生成目标部位的至少一个动作事件信息,包括:如果检测到的动作信息归属于所述至少一个动作类型特征信息,则生成动作事件信息,如果检测到的动作信息不归属于所述至少一个动作类型特征信息,则不生成动作事件信息。
[0048] 动作类型,例如头部向左转40度,头部向右转40度,头部向后仰20度等等,这些动作类型会对应相应的动作类型特征信息。动作类型特征信息,即每个动作类型对应的特征动作信息,这些特征动作信息可以基于IMU检测到的特征动作信号而生成。
[0049] 将实时检测到的动作信息与上述至少一个动作类型特征信息相比较,如果检测到的动作信息与其中一个动作类型特征信息相吻合,说明目标部位(例如头部)进行了一个动作类型,即发生了一个类型的动作,则生成动作事件信息。
[0050] 根据本公开的一个优选实施方式,在实时地检测目标部位的至少一个动作信息之前,预设至少一个综合动作类型以及至少一个综合动作类型对应的至少一个综合动作类型特征信息;综合动作类型包括至少两个目标部位中的各个目标部位的至少一个动作类型;综合动作类型特征信息包括至少两个目标部位中的各个目标部位的至少一个动作类型特征信息。
[0051] 作为一个示例,一个综合动作类型例如一个瑜伽动作,该瑜伽动作包括一个头部动作类型(头部向左转40度)和一个手臂动作类型(例如手臂由竖直到水平)。则该综合动作类型特征信息包括上述头部动作的特征信息和上述手臂动作的特征信息。
[0052] “预设至少一个综合动作类型”可以预设一个综合动作类型、两个综合动作类型或者三个综合动作类型等等。
[0053] 根据本公开的一个优选实施方式,基于各个目标部位的至少一个动作类型对应的动作完成信息,生成各个综合动作类型对应的动作完成信息。通过本公开前面描述的动作识别方法可知,目标部位的一个动作类型对应的动作信息被检测到时,会生成一个动作事件信息,该动作事件信息会导致一个包含该动作事件信息的第一通知信息产生,该第一通知信息会导致一个第二通知信息产生,该第二通知信息会导致一个动作完成信息产生,例如当“头部向左转40度”这一动作类型对应的动作信息被检测到时,会导致一个“头部向左转40度”这一动作类型被完成的动作完成信息。可以理解,当一个综合动作类型包括的各个动作类型(例如头部向左转40度和手臂由竖直到水平)对应的动作信息都被检测到时,会生成括号中两个动作类型的动作完成信息,基于这两个动作完成信息,生成该综合动作类型的动作完成信息。显然,当括号中的两个动作类型有一个未被完成时,则不会生成该综合动作类型的动作完成信息。
[0054] 流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本公开的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如,本公开中的方法实施方式可以被实现为软件程序,其被有形地包含于机器可读介质,例如存储器。在一些实施方式中,软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时,可以执行上文描述的方法中的一个或多个步骤。备选地,在其他实施方式中,处理器可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行上述方法之一。
[0055]
[0056] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤,可以具体实现在任何可读存储介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。
[0057] 在本说明书的描述中,参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式/方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施方式/方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施方式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
[0058] 此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
[0059] 本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本公开的范围内。