首页 / 行为识别方法、行为识别模型的生成方法和行为识别系统

行为识别方法、行为识别模型的生成方法和行为识别系统实质审查 发明

技术领域

[0001] 本申请涉及电子设备领域,尤其涉及一种行为识别方法、行为识别模型的生成方法和行为识别系统。

相关背景技术

[0002] 随着电子设备(例如手机)的功能越来越强大,电子设备越来越被人们普遍携带使用,这也使得电子设备逐渐发展成为了一种能随时随地低调监控人的行为习惯工具。目前电子设备上集成的传感器数量随着电子设备的更新迭代,不断增多,如何利用电子设备配备的传感器以及射频信号信息来识别用户当前的运动状态或者行为(即行为识别)是目前的一个研究热点。人们每天处于室内的时间会占所有时间的80%以上,所以行为识别研究中对用户室内行为的识别非常关键。
[0003] 目前对室内行为的识别主要是利用电子设备的各类传感器的数据放入机器学习模型中进行训练,从而得到可以预测或判断当前用户行为模式的完备模型。但是目前的研究中,大多数都需要使用所有的传感器数据才能对用户的识别行为模式进行准确判断,所以一旦电子设备存在部分传感器失效或者不存在,则会导致训练得到的模型准确率下降,预测或判断结果不理想。

具体实施方式

[0071] 本申请以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式,除非其上下文中明确地有相反指示。还应当理解,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
[0072] 在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本申请所描述的实施例可以与其它实施例相结合。
[0073] 本申请以下实施例中的术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
[0074] 首先,对本申请实施例中涉及名词进行如下说明:
[0075] 升降梯:升降梯为电梯中的一种。升降梯主要指以电动机为动力的垂直升降机,装有箱状吊舱。升降梯是服务于规定楼层的固定式升降设备。升降梯具有一个轿厢,运行在至少两列垂直的刚性导轨之间。在本申请是实施例提到的电梯具体指升降梯。
[0076] 九轴传感器:九轴传感器包括三轴加速度计、三轴陀螺仪和三轴磁力计。
[0077] 其中,加速度计(acce lerometer,G‑sensor)也叫重力感应器,实际上是可以感知任意方向上的加速度的设备。三轴加速度计是基于加速度的基本原理去实现工作的,加速度是个空间矢量,一方面,要准确了解物体的运动状态,必须测得其三个坐标轴上的分量;另一方面,在预先不知道物体运动方向的场合下,只有应用三轴加速度传感器来检测加速度信号。
[0078] 陀螺仪(gyroscope,GYRO‑sensor),也可称为地感器,传统结构是内部有个陀螺。三轴陀螺仪可以同时测定6个方向的位置,移动轨迹,加速度。单轴陀螺仪的只能测量两个方向的量,也就是一个系统需要三个陀螺仪,而3轴的一个陀螺仪就能替代三个单轴的陀螺仪。三轴陀螺仪的工作原理是通过测量三维坐标系内陀螺转子的垂直轴与设备之间的夹角,并计算角速度,通过夹角和角速度来判别物体在三维空间的运动状态。三轴陀螺仪可以同时测定上、下、左、右、前、后等6个方向(合成方向同样可分解为三轴坐标),最终可判断出设备的移动轨迹和加速度。也就是说,三轴陀螺仪通过测量自身的旋转状态,判断出设备当前运动状态,例如是向前、向后、向上、向下、向左还是向右;是加速(角速度)还是减速(角速度)等。
[0079] 磁力计(magnet ic、M‑sensor)也叫地磁、磁感器,可用于测试磁场强度和方向,定位设备的方位。磁力计的原理跟指南针原理类似,可以测量出当前设备与东南西北四个方向上的夹角。三轴地磁计,又称电子罗盘,在无人机、智能手表、智能手机、导航设备中广泛普及和应用。
[0080] 基于上述介绍可以简单的理解为:陀螺仪知道“我们转了个身”,加速计知道“我们又向前走了几米”,而磁力计则知道“我们是向西方向”的。所以在实际应用中,由于应用、误差修正、误差补偿需要,往往会结合使用上述传感器(即九轴传感器),充分利用每种传感器的特长,让最终的运算结果更准确,比如在使用Android系统的手机中,会同时使用磁力计和加速计来运算方位信息。
[0081] 随着电子设备(例如手机)的功能越来越强大,电子设备也越来越被人们普遍携带使用,这也使得电子设备逐渐发展成为了一种能随时随地低调监控人的行为习惯工具。目前电子设备上集成的传感器数量随着电子设备的更新迭代,不断增多,如何利用电子设备配备的传感器以及射频信号信息来识别用户当前的运动状态或者行为(即行为识别)是目前的一个研究热点。人们每天处于室内的时间会占所有时间的80%以上,所以行为识别研究中对用户室内行为的识别非常关键。如果能准确识别出用户在室内的行为,将能够在许多研究领域起到重要的推动作用。例如:通过对用户室内行为的识别确定用户是否进行了跨层运动,以判断用户的活动范围等。
[0082] 目前对室内行为的识别主要是利用电子设备的各类传感器的数据放入机器学习模型中进行训练,从而得到可以预测或判断当前用户行为模式的完备模型。但是目前的研究中,大多数都需要使用所有的传感器数据才能对用户的识别行为模式进行准确判断,所以一旦电子设备存在部分传感器失效或者不存在,则会导致训练得到的模型准确率下降,预测或判断结果不理想。
[0083] 针对上述技术问题,参照图1所示,本申请实施例提供一种行为识别方法。该方法可以应用于电子设备对自身所属用户的室内行为特征或者行为模式的判断场景中。在该技术方案中,不需要大部分的传感器数据,仅仅依据电子设备上最基本的九轴传感器和Wi‑Fi(wi re less fide l ity,无线保真网络)信息,便可以准确识别用户上下电梯和平层运动。具体的,电子设备可以先获取预设时长内电子设备的九轴传感器的传感器数据以及Wi‑Fi数据。然后,可以从该预设时长内电子设备的九轴传感器的传感器数据以及Wi‑Fi数据,得到多个行为特征组(该过程可以称为特征工程)。每个行为特征组对应一个单位时间内的,行为特征组包括传感器特征和Wi‑Fi特征。之后,可以将多个行为特征组输入至行为识别模型中,以得到电子设备所属用户(即持有该电子设备的用户)的行为识别结果和地标l andmark点识别结果。该行为识别结果可以包括该预设时长内多个时间段内用户的行为模式。例如在A时间段内用户的行为模式为上下电梯,在B时间段内用户的行为模式为平层状态等。l andmark点识别结果则包括预设时长内用户的行为模式产生改变的变化点,或者每个行为模式的起始点和结束点。该行为识别模型为提前训练好的,能够基于传感器特征和Wi‑Fi特征确定该电子设备所属用户的行为模式。另外,由于行为识别模型对行为模式进行判断时依据的传感器的数据较少,所以为了防止其误判。在该行为识别模型输出行为识别结果后,电子设备可以还会根据传感器数据中的加速度数据确定电子设备是否处于上下电梯状态。因为用户在非电梯模式(平层状态、上下扶梯和上下楼梯)和上下电梯中的超失重数据是存在较大差异的,所以电子设备可以依据电子设备的超失重数据对行为识别模型的行为识别结果和l andmark点识别结果进行纠正,进而得到更准确的识别结果。参照图1所示,其中利用加速度数据对行为识别模型的识别结果进行纠正的具体实施可以是由电子设备中的电梯规则模型实现的。
[0084] 当然,为了使得上述行为识别方法能够顺利实施,本申请还提供一种行为识别模型的生成方法,该方法可以利用至少一组样本数据,采用监督学习的方式训练得到上述行为识别模型。
[0085] 下面结合附图对本申请实施例提供的技术方案进行详细表述。
[0086] 本申请提供的技术方案可以应用在如图2所示的行为识别系统中。参照图2所示,该行为识别系统包括训练设备01和电子设备02。其中,训练设备01主要获取样本并训练行为识别模型,即实施本申请实施例提供的行为识别模型的生成方法。电子设备02则用于在从训练设备01处获取到行为识别模型后,在用户需要对某个电子设备所属用户进行行为识别时,进行相应的转换,即实施本申请实施例提供的风格转换方法。
[0087] 可以理解的,上述的电子设备02和训练设备01可以为两个分离的设备,也可以是同一个设备。本申请对此不做具体限制。
[0088] 示例性的,本申请实施例中的电子设备可以为手机、平板电脑、桌面型计算机、膝上型计算机、手持计算机、笔记本电脑、超级移动个人计算机(u ltra‑mob i le persona l computer,UMPC)、上网本,以及蜂窝电话、个人数字助理(persona l d igita l ass i stant,PDA)、增强现实(augmented rea l ity,AR)设备、虚拟现实(vi rtua l rea l ity,VR)设备、人工智能(art ificia l inte l l igence,AI)设备、可穿戴式设备、车载设备、智能家居设备和/或智慧城市设备,本申请实施例对该电子设备的具体类型不作特殊限制。
[0089] 示例性的,以电子设备为手机为例,图3示出了本申请实施例提供的一种电子设备的结构示意图。
[0090] 如图3所示,该电子设备可具有多个摄像头293,例如前置普通摄像头,前置低功耗摄像头,后置普通摄像头,后置广角摄像头等等。此外,该电子设备可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(un iversa l ser ia l bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,显示屏294,以及用户标识模块(subscr iber ident ificat ion modu le,SIM)卡接口295等。其中,传感器模块280可以包括陀螺仪传感器280A,磁传感器280B,加速度传感器280C,接近光传感器280D,指纹传感器280E,温度传感器280F,触摸传感器280G,环境光传感器280H等。其中,陀螺仪传感器280A可以为三轴陀螺仪传感器,磁传感器280B可以为三轴磁传感器,加速度传感器280C可以为三轴加速度传感器,三轴陀螺仪传感器、三轴磁传感器和三轴加速度传感器合称为九轴传感器。
[0091] 处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(app l icat ion processor,AP),调制解调处理器,图形处理器(graph ics process ing un it,GPU),图像信号处理器(image s igna l processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(d igita l s igna l processor,DSP),基带处理器,和/或神经网络处理器(neura l‑network process ing un it,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
[0092] 控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
[0093] 处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
[0094] 在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter‑integrated ci rcu it,I2C)接口,集成电路内置音频(inter‑integrated ci rcu it sound,I2S)接口,脉冲编码调制(pu l se code modu l at ion,PCM)接口,通用异步收发传输器(un iversa l asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobi le industry processor interface,MI PI),通用输入输出(genera l‑purpose input/output,GPIO)接口,用户标识模块(subscr iber ident ity modu le,SIM)接口,和/或通用串行总线(un iversa l ser ia l bus,USB)接口等。
[0095] 外部存储器接口220可以用于连接外部的非易失性存储器,实现扩展电子设备的存储能力。外部的非易失性存储器通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部的非易失性存储器中。
[0096] 内部存储器221可以包括一个或多个随机存取存储器(random access memory,RAM)和一个或多个非易失性存储器(non‑vo l at i le memory,NVM)。随机存取存储器可以由处理器110直接进行读写,可以用于存储操作系统或其他正在运行中的程序的可执行程序(例如机器指令),还可以用于存储用户及应用程序的数据等。非易失性存储器也可以存储可执行程序和存储用户及应用程序的数据等,可以提前加载到随机存取存储器中,用于处理器110直接进行读写。在本申请实施例中,内部存储器221可以存储有电子设备在单镜拍摄或多镜拍摄等模式下拍摄的图片文件或录制的视频文件等。
[0097] 触摸传感器280G,也称“触控器件”。触摸传感器280G可以设置于显示屏194,由触摸传感器280G与显示屏294组成触摸屏,也称“触控屏”。触摸传感器280G用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器280G也可以设置于电子设备的表面,与显示屏294所处的位置不同。
[0098] 在一些实施例中,电子设备可以包括1个或N个摄像头293,N为大于1的正整数。在本申请实施例中,摄像头293的类型可以根据硬件配置以及物理位置进行区分。例如,摄像头293所包含的多个摄像头可以分别置于电子设备的正反两面,设置在电子设备的显示屏294那一面的摄像头可以称为前置摄像头,设置在电子设备的后盖那一面的摄像头可以称为后置摄像头;又例如,摄像头293所包含的多个摄像头的焦距、视角不同,焦距短、视越大的摄像头可以称为广角摄像头,焦距长、视角小的摄像头可以称为普通摄像头。不同摄像头采集到的图像的内容的不同之处在于:前置摄像头用于采集电子设备正面面对的景物,而后置摄像头用于采集电子设备背面面对的景物;广角摄像头在较短的拍摄距离范围内,能拍摄到较大面积的景物,在相同的拍摄距离处所拍摄的景物,比使用普通镜头所拍摄的景物在画面中的影像小。其中,焦距的长短、视角的大小为相对概念,并无具体的参数限定,因此广角摄像头和普通摄像头也是一个相对概念,具体可以根据焦距、视角等物理参数进行区分。
[0099] 电子设备通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像编辑的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
[0100] 电子设备可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。
[0101] 显示屏294用于显示图像,视频等。显示屏294包括显示面板。显示面板可以采用液晶显示屏(l iqu id crysta l d i sp l ay,LCD),有机发光二极管(organ ic l ight‑emitt ing d iode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(act ive‑matr ix organ ic l ight emitt ing d iode,AMOLED),柔性发光二极管(f lex l ight‑emitt ing d iode,FLED),Min i led,MicroLed,Micro‑oLed,量子点发光二极管(quantum dot l ight emitt ing d iodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏294,N为大于1的正整数。
[0102] 本申请实施例中,显示屏294可用于显示电子设备的界面(例如,相机预览界面、录像预览界面、成片预览界面等),并在该界面中显示来自任一个或多个摄像头293拍摄的图像。
[0103] 充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。
[0104] 电源管理模块241用于连接电池242,充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210,内部存储器521,显示屏294,摄像头293,和无线通信模块260等供电。
[0105] 电子设备的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调器以及基带处理器等实现。
[0106] 天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
[0107] 移动通信模块250可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。
[0108] 无线通信模块260可以提供应用在电子设备上的包括无线局域网(wi re less loca l area networks,WLAN)(如无线保真(wi re less fide l ity,Wi‑Fi)网络),蓝牙(b l tooth,BT),全球导航卫星系统(globa l navigat ion sate l l ite system,GNSS),调频(frequency modu l at ion,FM),近距离无线通信技术(near fie ld commun icat ion,NFC),红外技术(infrared,I R)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
[0109] SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295,或从SIM卡接口295拔出,实现和电子设备的接触和分离。电子设备可以支持一个或多个SIM卡接口。SIM卡接口295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口295可以同时插入多张卡。SIM卡接口295也可以兼容外部存储卡。电子设备通过SIM卡和网络交互,实现通话以及数据通信等功能。
[0110] 当然,可以理解的,上述图3所示仅仅为电子设备的形态为手机时的示例性说明。若电子设备是平板电脑,手持计算机,PC,PDA,可穿戴式设备(如:智能手表、智能手环)等其他设备形态时,电子设备的结构中可以包括比图3中所示更少的结构,也可以包括比图3中所示更多的结构,在此不作限制。
[0111] 可以理解的是,一般而言,电子设备功能的实现除了需要硬件的支持外,还需要软件的配合。
[0112] 还需要软件的配合。电子设备的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的 系统为例,示例性说明电子设备的软件结构。
[0113] 图4为本申请实施例提供的电子设备的软件系统的分层架构示意图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。
[0114] 如图4所示,以电子设备使用的系统为 系统为例,在本申请实施例中,将电子设备的软件分为四层,从上至下分别为应用程序层,框架层,系统库和安卓运行时(android runt ime),HAL层(hardware abstract ion layer,硬件抽象层)以及驱动层(或称为内核层)。
[0115] 其中,应用程序层可以包括一系列的应用程序。如图4所示,应用程序层可以包括相机、图库、日历、地图、WLAN、蓝牙、音乐、视频、短信息、通话等应用程序。
[0116] 其中,应用程序层还可以包括行为识别应用。在本申请实施例中,行为识别应用可以为电子设备在被用户正常使用时无法看到和使用的应用,其可以在电子设备接收到特定的操作后被启用,也可以默认启动。
[0117] 该行为识别应用在被启动后可以实时获取电子设备的Wi‑Fi数据和九轴传感器的传感器数据。每获取预设时长的数据后,可以根据该预设时长的数据对该预设时长内电子设备所属用户(即持有该电子设备的用户)的行为模式进行识别。或者,该行为识别应用每次被启动后会获取预设时长的Wi‑Fi数据和九轴传感器的传感器数据,之后根据该预设时长的数据对该预设时长内电子设备所属用户的行为模式进行识别。
[0118] 示例性的,该行为识别应用的算法架构可以如图5所示,该行为识别应用可以包括输出层、核心算法层、数据处理层和数据层。
[0119] 其中,数据层用于获取电子设备的Wi‑Fi数据和九轴传感器的传感器数据。该传感器数据包括三轴磁传感器检测到的地磁数据、三轴陀螺仪传感器检测到的陀螺仪数据、和三轴加速度传感器检测到的加速度数据。数据层可以从电子设备的应用程序层中的Wi‑Fi应用(例如WLAN应用)中获取Wi‑Fi数据,从驱动层中的九轴传感器驱动中获取九轴传感器检测的传感器数据。
[0120] 数据处理层包括数据预处理模块和特征提取模块。其中数据预处理模块具体需要进行数据对齐、数据补全和数据采样。
[0121] 数据对齐指按照时间将Wi‑Fi数据和九轴传感器的传感器数据进行匹配对齐。
[0122] 数据补全具体指对某些时刻不存在的数据按照预设规则补全,例如A时刻存在Wi‑Fi数据、陀螺仪数据和加速度数据,缺少地磁数据,则按照预设规则补全该地磁数据。其中数据补全使用的预设规则可以是任意可行的规则,本申请对此不做具体限制。当然,实际中电子设备可能不是每个时刻都会采集Wi‑Fi数据和传感器数据,而是按照一定的周期采集Wi‑Fi数据和传感器数据(例如1ms采集一次),所以这里的某些时刻可以是电子设备对Wi‑Fi数据和传感器数据采集的时刻。
[0123] 数据采样具体为将数据层获取的预设时长的数据按照预定的采样规则划分为多组行为数据。示例性的,采样规则是可以以滑动窗口采样的方式进行划分,即按照滑动步长和滑动窗口的长度不断的滑动,从而划分出多组数据。例如,滑动窗口长度为2s,滑动步长为1s,一定时间长度为10s,则最终会得到9组数据,第一组行为数据对应的时间为0‑2s,第二行为组数据对应的时间为1‑3s…第九组行为数据对应的时间为8‑10s。
[0124] 特征提取则为按照一定特征提取规则对每一组数据进行特征提取,从而得到wifi特征和九轴传感器的传感器特征。其中传感器特征可以包括地磁特征、陀螺仪特征和加速度特征。
[0125] 核心算法层包括行为识别模块和电梯纠正模块。其中,行为识别模块包括有提前训练得到的行为识别模型。行为识别模式用于将数据处理层中得到的每组行为数据的wifi特征和传感器特征输入至该行为识别模型,以得到预设时长内用户的行为识别结果和地标l andmark点识别结果。在本申请实施例中,该行为识别结果可以包括多个时间段内用户的行为模式,行为模式可以至少包括:平层状态和上下电梯。实际中,平层状态还可以分为平层静止和平层步行。另外,行为模式根据需求还可以存在上下扶梯和上下楼梯。不同时间段内用户的行为模式可以不同。例如,若预设时长为120s,则行为识别结果可以包括:0‑10s内用户的行为模式为平层步行,10‑50s内用户的行为模式为平层步行,50‑80s内用户的行为模式为上下电梯,80‑120s内用户的行为模式为上下楼梯。l andmark点识别结果则包括预设时长内用户的行为模式产生改变的变化点,或者每个行为模式的起始点和结束点。
[0126] 电梯纠正模块具体用于根据数据层获取的加速度数据每组行为数据进行识别得到电梯识别结果,该电梯识别结果包括上下电梯或非上下电梯。电梯纠正模块还用于依据电梯识别结果对行为识别模块的行为识别结果进行纠正,进而对l andmark点识别结果进行纠正。具体实现在后续实施例中表述,此处不做具体阐述。在本申请实施例中,电梯具体指升降梯,后续所有实施例中同理。
[0127] 输出层则用于将纠正后的行为识别结果和l andmark点识别结果输出。
[0128] 框架层可以为应用程序层的应用程序提供应用编程接口(app l icat  ion programming interface,API)和编程框架。框架层包括一些预先定义的函数。例如可以包括活动管理器、窗口管理器,视图系统,资源管理器,通知管理器,音频服务,相机服务等,本申请实施例对此不做任何限制。
[0129] 在本申请实施例中,若应用程序层中不存在行为识别应用,则该电子设备的框架层中可以存在有具备有该行为识别应用的功能的行为识别服务。该行为识别服务的算法架构则可以参照图5示。
[0130] 系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Med ia Librar ies),OpenGL ES,SGL等。表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。OpenGL ES用于实现三维图形绘图,图像渲染,合成,和图层处理等。SGL是2D绘图的绘图引擎。
[0131] 安卓运行时(android runt ime)包括核心库和虚拟机。android runt ime负责安卓系统的调度和管理。核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
[0132] HAL层是位于操作系统内核与硬件电路之间的接口层,其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,为操作系统提供虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。HAL层提供标准界面,向更高级别的Java API框架(即框架层)显示设备硬件功能。HAL层包含多个库模块,其中每个模块都为特定类型的硬件组件实现一个界面,例如:aud io HAL音频模块,b l uetooth HAL蓝牙模块,camera HAL相机模块,sensors HAL传感器模块(或称为I sensor service,传感器服务)。
[0133] 内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动等,本申请不做限定。其中,传感器驱动具体可以包括电子设备包含的每个传感器的驱动,例如九轴传感器驱动,该九轴传感器驱动可以包括三轴陀螺仪传感器驱动、三轴磁传感器驱动和三轴加速度传感器驱动。
[0134] 示例性的,本申请提供的训练设备可以为服务器,该服务器可以是一台服务器,也可以是多台服务器组成的服务器集群,或者是一个云计算服务中心,本申请对此不做具体限制。
[0135] 示例性的,以训练设备为服务器为例,图6示出了一种服务器的结构示意图。参照图6所示,该服务器包括一个或多个处理器601,通信线路602,以及至少一个通信接口(图6中仅是示例性的以包括通信接口603,以及一个处理器601为例进行说明),可选的还可以包括存储器604。
[0136] 处理器601可以是一个通用中央处理器(centra l process ing un it,CPU),微处理器,特定应用集成电路(app l icat ion‑specific integrated ci rcu it,ASIC),或一个或多个用于控制本申请方案程序执行的集成电路。
[0137] 通信线路602可包括通信总线,用于不同组件之间的通信。
[0138] 通信接口603,可以是收发模块用于与其他设备或通信网络通信,如以太网,RAN,无线局域网(wi re less loca l area networks,WLAN)等。例如,收发模块可以是收发器、收发机一类的装置。可选的,通信接口603也可以是位于处理器601内的收发电路,用以实现处理器的信号输入和信号输出。
[0139] 存储器604可以是具有存储功能的装置。例如可以是只读存储器(read‑on ly memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(e lectr ica l ly erasab le programmab le read‑on ly memory,EEPROM)、只读光盘(compact d i sc read‑on ly memory,CD‑ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过通信线路602与处理器相连接。存储器也可以和处理器集成在一起。
[0140] 其中,存储器604用于存储执行本申请方案的计算机执行指令,并由处理器601来控制执行。处理器601用于执行存储器604中存储的计算机执行指令,从而实现本申请实施例中提供的行为识别模型生成方法。
[0141] 或者,可选的,本申请实施例中,也可以是处理器601执行本申请下述实施例提供的行为识别模型生成方法中的处理相关的功能,通信接口603负责与其他设备(例如电子设备)或通信网络通信,本申请实施例对此不作具体限定。
[0142] 可选的,本申请实施例中的计算机执行指令也可以称之为应用程序代码,本申请实施例对此不作具体限定。
[0143] 在具体实现中,作为一种实施例,处理器601可以包括一个或多个CPU,例如图6中的CPU0和CPU1。
[0144] 在具体实现中,作为一种实施例,服务器可以包括多个处理器,例如图6中的处理器601和处理器607。这些处理器中的每一个可以是一个单核(s ingle‑core)处理器,也可以是一个多核(mu lt i‑core)处理器。这里的处理器可以包括但不限于以下至少一种:中央处理单元(centra l process ing un it,CPU)、微处理器、数字信号处理器(DSP)、微控制器(microcontro l ler unit,MCU)、或人工智能处理器等各类运行软件的计算设备,每种计算设备可包括一个或多个用于执行软件指令以进行运算或处理的核。
[0145] 在具体实现中,作为一种实施例,该服务器还可以包括输出设备605和输入设备606。输出设备605和处理器601通信,可以以多种方式来显示信息。例如,输出设备605可以是液晶显示器(l iqu id crysta l d i sp l ay,LCD),发光二极管(l ight emitt ing d iode,LED)显示设备,阴极射线管(cathode  ray  tube,CRT)显示设备,或投影仪(projector)等。输入设备606和处理器601通信,可以以多种方式接收用户的输入。例如,输入设备606可以是鼠标、键盘、触摸屏设备或传感设备等。
[0146] 上述服务器可以是一个通用设备或者是一个专用设备。例如该服务器可以是台式机、便携式电脑、网络服务器、掌上电脑(persona l d igita l ass i stant,PDA)、移动手机、平板电脑、无线终端设备、嵌入式设备、上述终端设备,上述网络设备、或具有图6中类似结构的设备。本申请实施例不限定服务器的类型。
[0147] 以下实施例中的方法均可以在具有上述硬件结构的电子设备或训练设备中实现。
[0148] 首先,为了本申请提供的行为识别方法的顺利实施,本申请实施例提供一种行为识别模型的生成方法。该方法可以应用于前述实施例中提到的训练设备中。参照图7所示,该方法可以包括S701和S702:
[0149] S701、训练设备获取至少一组样本数据和与样本数据对应的样本行为标签。
[0150] 其中,每组样本数据包括样本行为特征。样本行为特征包括样本传感器特征和样本Wi‑Fi特征。样本行为标签则用于指示行为模式。行为模式可以为平层状态或上下电梯。实际中,平层状态还可以分为平层静止和平层步行。另外,行为模式根据需求还可以为上下扶梯或上下楼梯。
[0151] 其中,样本数据和其对应的样本行为标签对应同一电子设备。至少一组样本数据是训练设备从多个电子设备中获取得到,或者利用多个电子设备获取得到的。每组样本数据均对应单位时长,即样本数据是其对应的电子设备在单位时长内的样本传感器特征和Wi‑Fi特征。
[0152] 实际中,Wi‑Fi信号属于射频信号的一种,而射频信号的衰减与传播距离成正比,信号衰减会使得用户(具体指用户持有的电子设备)在不同楼层(或者不同位置)上可检测到不同的AP集合、或者可检测到来自同一接入点(access point,AP)信号的信号强度产生了符合相应规律的变化,由此可以实现电子设备在楼层中的定位。具体的,定位具体原理是由于射频信号在穿过楼板传播时会发生显著地衰减,以Wi‑Fi信号为例,其在通过50厘米厚的混凝土后存在约29dB的衰减,因而可以利用这样的衰减确定楼层高度。基于此,Wi‑Fi特征是能够作为对用户的行为模式进行识别的数据基础的。但是,由于现代大型建筑物中的情况比较复杂,仅仅依据Wi‑Fi特征来对用户进行行为识别是存在较大的误差的。所以为了更准确的对行为模式进行识别,在获取训练行为识别模型的样本行为特征时,除了需要获取样本Wi‑Fi特征还需要获取能够与用户的动作存在紧密联系的样本传感器特征。例如,九轴传感器(即三轴陀螺仪传感器、三轴磁传感器和三轴加速度传感器)的传感器数据提取得到的传感器特征。
[0153] 样本行为标签可以是在获取样本数据时,现场确定的行为模式。例如若某个样本数据中的样本行为标签为上下电梯,则该样本数据中的样本行为特征则可以是在电子设备处于运行的电梯中采集获取的。
[0154] 在本申请实施例中,为了使得行为识别模型能够适用于各种场景,S701中获取的样本数据可以采集如学校、办公楼、商场等场景中电子设备的采集数据,样本数据的规模至少可以在十万以上。这样一来,样本数据的规模越大,便可以不断的更新训练该行为识别模型,提高模型的泛化能力,使得该行为识别模型针对各种场景下获取的电子设备的数据均可以准确识别用户的行为模式。
[0155] 需要说明的是,行为识别模型的目的是至少能够对用户的行为模式进行识别。具体可以识别几种行为模式是由行为识别模型的架构和样本数据中样本行为标签的种类来定。在本申请实施例中,至少需要对上下电梯和平层状态进行识别。实际中,平层状态可以包括平层步行和平层静止。基于此,上述的所有样本行为标签中至少包括上下电梯和平层状态两类。
[0156] 当然,实际中用户在室内的行为模式至少还可以包括有上下扶梯和上下楼梯。所以,为了更好的对用户进行行为识别,该行为识别模型可以识别的行为模式还可以包括上下楼梯和上下扶梯。这种情况下,上述样本数据中包括的样本行为标签还可以包括上下楼梯和上下扶梯。
[0157] 需要说明的是,本申请中的上下电梯具体指处于通过电梯上楼或下楼的过程中,上下扶梯指处于通过扶梯上楼或下楼的过程中,上下楼梯指处于通过楼梯上楼或下楼的过程中,平层静止指处于平层且未运动,平层步行指处于平层且在步行中。
[0158] 在本申请实施例中,样本行为特征中的样本传感器特征、样本Wi‑Fi特征是通过获取样本电子设备中的Wi‑Fi数据和传感器数据得到的。基于此,以电子设备为样本电子设备为例,S701具体可以包括S7011‑S7013:
[0159] S7011、训练设备获取样本电子设备在预设时长内的样本Wi‑Fi数据集和样本传感器数据集。
[0160] 其中,样本Wi‑Fi数据集包括了样本电子设备在预设时长内的所有Wi‑Fi数据,样本传感器数据集包括了样本电子设备在预设时长内九轴传感器的所有传感器数据。
[0161] Wi‑Fi数据可以为样本电子设备的Wi‑Fi模块所能获取到的所有信息,例如所有检测到的AP信息,AP信号质量信息等。九轴传感器包括三轴陀螺仪传感器、三轴磁传感器和三轴加速度传感器,故该传感器数据可以包括陀螺仪传感器数据、磁传感器数据和加速度传感器数据。陀螺仪传感器数据可以包括陀螺仪传感器检测到的运动方向等,磁传感器数据可以包括磁传感器检测到的地磁数据等,加速度传感器数据可以包括加速度传感器检测到的加速度数据等。
[0162] 在一些实施例中,可以将样本Wi‑Fi数据集和样本传感器数据集统称为样本轨迹数据。示例性的,预设时长可以为120s。
[0163] S7011、训练设备对样本Wi‑Fi数据集和样本传感器数据集进行数据预处理,得到原始样本数据集。
[0164] 通常情况下,在预设时长内,用户可能会存在有多个行为模式,而不同行为模式的发生时长不一,且不同行为模式中可能会存在Wi‑Fi数据和传感器数据相似的情况。如果依据每个时刻的Wi‑Fi数据和传感器数据提取得到的特征作为样本数据,训练行为识别模型,会导致行为识别模型对行为模型的判别存在误差。所以在训练行为模型时,一个样本数据可以是包括了一个时间段(即单位时长)内的Wi‑Fi特征和传感器特征。所以为了方便后续确定单位时间内相互对应(即属于同一时刻)的Wi‑Fi特征和传感器特征,在获取到预设时长内的第一样本Wi‑Fi数据集和第一样本传感器数据集后,需要将属于同一时刻的Wi‑Fi数据和传感器数据进行对齐,并将因为各种原因在某个时刻未能采集到的Wi‑Fi数据或传感器数据进行补全,以得到原始样本数据集。原始样本数据集中则包括有预设时长内匹配对齐且补全后的所有Wi‑Fi数据和传感器数据。
[0165] 基于此,本申请中数据预处理可以包括数据对齐和数据补全。其中,数据对齐和数据补全可以参照前述实施例中针对图5的描述中的相关内容,此处不再赘述。
[0166] S7012、训练设备按照预设采样方式对原始样本数据集进行采样,以获取至少一组待定样本数据。
[0167] 其中,每组待定样本数据对应的时间长度均为单位时长。
[0168] 实际中,用户在处于某个行为模式下时,可能会存在某个时刻有不属于该行为模式下的特殊动作,导致该时刻的传感器数据存在异常。例如,用户处于上下电梯这一行为模式下时,进行挥臂,导致加速度数据产生较大变化。为了尽量避免这些特殊动作造成最终训练得到的行为识别模型的识别结果不够准确,在本申请实施例提供的技术方案中可以让相邻两次采样得到的两组待定样本数据中可以存在有部分相同的数据。这样一来,即便某组待定样本数据进行特征提取后得到的样本数据所能表征的行为模式存在错误,那么其后的一个待定样本数据进行特征提取后得到的样本数据所能表征的行为模式则大概率不会出错。进而最终训练得到的行为识别模型的识别能力也就更为准确。
[0169] 基于上述表述,在本申请实施例中,这里获取至少一组待定样本数据采用的预设采样方式可以是滑窗采样。其中,滑窗采样的特征参数中滑动窗口的长度可以为单位时长,滑动窗口的滑动步长则可以为一半的单位时长。
[0170] 该单位时长则可以接近每个行为模式对应的能够表明行为模式特点的数据集(多个Wi‑Fi数据和多个传感器数据组成)对应的时间长度中的最大值。所有行为模式中,上下电梯这一行为模式中,会存在电梯启动后短暂加速,电梯停止前短暂减速的情况,而其余行为模式则整个过程的特点都类似。也就是说前述的“时间长度中的最大值”可以为电梯启动后短暂加速或电梯停止前短暂减速的时间长度。基于此,单位时长可以为接近电梯启动后短暂加速或电梯停止前短暂减速的时长。另外,实际中电梯启动后短暂加速的时长和电梯停止前短暂减速的时长可以相同,为2‑4s。
[0171] 示例性的,以单位时长为2.56s,预设时长为10s为例,参照图8中(a)所示,在采用滑动窗按照时间顺序采样时。首先滑动窗口会处于10s中的0‑2.56s,其可以囊括10s的原始样本数据集中属于0‑2.56s的数据,将0‑2.56s的数据作为第一组待定样本数据;之后,将滑动窗口按照时间顺序移动一个滑动步长即1.28s,此时滑动窗口则可以囊括10s的原始样本数据集中属于1.28‑3.84s的数据,将1.28‑3.84s的数据会作为第二组待定样本数据。之后,依次将滑动窗口按照时间顺序移动一个滑动步长,则可以得到:2.56‑5.12s的数据为第三组待定样本数据,3.84‑6.4s的数据为第四组待定样本数据,5.12‑7.68s的数据为第五组待定样本数据,6.4‑8.96s的数据为第六组待定样本数据,7.68‑10s的数据为第七组待定样本数据。
[0172] S7013、训练设备对至少一组待定样本数据进行特征提取,得到至少一组样本数据。
[0173] 在训练设备获取待定样本数据后,为了方便后续模型的训练,可以进一步对带你规定样本数据进行特征提取,得到包括样本行为特征的样本数据,方便作为训练数据训练行为识别模型。
[0174] 其中,对待定样本数据进行特征提取的方式可以是任意可行的方式,例如依据特征提取模型提取特征或者采用特定特征提取算法提取特征。
[0175] 基于上述S7011‑S7013的技术方案,便可以顺利得到至少一组样本数据,为后续训练行为识别模型提供了数据支持。
[0176] S702、训练设备以至少一组样本数据作为训练数据,样本数据对应的样本行为标签作为监督信息,迭代训练初始行为识别模型,得到训练后的行为识别模型。
[0177] 其中,初始是被模型的框架可以采用极端梯度提升(eXtreme Grad ient Boost ing,XGBoost)架构,也可以采用l ightGBM(l ight grad ient boost ing mach ine)架构,或者其他任意可行的模型架构。
[0178] S702具体可以包括如下步骤:
[0179] 1、初始化初始行为识别模型。
[0180] 其中,初始化初始行为识别模型具体可以是依据任意可行的初始化方法初始化该初始行为识别模型中的权值参数和偏置参数等参数。常用的初始化方法有四种,分别是高斯初始化、Xavier初始化、MSRA初始化和He初始化。一般都是把偏置参数初始化为0,对权值参数进行随机初始化。具体的初始化过程本申请不再详细介绍。
[0181] 此外,在初始化初始行为识别模型时,会根据训练人员的使用经验设置初始行为识别模型中的超参数。超参数为训练过程中不会产生改变的模型参数。示例性的,以初始行为识别模型采用XGBoost架构为例,其初始化后的超参数及其含义可以如下表1所示。
[0182] 表1‑初始行为识别模型参数表
[0183]
[0184]
[0185] 其中,类别数量可以决定该初始行为识别模型可以对集中行为模式进行识别,具体取值可以根据需求而定。
[0186] 2、训练设备将样本数据输入初始行为识别模型,得到样本行为模式。
[0187] 2步骤中的样本数据为至少一组样本数据中的任一组。
[0188] 3、训练设备根据样本行为模式和样本数据对应的样本行为标签,确定损失值。
[0189] 其中,损失值具体可以是依据任意可行的损失函数得到的。例如均值平方差(mean squared error,MSE),MSE具体是计算预测值(预测控制决策)和真实值(样本控制决策)之间的欧氏距离。本申请对此不做具体限制。
[0190] 4、根据损失值迭代更新初始行为识别模型,以得到行为识别模型。
[0191] 该步骤具体可以是依据损失值更新初始行为模型中的权重参数和偏置参数等。在每次更新后,则重复执行2‑4步骤,直至损失值小于预设阈值。每次重复执行时,输入至初始行为识别模型中的样本数据可以不同。将损失值小于预设阈值时的初始行为识别模型作为训练后的行为识别模型。预设阈值可以是依据经验得出的,可以认为在损失值小于预设阈值的情况下,该行为识别模型对行为模式的识别误差属于可接受的范围。
[0192] 在一些实施例中,训练设备可以在Train模式下对行为识别模型进行训练。在train模式下可以采用五折交叉验证算法对行为识别模型进行训练并验证。其中,五折交叉验证算法具体指将训练数据分为五份,四份作为训练集进行训练,一份作为验证集对训练好的行为识别模型进行验证。也就是说训练设备获取到至少一组样本数据和与样本数据对应的样本行为标签后,会将至少一组样本数据及其对应的样本行为标签分成五份,四份作为训练集采用上述1‑4的步骤进行训练,另一份则对训练得到的行为识别结果进行验证。
[0193] 验证一次后,则重新打乱样本数据后分成五份,从五份数据中重新选取四份作为训练集进行训练,另一份作为验证集进行验证。该过程重复多次后,若验证结果符合预期,则使用SaveMode l模式存储训练好的行为识别模型。五折交叉验证算法中上述过程的打乱由提前设置的打乱次序shuff le决定。但是在本申请中,考虑到不同电子设备的异构性以及样本数据的时空差异,在五折交叉验证中将Shuff le置为Fa l se,即不对数据集(即至少一组样本数据)进行打乱,而是按照数据集输入顺序进行训练和验证,此情形下,训练的四折数据和验证的单折数据会有比较大的设备异构性和时空差异,可以更加准确的观察模型的泛化能力。
[0194] 基于上述S701和S702对应的技术方案,可以通过监督学习的方式,训练得到行为识别模型。该行为识别模型则具备利用Wi‑Fi特征和传感器特征确定行为模式的能力。后续实施例提供的行为识别方法便可以利用该行为识别模型对用户的行为模式进行识别。
[0195] 需要说明的是,在上述实施例以及后续的实施例中,以行为识别模型具备利用Wi‑Fi特征和传感器特征至少确定平层状态和上下电梯两种行为模式的能力为例进行了相关说明。
[0196] 但实际中,该行为识别模型可以具备利用Wi‑Fi特征和传感器特征确定五种行为模式的能力。其中,五种行为模式包括:平层步行、平层静止、上下电梯、上下扶梯、上下楼梯。前述的平层状态可以包括平层步行和平层静止。若行为识别模型需要具备识别该五种行为模式的能力,则前述行为模式训练过程中,在获取样本数据和样本行为标签时,则会获取对应这五种行为模式的样本数据和样本行为标签,同时适应性调整其他相关内容,从而可以训练得到具备识别该五种行为模式的能力的行为识别模型。当然,之后的实施例中使用的行为识别模型则也会具备有识别五种行为模式的能力。此外,在这种情况下,后续实施例中目标行为识别结果中某组行为数据(或者行为特征)对应的行为模式若为平层状态,则该平层状态据具体可以是平层步行或平层静止。后续不再对此情况做具体说明。
[0197] 下面结合附图对本申请实施例提供的行为识别方法就进行介绍。
[0198] 本申请提供一种行为识别方法可以应用如图1所述的行为识别系统中的电子设备中,参照图9所示,该行为识别方法的流程可以包括S901‑S919:
[0199] S901、电子设备获取预设时长内的传感器数据集和Wi‑Fi数据集。
[0200] 在电子设备中的行为识别应用被启动的情况下,电子设备便可以开始实施该行为识别方法(具体可以是由行为识别应用实施)。即可以开始执行S901。
[0201] 其中,传感器数据集包括电子设备在预设时长内的所有传感器数据,Wi‑Fi数据集则包括电子设备在预设时长内的所有Wi‑Fi数据。
[0202] 其中,传感器数据具体可以包括电子设备中的九轴传感器的传感器数据。九轴传感器可以包括三轴陀螺仪传感器、三轴磁传感器和三轴加速度传感器。传感器数据可以包括:三轴陀螺仪传感器检测得到的陀螺仪数据、三轴磁传感器检测得到的地磁数据和三轴加速度传感器检测得到的加速度数据。
[0203] 在本申请实施例中,上述S901可以由如图5所示的数据层实施。
[0204] S902、电子设备对传感器数据集和Wi‑Fi数据集进行数据预处理,得到待定行为数据集。
[0205] 其中,数据预处理可以包括数据对齐和数据补全。数据对齐和数据补全可以参照前述实施例中针对图5的描述中的相关内容,此处不再赘述。
[0206] 通常情况下,在预设时长内,用户可能会存在有多个行为模式,而不同行为模式的发生时长不一,且不同行为模式中可能会存在Wi‑Fi数据和传感器数据相似的情况。如果依据每个时刻的Wi‑Fi数据和传感器数据提取得到的特征作为行为特征,输入行为识别模型,会导致行为识别模型对行为模型的判别存在误差。所以输入行为识别模型的行为特征应当是单位时长内的Wi‑Fi数据和传感器数据提取得到的行为特征。所以要实施上述S902。
[0207] 此外,参照前述实施例中行为识别模型的生成方法的相关表述,如果要正常使用行为识别模型,也需要实施上述S902,以保证行为识别模型可以对行为模式进行正确识别。
[0208] 在本申请实施例中,S902可以由如图5所示的数据处理层实施
[0209] S903、电子设备按照预设采样方式对待定行为数据集进行采样,以获取多组行为数据。
[0210] 其中,每组行为数据对应的时间长度为单位时长。每组行为数据中包括有该行为数据对应的时间段内的Wi‑Fi数据和传感器数据。每组行为数据中成对的Wi‑Fi数据和传感器数据可以是按照时间顺序存在的。单位时长的大小和设置原因可以参照前述实施中S7012后的相关表述,此处不再赘述。
[0211] 实际中,用户在处于某个行为模式下时,可能会存在某个时刻有不属于该行为模式下的特殊动作,导致该时刻的传感器数据存在异常。例如,用户处于上下电梯这一行为模式下时,进行挥臂,导致加速度数据产生较大变化。为了尽量避免由这些特殊动作对应的行为数据得到的行为特征,输入行为识别模型导致识别结果不准确。相邻两次采样得到的两组行为数据中可以存在有部分相同的数据。这样一来,即便某组行为数据进行特征提取后得到的行为特征所能表征的行为模式存在错误,那么其后的一个行为数据进行特征提取后得到的行为特征所能表征的行为模式则大概率不会出错。进而将由至少一组行为数据得到的行为特征输入行为识别模型得到的行为识别结果和l andmark点识别结果也就错误更少。
[0212] 基于上述表述,这里的预设采样方式可以是滑窗采样。示例性的,滑窗采样的特征参数中滑动窗口的长度可以为单位时长,滑动窗口的滑动步长则可以为一半的单位时长。滑窗采样按照时间顺序采样的实现方式可以如图8中(a)所示,具体表述可以参照前述实施例中S7012后对图8的表述。
[0213] 参照前述实施例中S7012后的相关比表述,单位时长可以为接近电梯启动后短暂加速或电梯停止前短暂减速的时长。
[0214] 在本申请实施例中,S903可以由前述实施例中如图5所示的数据处理层实施。
[0215] S904、电子设备对多组行为数据进行特征提取,以获取多组行为特征。
[0216] 其中,行为特征和行为数据一一对应,即每一组行为数据均为通过特征提取得到一组行为特征;这里每组行为特征包括该组行为特征所属时间段内的Wi‑Fi特征和传感器特征。对行为数据进行特征提取的方式可以是任意可行的方式,例如依据特征提取模型提取特征或者采用特定特征提取算法提取特征。
[0217] 在本申请实施例中,S903可以由前述实施例中如图5所示的数据处理层实施。
[0218] S905、电子设备基于多组行为特征和行为识别模型,得到目标行为识别结果和目标l andmark点识别结果。
[0219] 示例性,S905可以是电子设备将多组行为特征输入行为识别模型,得到目标行为识别结果和目标l andmark点识别结果。目标行为识别结果可以包括多组行为特征中每组行为特征对应的行为模式。每组行为特征对应的行为模式具体指该组行为特征所属时间段内用户的行为模式。目标l andmark点识别结果则包括预设时长内行为模式改变的时刻,或者每种行为模式的起始点(或起始时刻)和结束点(或结束时刻)。其中,这里的行为识别模型则为前述实施例中提供的行为识别模型的生成方法得到的行为识别模型。该行为识别模型具备利用Wi‑Fi特征和传感器特征确定行为模式的能力。
[0220] 示例性的,以多组行为特征包括10组行为特征,行为识别模型可以识别的行为模式包括平层状态和上下扶梯,用0代表平层状态,用2代表上下电梯。行为识别模型对该10组行为特征的识别结果可以如图10所示,按照时间顺序可以依次为0000222200。那么目标行为识别结果即为0000222200,目标l andmark点识别结果则为:第一个平层状态的起始点为第一组行为特征对应的时间段的起始时刻,第一个平层状态的结束点为第四组行为特征对应的时间段的结束时刻,上下电梯的起始点为第五组行为特征对应的时间段的起始时刻,上下电梯的结束点为第八组行为特征对应的时间段的结束时刻,第二个平层状态的起始点为第九组行为特征对应的时间段的起始时刻,第二个平层状态的结束点为第十组行为特征对应的时间段的结束时刻。
[0221] 在本申请实施例中,S905可以由前述实施例中如图5所示的核心算法层中的行为识别模块实施。
[0222] 在一些实施例中,在利用滑窗采样的方式对待定行为数据集进行采样的情况下,那么若预设时长不为滑动窗口的长度的整数倍,则会存在一个数据量较少的一组行为数据,该组行为数据对应的行为特征输入至行为识别模型中的识别结果可能会存在误差。基于此,为了避免该误差,也为了使得电子设备得到的预设时长内用户的行为识别结果和l andmark点识别结果更准确,电子设备可以采用滑窗采样的方式先按照时间顺序对待定行为数据集进行采样得到至少一组正向行为数据,再采用滑窗采样的方式先按照时间逆序对待定行为数据集进行采样得到至少一组反向行为数据。
[0223] 采用滑窗采样的方式先按照时间顺序采样的实现方式可以如前述实施例中针对图8中(a)的相关表述。示例性的,以单位时长为2.56s,预设时长为10s为例,参照图8中(b)所示,在采用滑动窗按照时间逆序采样时。首先滑动窗口会处于10s中的7.44‑10s,其可以囊括10s的待定行为数据集中属于7.44‑10s的数据,将7.44‑10s的数据作为第一组行为数据;之后,将滑动窗口按照时间逆序移动一个滑动步长即1.28s,此时滑动窗口则可以囊括10s的待定行为数据集中属于6.16‑8.72s的数据,将6.16‑8.72s的数据会作为第二组行为数据。之后,依次将滑动窗口按照时间逆序移动一个滑动步长,则可以得到:4.88‑7.44s的数据为第三组行为数据,3.6‑6.16s的数据为第四组行为数据,2.32‑4.88s的数据为第五组行为数据,1.04‑3.6s的数据为第六组行为数据,0‑2.32s的数据为第七组行为数据。
[0224] 之后,对至少一组正向行为数据和至少一组反向行为数据进行特征提取,以得到至少一组正向行为特征和至少一组反向行为特征。再然后,将至少一组正向行为特征输入行为识别模型中,以得到预设时长内用户的第一行为识别结果;将至少一组反向行为特征输入行为识别模型中,以得到预设时长内用户的第二行为识别结果。然后,再利用特定融合规则将第一行为识别结果和第二行为识别结果进行融合,得到目标行为识别结果,并根据该目标行为识别结果确定目标l andmark点识别结果。其中,第一行为识别结果和第二行为识别结果进行融合时,是将两者包括的每一组行为特征的识别结果按照时间顺序排序后进行融合。也就是说,若第一行为识别结果中包括的每一组行为特征的识别结果按照时间顺序排序后为ABCD,第二行为识别结果中包括的每一组行为特征的识别结果按照时间顺序排序后为EFGH,则目标行为识别结果按照时间顺序则依次包括:A与E的融合结果,B与F的融合结果,C与G的融合结果,D与H的融合结果。
[0225] 示例性的,以至少一组正向行为特征和至少一组反向行为特征均包括10组行为特征,行为识别模型可以识别的行为模式包括平层状态和上下电梯,用0代表平层状态,用2代表上下电梯为例。行为识别模型对该10组正向行为特征的识别结果可以如图11中(a)所示,按照时间顺序可以依次为0002222000。那么正向行为识别结果即为0002222000。行为识别模型对该10组反向行为特征的识别结果可以如图11中(b)所示,按照时间顺序可以依次为0000222000。那么反向行为识别结果即为0000222000。若融合规则为:排序相同的两个识别结果均为上下电梯,则融合结果为上下电梯;排序相同的两个识别结果不相同,则融合结果为平层状态。那么目标行为识别结果则可以如图11中(c)所示,具体为0000222000。那么,目标l andmark点识别结果则为:第一个平层状态的起始点为第一组行为特征对应的时间段的起始时刻,第一个平层状态的结束点为第四组行为特征对应的时间段的结束时刻,上下电梯的起始点为第五组行为特征对应的时间段的起始时刻,上下电梯的结束点为第七组行为特征对应的时间段的结束时刻,第二个平层状态的起始点为第八组行为特征对应的时间段的起始时刻,第二个平层状态的结束点为第十组行为特征对应的时间段的结束时刻。
[0226] 基于上述表述,结合图9,参照图12所示,S903可以包括S9031和S9032,S 904可以包括S904A,S905可以包括S9051‑S9053。
[0227] S9031、电子设备采用滑窗采样按照时间顺序对待定行为数据集进行采样,以获取至少一组正向行为数据。
[0228] S9032、电子设备采用滑窗采样按照时间逆序对待定行为数据集进行采样,以获取至少一组反向行为数据。
[0229] S904A、电子设备对至少一组正向行为数据和至少一组反向行为数据进行特征提取,以获取至少一组正向行为特征和至少一组反向行为特征。
[0230] S9051、电子设备将至少一组正向行为特征输入行为识别模型,以得到正向行为识别结果。
[0231] 其中,正向行为识别结果包括至少一组正向行为特征中每组正向行为特征对应的行为模式。
[0232] S9052、电子设备将至少一组反向行为特征输入行为识别模型,以得到反向行为识别结果。
[0233] 其中,反向行为识别结果包括至少一组反向行为特征中每组反向行为特征对应的行为模式。
[0234] S9053、电子设备按照预设融合规则将正向行为识别结果和反向行为识别结果进行融合,以得到目标行为识别结果,并根据目标行为识别得到目标l andmark点识别结果。
[0235] 这种情况下,目标行为识别结果中则包括有的行为模式对应的行为特征则可以理解为正向行为特征和反向行为特征融合(实际并未进行融合)得到的行为特征。
[0236] 基于如图12所示的方案,便可以利用行为识别模型得到更为准确的目标行为识别结果和,目标l andmark点识别结果。
[0237] 在利用行为识别模型得到目标行为识别结果和,目标l andmark点识别结果后,考虑到行为识别模型针对的传感器种类较少,识别结果可能不够准确。而实际中,用户在走路时由于人体步行的周期性比较明显基本不会出现超过一个连续单位时长的小幅度超失重(即等效重力加速度处于预设范围)。而人体在处于上下电梯这一行为模式中时,实际上大多情况下为一种静止状态,人跟随电梯的运行所展现出小幅度超重(失重)——匀速行驶——小幅度失重(超重)的运动状态,而这种特殊的状态在人其他的日常行为中时非常难以出现的,特别是维持2‑4s(即电梯启动后加速或者电梯停止前减速的时长)的连续小幅度超失重。所以,通过确定每组行为数据中对应小幅度超失重的连续第一加速度数据占所有加速度数据的占比,能准确识别出人是否在电梯上,进而可以对行为识别模型确定出的目标行为识别结果和目标l andmark点识别结果进行纠正。基于此,本申请还设计了基于加速度的行为模式确定流程,即后续的S906‑S913。
[0238] S906、电子设备根据每组行为数据中的加速度数据,确定每组行为数据中第一加速度数据的数量占该组行为数据中所有加速度数据总数的第一占比。
[0239] 其中,在每组行为数据的所有第一加速度数据中,对于任一所述第一加速度数据而言,在该组行为数据中存在另一第一加速度数据与所述任一所述第一加速度数据连续;也就是说,每组行为数据中的任一第一加速度数据都至少与其他第一加速度数据存在时间上连续的关系。两个第一加速度数据存在时间上连续指该两个第一加速度数据对应的采集时间是连续的,两者的采集时刻之间不存在其他加速度数据的采集时刻。
[0240] 或者,上述S906的内容可以阐述为:电子设备根据多组行为数据中每组行为数据中的加速度数据,确定每组行为数据的第一占比;第一占比为目标行为数据中第一加速度数据的数量占目标行为数据中所有加速度数据总数的第一占比;第一加速度数据的等效重力加速度处于预设范围,且对于目标行为数据中的任一第一加速度数据存在另一第一加速度数据与任一第一加速度数据连续;目标行为数据为第一占比所属的一组行为数据。
[0241] 具体的,电子设备可以根据加速度数据中重力方向上的加速度来确定等效重力加速度。
[0242] 在本申请实施例中,等效重力加速度处于预设范围即可以称为小幅度超失重[0243] 实际中,上下电梯这一行为模式中若用户在电梯中不做动作,则用户的超失重是存在上下界阈值的,该上下界阈值指电梯启动过程中超重的上下界和失重的上下界的值(或停止过程中超重的上下界和失重的上下界)。所以可以据此与平层状态等行为模式进行区分。在实验中发现上下电梯过程中的超重(失重)对应的等效重力加速度与平层静止的等效重力加速度相比,要稍微大(小)一些;但与平层状态等的效重力加速度相比,要稍微小(大)一些。通过大量数据统计与分析,超重下界对应的等效重力加速度为10.05,超重上界对应的等效重力加速度为11.3,失重下界对应的等效重力加速度为8.9,失重上界对应的等效重力加速度为9.5时为比较合理的阈值。
[0244] 也就是说,在本申请中,示例性的,预设范围包括预设超重范围和预设失重范围,预设超重范围为(10.05,11.3),预设失重范围为(8.9,9.5),在某个加速度数据的等效重力加速度属于(10.05,11.3)或(8.9,9.5)时,则将该加速度数据作为待选第一加速度数据;若存在多个待选第一加速数据在其所述的行为数据中,在时间顺序上连续,则将该多个待选第一加速数据均确定为第一加速度数据。
[0245] 在本申请实施例中,S906可以由前述实施例中如图5所示的核心算法层中的电梯纠正模块实施。
[0246] S907、电子设备判断多组行为数据是否存在连续的多组第一行为数据中第一占比均大于预设占比。
[0247] 示例性的,预设占比可以为2.7%。连续的多组第一行为数据指在时间顺序上连续的多组行为数据。也就是说,若采用滑窗采样的方式先按照时间顺序对待定行为数据集采样,则连续多次的采样得到的多组行为数据即为连续的行为数据。S907中的多组第一行为数据中的多组值两组或两组以上。在多组行为数据中可以存在不连续的多个第一超失重行为数据,第一超失重行为数据为连续的多组第一行为数据组成的结合。多组第一行为数据中的多组为两组或两组以上。
[0248] 在某组行为数据的第一占比大于预设占比的情况下,可以认为该组行为数据对应的单位时长内存在某个连续时间段内用户的等效重力加速度符合上下电梯这一行为模式的特征。也就是说,该组行为数据可以被认为大概率属于上下电梯这一行为模式中的行为数据,该组行为数据对应的单位时长内用户的行为模式也可以被大概率认为属于上下电梯。
[0249] 进一步的,可以理解的,因为电梯一次运行过程中的加速过程或减速过程的时长为2‑4s,而一组样本数据对应的单位时长是在该范围内的。而如果用户在平层状态这一行为模式下的某个单位时长内进行一些影响其等效重力加速度的动作(例如抬臂,走动等),则会导致电子设备利用该单位时长内的行为数据对应的第一占确定出该行为数据对应的行为模式为上下电梯。而该确定结果是存在偏差的。所以,为了更准确的确定上下电梯这一行为模式中电梯加速或电梯减速对应的样本数据,只要在确定连续的多组第一样本数据的第一占比均大于预设占比时,才可以更大概率的确定的认为该多组第一样本数据对应的时间段内用户的行为模式为上下电梯。
[0250] 也就是说,电子设备在确定多组行为数据存在连续的多组第一行为数据中第一占比均大于预设占比的情况下,继续对该多组第一行为数据对应的时间段内用户的行为模式进行判断,即执行S909。电子设备在确定多组行为数据不存在连续的多组第一行为数据中第一占比均大于预设占比的情况下,将所有组的行为数据对应的时间段内(即预设时长)用户的行为模式确定为平层状态,即执行S908。
[0251] 需要说明的是,实际中可以不存在上述S907这一判断步骤,电子设备可以在确定多组行为数据是否存在连续的多组第一行为数据中第一占比均大于预设占比的情况下,执行S909;在确定多组行为数据是否不存在连续的多组第一行为数据中第一占比均大于预设占比的情况下,执行S908即可。
[0252] 需要说明的,因为加速度数据无法对平层状态或者上下扶梯或者上下楼梯进行判断,所以将确定不是上下楼梯的行为模式确定为平层状态。
[0253] 由于实际中用户的动作无法确定,该预设占比可以根据大量的数据总结得出,例如为2.7%。以预设占比为2.7%,某组行为数据中加速度数据总共有100条为例,若该组行为数据中存在连续的5个加速度数据对应的等效重力加速度均处于预设范围,则将该五个加速速度数据成为第一加速度数据。此时第一加速度数据占所有加速度数据的第一占比为5%,大于预设占比2.7%。
[0254] S908、电子设备确定多组行为数据中每个行为数据对应的行为模式为平层状态。
[0255] S908后执行S913。
[0256] 示例性的,参照图13所示,图13展示了实际中某个电梯在运行过程中等效重力加速度的变化情况。其中纵坐标为等效重力加速度,横坐标为时间,位于波形图中上方的两条横向直线为小幅度超重的上下界线,位于波形图中下方两条横向直线为小幅度失重的上下界线。可以看出其中存在一个明显的规律:小幅度的超失重情况一般成对存在,即出现一次小幅度超重后,紧跟着出现的则为小幅度失重。基于此,在S907后,若电子设备在确定多组行为数据是否存在连续的多组第一行为数据中第一占比均大于预设占比的情况下,继续对该多组第一行为数据对应的时间段内用户的行为模式进行判断时,可以通过判断超失重情况是否成对出现来确定多组行为数据中是否存在某些行为数据对应的时间段内用户的行为模式为上下电梯。即执行后续的S909‑S913。
[0257] S909、电子设备判断第一超失重行为数据中的第一加速度数据的等效重力加速度是否属于预设超重范围。
[0258] 其中,第一超失重行为数据为连续的多组第一行为数据的集合。电子设备判断第一超失重行为数据中的第一加速度数据是否属于预设超重范围,即判断第一超失重行为数据中所有等效重力加速度处于预设范围且连续的第一加速度数据的等效重力加速度是属于小幅度超重范围还是属于小幅度失重范围。
[0259] 在电子设备确定第一超失重行为数据中的第一加速度数据的等效重力加速度属于预设超重范围,则电子设备可以将第一超失重行为数据确定为第一超重行为数据,即执行S910;在电子设备确定第一超失重行为数据中的第一加速度数据的等效重力加速度不属于预设超重范围,则电子设备可以将第一超失重行为数据确定为第一失重行为数据,即执行S911。
[0260] 需要说明的是,实际中可以不存在上述S909这一判断步骤,电子设备可以在确定第一超失重行为数据中的第一加速度数据的等效重力加速度属于预设超重范围的情况下,执行S910;在确定第一超失重行为数据中的第一加速度数据的等效重力加速度不属于预设超重范围的情况下,执行S911即可。
[0261] 另外,因为前述采样得到行为数据时便考虑了每个行为数据对应的时长以及时间顺利上相邻的两个行为数据的重合程度,所以多组第一行为数据组成的第一超失重行为数据中,所有的第一加速度数据大概率属于同一范围,即要么都属于预设超重范围,要么都属于预设失重范围。若出现第一超失重行为数据中,所有的第一加速度数据不属于同一范围,则可以将对应第一角速度数据更多的某个范围确定为该第一超失重行为数据中的第一加速度数据的等效重力加速度属于的范围。例如,若某个第一超失重行为数据中存在6个第一加速度数据属于预设超重范围,2个第一加速度数据属于预设失重范围,则认为该第一超失重行为数据中的第一加速度数据的等效重力加速度属于预设超重范围。
[0262] S910、电子设备将第一超失重行为数据确定第一超重行为数据。
[0263] S911、电子设备将第一超失重行为数据确定第一失重行为数据。
[0264] S912、电子设备基于第一超重行为数据和第一失重行为数据,确定预设时长内多组行为数据中每组行为数据对应的行为模式。
[0265] 其中,行为数据对应的行为模式即行为数据所属时间段内用户的行为模式。
[0266] 在电子设备确定了第一超失重行为数据中的第一超重行为数据和第一失重行为数据后,便可以基于第一超重行为数据和第一失重行为数据是否成对来确定每组行为数据对应的行为模式。
[0267] S912后执行S913。
[0268] 示例性的,结合图9,参照图14所示,S912具体可以包括S9121和S9122:
[0269] S9121、若存在第二超重行为数据和第二失重行为数据成对;则电子设备将第二超重行为数据中的行为数据、第二失重行为数据中的行为数据,和时间顺序上第二超重行为数据与第二失重行为数据之间的行为数据对应的行为模式确定为上下电梯。
[0270] 其中,在时间顺序上第二超重行为数据和第二失重行为数据之间不存在第三超重行为数据或第三失重行为数据。第二超重行为数据和第三超重行为数据属于第一超重行为数据,第二失重行为数据和第三失重行为数据属于第一失重行为数据。
[0271] 示例性的,参照图15中(a)所示,以预设时长内的多组行为数据包括10组行为数据,且按照时间顺序排序依次为:A、B、C、D、E、F、G、H、I、J;其中,A和B均为第一占比大于预设占比的第一行为数据,D和E均为第一占比大于预设占比的第一行为数据,AB组合形成第一超重行为数据,DE组合形成第一失重行为数据。那么,则可以将A、B、C、D、E所属时间段内用户的行为模式为上下电梯。
[0272] S9122、若存在第四超重行为数据不与任一第一失重行为数据成对,则电子将第四超重行为数据中的行为数据对应的行为模式确定为错误。
[0273] 其中,第四超重行为数据属于第一超重行为数据。第四超重行为数据不与任一第一失重行为数据成对具体指:所有行为数据中,在时间顺序上第四超重行为数据之后的下一个第一超失重行为数据具体为第一超重行为数据,或者第四超重行为数据之后不存在下一个第一超失重行为数据。
[0274] 如果某个第一超重行为数据(即第四超重行为数据)不与其他任意第一失重行为数据成对,则表明该第四超重行为数据对应的时间段内用户出现了小幅度超重,但又没有小幅度失重与其对应。也就是说,用户可能在电梯中进行了朝向重力反方向的加速过程,但是又没对应的减速过程。所以此时不能准确的确定该第四超重行为数据对应的时间段内用户是否处于上下电梯这一行为模式,也不能确定用户是否处于平层状态。所以这里可以认为该第四超重行为数据中的行为数据对应的行为模式为错误。
[0275] 示例性的,参照图15中(b)所示,以预设时长内的多组行为数据包括10组行为数据,且按照时间顺序排序依次为:A、B、C、D、E、F、G、H、I、J;其中,A和B均为第一占比大于预设占比的第一行为数据,D和E均为第一占比大于预设占比的第一行为数据,AB组合形成第一超重行为数据,DE组合也形成第一超重行为数据。那么,则可以将A、B、D、E所属时间段内用户的行为模式为错误。
[0276] S9123、若存在第四失重行为数据不与任一第一超重行为数据成对,则电子将第四失重行为数据中的行为数据对应的行为模式确定为错误。
[0277] 其中,第四失重行为数据属于第一失重行为数据。与S9122的情况同理,如果某个第一失重行为数据(即第四失重行为数据)不与其他任意第一超重行为数据成对,则表明该第四失重行为数据对应的时间段内用户出现了小幅度失重,但又没有小幅度超重与其对应。也就是说,用户可能在电梯中进行了朝向重力方向的加速过程,但是又没对应的减速过程。所以此时不能准确的确定该第四失重行为数据对应的时间段内用户是否处于上下电梯这一行为模式,也不能确定用户是否处于平层状态。所以这里可以认为该第四失重行为数据中的行为数据对应的行为模式为错误。
[0278] S9124、电子设备将多组行为数据中除电梯行为数据和错误行为数据以外的行为数据对应的行为模式确定为为平层状态。
[0279] 其中,电梯行为数据对应的行为模式为上下电梯,错误行为数据对应的行为模式为错误。
[0280] S913、电子设备将设时长内所有行为数据对应的行为模式确定为纠正识别结果。
[0281] 在本申请实施例中,S906‑S913可以由前述实施例中如图5所示的核心算法层中的电梯纠正模块实施。
[0282] 需要说明的是,S906‑S913可以与S904‑S905同时执行,也可以在S904之前执行,还可以在S905之后执行,还可以在S904之后S905之前执行,只要保证S914之前,S905和S913均已执行完成即可。本申请对此不做具体限制。
[0283] 示例性的,上述S906‑S913可以由如图5所示的核心算法层中的电梯纠正模块实施。
[0284] 基于上述S906‑S913对应的技术方案,电子设备便可以依据加速度数据确定出预设时长内每组行为数据对应的行为模式。为后续目标行为识别结果和目标l andmark点识别结果的纠正提供了数据支持。
[0285] 在电子设备利用行为识别模型得到目标行为识别结果和目标l andmark点识别结果,且利用加速度数据对预设时长内行为数据对应的行为模式进行了识别,确定了预设时长内每组行为数据对应的行为模式。则之后,电子设备可以利用加速度确定的纠正识别结果对目标行为识别结果进行修正,并根据修正后的目标行为识别结果确定修正后的目标l andmark点识别结果,以得到修正后的目标行为识别结果和修正后的l andmark点识别结果。即在S913之后,参照图9所示,该行为识别方法还包括S914‑S919:
[0286] S914、电子设备将所述纠正识别结果中可选行为数据对应的行为模式修正为上下电梯,以得到更新纠正识别结果。
[0287] 其中,可选行为数据为多组行为数据中,对应的行为模式为上下电梯且在时间顺序上不连续的两个行为数据之间的行为数据。
[0288] S914的意义在于,实际中电梯在运行过程中可能会存在再某个楼层停止等人的情况,所以对应的行为模式为上下电梯的两个行为数据若在时间顺序上不连续,则两者之间的行为数据对应的行为模式,也应当被认为是上下电梯。当然,若纠正识别结果中所有行为数据对应的行为模式均为平层状态,或者对应的行为模式为上下电梯的两个行为数据之间不存在其他行为数据,则更新纠正识别结果和纠正识别结果相同。
[0289] 在本申请实施例中,上述S914可以由如图5所示的核心算法层中的电梯纠正模块实施。
[0290] 示例性的,以4代表平层状态,用2代表上下电梯4为例,若目标行为识别结果中包括六个行为特征对应的行为模式按照时间顺序依次为422422,则执行上述S914后得到的更新纠正识别结果包括得六个行为数据对应的行为模式按照时间顺序依次为422222。
[0291] S915、在目标行为识别结果中所有行为特征对应的行为模式均为平层状态,或者目标行为识别结果中存在行为特征对应的行为模式为上下电梯的情况下,若更新纠正识别结果中对应第二行为数据的行为模式为上下电梯,目标行为识别结果中第一行为特征对应的行为模式不为上下电梯,则电子设备则将目标行为识别结果中第一行为特征对应的行为模式修正为上下电梯。
[0292] 其中,第二行为数据为多组行为数据中的一组行为数据,第一行为特征为多组行为特征中的一组行为特征;第一行为特征在多组行为特征按照时间顺序排序后的次序,与第二行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0293] 示例性的,以0代表平层状态,用2代表上下电梯为例,参照图16所示,若目标行为识别结果中包括六个行为特征对应的行为模式按照时间顺序依次为002200,更新纠正识别结果包括六个行为数据对应的行为模式按照时间顺序依次为022200。则电子设备会将目标行为识别结果中的第二个行为特征对应的行为模式由0修正为2,修正后的目标行为识别结果则可以为022200。
[0294] 当然,若更新纠正识别结果中对应第二行为数据的行为模式为上下电梯,目标行为识别结果中第一行为特征对应的行为模式也为上下电梯,则电子设备不对目标行为识别中第一行为特征对应的行为模式修正。
[0295] S916、在目标行为识别结果中所有行为特征对应的行为模式均为平层状态,或者目标行为识别结果中存在行为特征对应的行为模式为上下电梯的情况下,若更新纠正识别结果中对应第三行为数据的行为模式为平层状态,目标行为识别结果中第二行为特征对应的行为模式不为平层状态,则电子设备将目标行为识别结果中第二行为特征对应的行为模式修正为平层状态。
[0296] 其中,第三行为数据为多组行为数据中的一组行为数据,第二行为特征为多组行为特征中的一组行为特征;第二行为特征在多组行为特征按照时间顺序排序后的次序,与第三行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0297] 示例性的,以0代表平层状态,用2代表上下电梯为例,参照图17所示,若目标行为识别结果中包括六个行为特征对应的行为模式按照时间顺序依次为002220,更新纠正识别结果包括六个行为数据对应的行为模式按照时间顺序依次为000220。则电子设备会将目标行为识别结果中的第三个行为特征对应的行为模式由2修正为0,修正后的目标行为识别结果则可以为000220。
[0298] 当然,若更新纠正识别结果中对应第三行为数据的行为模式为平层状态,所述目标行为识别结果中第二行为特征对应的行为模式为平层状态,则电子设备不对目标行为识别中第二行为特征对应的行为模式修正。
[0299] S917、在目标行为识别结果中所有行为特征对应的行为模式均为平层状态,或者目标行为识别结果中存在行为特征对应的行为模式为上下电梯的情况下,若更新纠正识别结果中对应第四行为数据的行为模式为错误,则电子设备不对目标行为识别结果中第三行为特征对应的行为模式修正。
[0300] 其中,第四行为数据为多组行为数据中的一组行为数据,第三行为特征为多组行为特征中的一组行为特征;第三行为特征在多组行为特征按照时间顺序排序后的次序,与第四行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0301] S918、在目标行为识别结果中所有行为特征对应的行为模式不为平层状态也不为上下电梯的情况下,不对目标行为识别结果修正。
[0302] S919、电子设备利用修正后的目标行为识别结果,确定修正后的目标l andmark点识别结果。
[0303] 具体的,S919是利用该目标行为识别结果来确定用户在预设时长内行为模式的起始点和结束点(或者行为模式变化的时间点),从而得到修正后的目标l andmark点识别结果。
[0304] 示例性的,上述S914‑S919可以由如图5所示的核心算法层中的电梯纠正模块实施。
[0305] 基于本申请实施例提供的技术方案,电子设备可以首先采用预先训练的行为识别模型对预设时长内用户的行为模式进行识别(或称为预测)。该行为识别模型为提前训练好的,能够基于传感器特征和Wi‑Fi特征确定该电子设备所属用户的行为模式。由于行为识别模型对行为模式进行判断时依据的传感器的数据较少,所以为了防止其误判。在该行为识别模型输出行为识别结果后,电子设备可以还会根据传感器数据中的加速度数据确定电子设备是否处于上下电梯状态。因为用户在非电梯模式(平层状态、上下扶梯和上下楼梯)和上下电梯中的超失重数据是存在较大差异的,所以电子设备可以依据电子设备的超失重情况来确定预设时长内用户的行为模式,即纠正识别结果。之后,便可以基于该纠正识别结果对行为识别模型的目标行为识别结果和目标l andmark点识别结果进行纠正,进而得到更准确的行为模式识别结果。
[0306] 在一些实施例中,若本申请实施例提供的行为识别方法中,S903‑S905的具体实现如图12所示,则结合图9,参照图12所示,S906‑S913具体可以为S906A‑S913A:
[0307] S906A、电子设备根据每组正向行为数据中的加速度数据,确定每组第一行为数据中等效重力加速度处于预设范围且连续的第二加速度数据的数量占所有加速度数据总数的第二占比。
[0308] 当然,这里的正向行为数据也可以为反向行为数据。
[0309] S907A、电子设备判断至少一组正向行为数据是否存在连续的多组第一正向行为数据中第一占比均大于预设占比。
[0310] 若电子设备确定至少一组正向行为数据存在连续的多组第一正向行为数据中第一占比均大于预设占比,则执行S909A;若电子设备确定至少一组正向行为数据不存在连续的多组第一正向行为数据中第一占比均大于预设占比,则执行S908A。
[0311] S908A、电子设备确定预设时长内用户的行为模式为平层状态。
[0312] S909A、电子设备判断第一超失重行为数据中的第一加速度数据的等效重力加速度是否属于预设超重范围。
[0313] 这里,第一超失重行为数据为连续的多组第一正向行为数据的结合。
[0314] 在电子设备确定第一超失重行为数据中的第一加速度数据的等效重力加速度属于预设超重范围,则电子设备可以将第一超失重行为数据确定为第一超重行为数据,即执行S910A;在电子设备确定第一超失重行为数据中的第一加速度数据的等效重力加速度不属于预设超重范围,则电子设备可以将第一超失重行为数据确定为第一失重行为数据,即执行S911A。
[0315] S910A、电子设备将第一超失重行为数据确定第一超重行为数据。
[0316] S911A、电子设备将第一超失重行为数据确定第一失重行为数据。
[0317] S912A、电子设备基于第一超重行为数据和第一失重行为数据,预设时长内每组行为数据对应的行为模式。
[0318] S913A、电子设备将设时长内所有正向行为数据对应的行为模式确定为纠正识别结果。
[0319] 上述S906A‑S913A的具体实现可以参照前述S906‑S913的实现方式,此处不再赘述。
[0320] 需要说明的是,S906A‑S913A中是利用正向行为数据中加速度数据来确定纠正识别结果,实际中还可以是利用正向行为数据和/或反向行为数据中的加速度数据来确定纠正识别结果。若使用反向行为数据中的加速度数据来确定纠正识别结果,则具体实现可以参照上述S906A‑S913A。若使用正向行为数据和反向行为数据中的加速度数据来确定纠正识别结果,则可以是使用正向行为数据的加速度数据来确定一次纠正识别结果,同时使用反向行为数据的加速度数据来确定一次纠正识别结果,然后将两次纠正识别结果进行融合。其具体实现原理可以参照前述实施例中S9031、S9032、S904A和S9051‑S9053对应的技术方案,此处不再赘述。
[0321] 在如图12所示的行为识别方法得具体实例中,行为识别模型在确定目标行为识别结果前,会得到按照时间顺序采样行为数据后识别得到的正向行为识别结果,以及按照时间逆序采样行为数据后识别得到的反向行为识别结果。
[0322] 若最终的目标行为识别结果中所有行为特征对应的行为模式均为平层状态;同时,若更新纠正识别结果中存在某些行为数据对应的行为模式为错误Fa l se,且其余行为数据对应的行为模式为平层状态(仅代表平层状态)。则表明电子设备获取的行为数据较为特殊,且可能会存在部分行为数据对应的行为模式实际为上下电梯。基于此,在如图12所示的实例的基础上,参照图12所示,该方法还包括S918A:
[0323] S918A、若目标行为识别结果中包括的所有行为特征对应的行为模式为平层状态,更新纠正识别结果中存在第五行为数据对应的行为模式为错误,且更新纠正识别结果中除第五行为数据以外的行为数据对应的行为模式为平层状态,则电子设备使用正向行为识别结果或反向行为识别结果对目标行为识别结果进行修正。
[0324] S918A后电子设备可以根据修正后的目标行为识别结果对目标l andmark点识别结果进行修正。
[0325] 其中,使用正向行为识别结果或反向行为识别结果对目标行为识别结果进行修正可以为将正向行为识别结果或反向行为识别结果确定为修正后的目标行为识别结果。
[0326] 在一种可能的实现方式中,电子设备具体使用正向行为识别结果还是反向行为识别结果对目标行为识别结果进行修正,可以基于正向行为识别结果和反向行为识别结果中所有样本特征对应的行为模式中上下电梯的第一数量决定。若正向行为识别结果对应的第一数量多,则电子设备使用正向行为识别结果对目标行为识别结果进行修正;若反向行为识别结果对应的第一数量多,则电子设备使用反向行为识别结果对目标行为识别结果进行修正。
[0327] 示例性的,示例性的,以0代表平层状态,用2代表上下电梯,F代表错误为例,参照图18所示,若目标行为识别结果中包括六个行为特征对应的行为模式按照时间顺序依次为000000,更新纠正识别结果包括六个行为数据对应的行为模式按照时间顺序依次为
00FF00,正向行为识别结果包括六个行为特征对应的行为模式按照时间顺序依次为
000200,反向行为识别结果包括六个行为特征对应的行为模式按照时间顺序依次为
002200。则电子设备可以使用反向行为识别结果对目标行为识别结果进行修正,修正后的目标行为识别结果即为反向行为识别结果即002200。基于修正后的目标行为识别结果可以得到修正后的l andmark点识别结果可以包括:第一个平层状态的起始点为第一组行为特征对应的时间段的起始时刻,第一个平层状态的结束点为第二组行为特征对应的时间段的结束时刻,上下电梯的起始点为第三组行为特征对应的时间段的起始时刻,上下电梯的结束点为第四组行为特征对应的时间段的结束时刻,第二个平层状态的起始点为第五组行为特征对应的时间段的起始时刻,第二个平层状态的结束点为第六组行为特征对应的时间段的结束时刻。
[0328] 为了更清楚的说明电子设备利用更新纠正识别结果对目标行为识别结果的修正过程,下面结合图12对该电子设备利用纠正识别结果对目标行为识别结果的修正过程进行说明。参照图19所示,该过程如下:
[0329] 1、首先可以获取目标行为识别结果和纠正识别结果。
[0330] 2、对纠正识别结果中的多段电梯进行连接,以得到更新纠正识别结果。
[0331] 其中,对纠正识别结果中的多段电梯进行连接,即将纠正识别结果中包括的所有行为数据对应的行为模式中,在时间顺序上将对应的行为模式为上下电梯的不同行为数据之间的行为数据对应的行为模式确定为上下电梯。
[0332] 3、在电子设备获取到行为识别模型的目标行为识别结果和更新纠正识别结果后,首先会判断目标行为识别结果中是否均为平层状态。
[0333] 目标行为识别结果中均为平层状态具体指:目标行为识别结果包括的所有行为数据对应的行为模式均为平层状态。
[0334] 若目标行为识别结果中全为平层状态,则需要确定目标行为识别结果是否正确,具体需要结合更新纠正识别结果判断,即执行4;若目标行为识别结果中不全为平层状态,则执行9。
[0335] 4、判断更新纠正识别结果中是否未识别出上下电梯且识别出错误。
[0336] 更新纠正识别结果中未识别出上下电梯且识别出错误具体指:更新识别结果包括的所有行为数据对应的行为模式中,存在第二行为数据对应的行为模式为错误Fa l se,其他行为数据对应的行为模式均为平层状态。
[0337] 若更新纠正识别结果中未识别出上下电梯且识别出错误,则表明可能会存在某些行为数据对应的行为模式会是上下电梯,目标行为识别结果中全为平层状态是错误的,此时则需要使用正向识别结果或反向识别结果对目标行为识别结果进行修正,即执行5;若更新纠正识别结果中识别出了上下电梯或者未识别出错误,则需要结合更新纠正识别结果中的是否识别出上下电梯来决定对目标行为识别结果进行修正,即执行6。
[0338] 5、利用正向识别结果或反向识别结果对目标行为识别结果进行修正。
[0339] 在更新纠正识别结果中未识别出了上下电梯且识别出错误,可以认为正向识别结果和反向识别结果融合后得到的目标行为识别结果大概率是存在错误的。且该错误可能是融合引起的,所以此时应当使用正向识别结果或反向识别结果对目标识别进行修正。
[0340] 具体的,使用正向识别结果或反向识别结果对目标识别进行修正即为将正向识别结果或反向识别结果作为修正后的目标行为识别结果。
[0341] 6、判断更新纠正识别结果中是否识别出了上下电梯。
[0342] 更新纠正识别结果中识别出了上下电梯具体指:更新纠正识别结果包括的所有行为数据对应的行为模式中,存在某些行为数据对应的行为模式为上下电梯。
[0343] 若更新纠正识别结果中识别出了上下电梯,则可以认为目标行为识别结果中全为平层状态是存在误差的,此时需要使用更新纠正识别结果对其修正,即执行7;若更新纠正识别结果中未别出了上下电梯,则表明更新纠正识别结果中也全为平层状态,也就是说目标行为识别结果中全为平层状态是大概率正确的,此时则不需要修正,既执行8。
[0344] 7、使用更新纠正识别结果修正目标行为识别结果,得到修正后的目标行为识别结果。
[0345] 其中,使用更新纠正识别结果修正目标行为识别结果具体指将更新纠正识别结果确定为修正后的目标行为识别结果。
[0346] 7步骤的实现具体可以是:若更新纠正识别结果中对应第二行为数据的行为模式为上下电梯,目标行为识别结果中第一行为特征对应的行为模式不为上下电梯,则电子设备则将目标行为识别结果中第一行为特征对应的行为模式修正为上下电梯。
[0347] 其中,第二行为数据为多组行为数据中的一组行为数据,第一行为特征为多组行为特征中的一组行为特征;第一行为特征在多组行为特征按照时间顺序排序后的次序,与第二行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0348] 8、不对目标行为识别结果进行修正。
[0349] 更新纠正识别结果未识别出上下电梯也未识别出错误即表明更新纠正识别结果将所有行为数据对应的行为模式全部识别为平层状态,而此时目标行为识别结果是将所有行为特征对应的行为模式识别为平层状态。这表明更新纠正识别结果无法对目标行为识别结果进行修正,且无法确定目标行为识别结果是否存在识别错误的情况。所以此处不需要对目标行为识别结果修正。
[0350] 9、判断目标行为识别结果中是否存在上下电梯。
[0351] 其中,目标行为识别结果中存在上下电梯具体指:目标行为识别结果中包括的所有行为特征对应的行为模式中存在某些行为特征对应的行为模式是上下电梯。
[0352] 若目标行为识别结果中存在上下电梯,则需要结合更新纠正识别结果中的具体情况来决定是否修正,即执行10;若目标行为识别结果中不存在上下电梯,则表明目标行为识别结果中存在的为上下扶梯、上下楼梯等行为模式,不需要利用更新纠正识别结果进行修正,因为更新纠正识别结果是利用加速度数据得到的,对于上下扶梯、上下楼梯等行为模式不做判断。即执行8。
[0353] 10、判断更新纠正识别结果中是否存在上下电梯。
[0354] 其中,更新纠正识别结果中存在上下电梯具体指:更新纠正识别结果中包括的所有行为数据对应的行为模式中存在某些行为数据对应的行为模式是上下电梯。
[0355] 若更新纠正识别结果中存在上下电梯,那么则可以使用更新纠正识别结果对目标行为识别结果进行修正,即执行11;若更新纠正识别结果中不存在上下电梯,则需要确定更新纠正识别结果是否全为平层状态,进而决定是否进行修正,即执行12。
[0356] 11、使用更新纠正识别结果对目标行为识别结果进行修正。
[0357] 具体的,使用更新纠正识别结果对目标行为识别结果进行修正具体可以是:
[0358] 若更新纠正识别结果中对应第二行为数据的行为模式为上下电梯,目标行为识别结果中第一行为特征对应的行为模式不为上下电梯,则电子设备则将目标行为识别结果中第一行为特征对应的行为模式修正为上下电梯;其中,第二行为数据为多组行为数据中的一组行为数据,第一行为特征为多组行为特征中的一组行为特征;第一行为特征在多组行为特征按照时间顺序排序后的次序,与第二行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0359] 若更新纠正识别结果中对应第三行为数据的行为模式为平层状态,目标行为识别结果中第二行为特征对应的行为模式不为平层状态,则电子设备将目标行为识别结果中第二行为特征对应的行为模式修正为平层状态;其中,第三行为数据为多组行为数据中的一组行为数据,第二行为特征为多组行为特征中的一组行为特征;第二行为特征在多组行为特征按照时间顺序排序后的次序,与第三行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0360] 若更新纠正识别结果中对应第四行为数据的行为模式为错误,则电子设备不对目标行为识别结果中第三行为特征对应的行为模式修正;其中,第四行为数据为多组行为数据中的一组行为数据,第三行为特征为多组行为特征中的一组行为特征;第三行为特征在多组行为特征按照时间顺序排序后的次序,与第四行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0361] 12、判断更新纠正识别结果中是否全为平层状态。
[0362] 其中,更新纠正识别结果中全为平层状态具体指:更新纠正识别结果中包括的所有行为数据对应的行为模式中存在所有行为数据对应的行为模式均是平层状态。
[0363] 若更新纠正识别结果中全为平层状态,且此时因为目标行为识别结果中也是存在上下电梯的,则认为更新纠正识别模块的结果是正确的,则可以用更新纠正识别结果作为修正后的目标行为识别结果,即执行13;若更新纠正识别结果中不全为平层状态,则表明更新纠正识别结果中既有平层状态又有错误,而目标行为识别结果中既有平层状态又有上下电梯,则可以认为目标行为识别结果是正确的,此时不需要修正,即执行8。
[0364] 13、使用更新纠正识别结果修正目标行为识别结果。
[0365] 具体的,13可以是将目标行为识别结果中所有行为特征对应的行为模式中不为平层状态的行为模式修正为平层状态。也就是说,更新纠正识别结果中对应第三行为数据的行为模式为平层状态,目标行为识别结果中第一行为特征对应的行为模式不为平层状态,则将目标行为识别结果中第二行为特征对应的行为模式修正为平层状态。其中,第三行为数据为多组行为数据中的一组行为数据,第二行为特征为多组行为特征中的一组行为特征;第二行为特征在多组行为特征按照时间顺序排序后的次序,与第三行为数据在多组行为数据按照时间顺序排序后的次序相同。
[0366] 另外,在实际使用上述实施例提供的行为识别方法的过程中,可以采用准确率accurary、精确度preci s ion、召回率reca l l、调和平均值f l‑score等参数对该行为识别方法对行为模式的识别精准程度进行评估。
[0367] 示例性的,本申请实施例提供的技术方案在大量数据的验证测试下,在行为识别方面,二分类(平层静止、平层步行为一类属于平层运动行为,上下扶梯、上下电梯为一类属于跨层行为)能平均到达95%左右的识别准确率,三分类(平层静止、平层步行为一类属于平层运动行为,上下扶梯、上下电梯分别为单独类别)能平均达到94%左右的识别准确率。四分类(平层静止、平层步行为、上下扶梯、上下电梯分别为单独类别)时,平层静止的识别准确率可以达到93%以上,平层步行的识别准确率可以达到97%以上,上下扶梯的识别准确率可以达到92%以上,上下电梯的识别准确率可以达到97%以上.
[0368] 在l andmark点识别方面,所有轨迹预测l andmark点与真实l andmark点开始时刻和结束时刻的延迟时间平均能控制在4s以内,所有l andmark点识别准确率(识别误差≤3组行为数据的l andmark点的数量占l andmark点总数的占比)能达到90%左右,所有l andmark点识别准确率(识别误差≤5组行为数据的l andmark点的数量占Landmark点总数的占比)能达到95%左右。此外,对于
[0369] 可见,本申请实施例提供的技术方案,能够更准确的对用户的行为模式进行识别。
[0370] 可以理解的是,上述电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的范围。
[0371] 本申请实施例可以根据上述方法示例对上述电子设备或训练设备进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0372] 本申请实施例还提供一种电子设备,该电子设备包括:存储器和一个或多个处理器;存储器与处理器耦合;其中,存储器中存储有计算机程序代码,计算机程序代码包括计算机指令,当计算机指令被处理器执行时,使得电子设备执行如前述实施例提供的行为识别方法。该电子设备的具体结构可参照图3中所示的电子设备的结构。
[0373] 本申请实施例还提供一种训练设备,该训练设备包括处理器和存储器;该存储器用于存储可执行指令,该处理器被配置为执行该存储器存储的该可执行指令,以使该训练设备执行如上述实施例中提供的行为识别模型的生成方法。该训练设备的具体结构可参照图6中所示的训练设备的结构。
[0374] 本申请实施例还提供一种芯片系统,如图20所示,该芯片系统1100包括至少一个处理器1101和至少一个接口电路1102。处理器1101和接口电路1102可通过线路互联。例如,接口电路1102可用于从其它装置(例如电子设备的存储器)接收信号。又例如,接口电路102可用于向其它装置(例如处理器1101)发送信号。
[0375] 示例性的,接口电路1102可读取存储器中存储的指令,并将该指令发送给处理器1101。当指令被处理器1101执行时,可使得电子设备执行上述实施例中的各个步骤。当然,该芯片系统还可以包含其他分立器件,本申请实施例对此不作具体限定。
[0376] 本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如前述实施例提供的行为识别方法。
[0377] 本申请实施例还提供一种计算机程序产品,该计算机程序产品包含可执行指令,当该计算机程序产品在电子设备上运行时,使得电子设备执行如前述实施例提供的行为识别方法。
[0378] 本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质包括计算机指令,当计算机指令在训练设备上运行时,使得训练设备执行如前述实施例提供的行为识别模型的生成方法。
[0379] 本申请实施例还提供一种计算机程序产品,该计算机程序产品包含可执行指令,当该计算机程序产品在训练设备上运行时,使得训练设备执行如前述实施例提供的行为识别模型的生成方法。
[0380] 通过以上实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
[0381] 在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0382] 作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0383] 另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0384] 集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read on ly memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0385] 以上内容,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

当前第1页 第1页 第2页 第3页