[0001] 本实用新型涉及热红外夜视监控技术领域，特别涉及一种热红外目标识别装置。

[0002] 红外热成像以全被动式对物体成像，对雨、雾的穿透能力较高，能够对各种目标如人员、车辆、野生动物等进行昼夜监控，在防火、夜视以及安防领域有广泛应用。

[0003] 红外热成像仪是利用红外探测器和光学成像物镜接受被测目标的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图。现有的热红外成像仪只能满足成像需求，不具备智能化自主识别的功能。

[0004] 随着计算机视觉的快速发展，目标检测技术已经在诸多领域广泛应用，但传统算法误报高，无法满足实际精确识别需求；深度学习的算法对算力要求极高，目前深度学习算法支持的平台以英伟达等公司的GPU、瑞芯微公司的ARM+Mali GPU、 Xilinx公司 FPGA等为主流，此类芯片特点是功耗大、芯片体积大、价格昂贵等缺陷。实用新型内容

[0005] 本实用新型的目的是：针对现有技术的不足，提供一种低功耗在线热红外目标识别装置。

[0006] 本实用新型的一个技术方案是：一种低功耗在线热红外目标识别装置，它包括：热红外探测器、预处理单元、识别单元、电池单元、无线传输单元以及后端接收设备；

[0007] 识别单元包括：相互连接的目标识别芯片以及电源管理电路；

[0008] 热红外探测器与预处理单元建立信号连接，预处理单元与目标识别芯片、电源管理电路分别建立信号连接，预处理单元通过无线传输单元与后端接收设备建立信号连接，电池单元与热红外探测器、预处理单元、电源管理电路建立连接。

[0009] 上述方案中，热红外探测器用于对原始图像进行采集；预处理单元用于对原始图像进行预处理，并对图像中是否出现移动目标进行识别，当出现移动目标时，预处理单元向电源管理电路发出唤醒信号，电源管理电路接通电池单元与目标识别芯片；目标识别芯片用于对图像中移动目标的具体类别、位置进行识别；无线传输单元用于将移动目标的具体类别、位置信息以及图像传送至后端接收设备；后端接收设备用于对叠加有移动目标的具体类别、位置信息的图像进行显示。

[0010] 进一步的，预处理单元具体包括：AD采集模块、存储模块、图像识别模块以及通讯接口模块；热红外探测器与AD采集模块）建立信号连接，AD采集模块与图像识别模块建立信号连接，图像识别模块与存储模块、通讯接口模块分别建立信号连接，存储模块与通讯接口模块建立信号连接，通讯接口模块与目标识别芯片、电源管理电路分别建立信号连接。

[0011] 进一步的，预处理单元采用ARM芯片，目标识别芯片采用NPU芯片；本装置中的目标识别部分采用ARM核心芯片与深度学习推理专用NPU芯片结合的双芯片方案，在未检测到移动物体时，NPU芯片始终处于低功耗状态，整机功耗小于1.2W。ARM芯片检测到移动物体后唤醒NPU芯片对移动物体进行物体类别、位置的识别，整机功耗在3W。NPU处理部分可以提供2TOPS的深度学习推理能力，满足在线实时物体识别的算力资源。

[0012] 进一步的，为满足长期在野外自主执行物体识别任务的需求，预处理单元、识别单元、电池单元、无线传输单元以接插件形式安装在防水壳体内，热红外探测器与防水壳体之间采用胶圈密封；电池单元采用20000mAh的电池供电。

[0013] 本实用新型的另一个技术方案是：一种低功耗在线热红外目标识别装置的工作方法，它基于如上所述的识别装置，并包括以下步骤：

[0014] A. 电池单元向热红外探测器、预处理单元、电源管理电路供电；

[0015] B. 热红外探测器采集原始图像并发送至预处理单元；

[0016] C. 预处理单元对原始图像进行预处理得到细节信息明显的红外图像，并对细节信息明显的红外图像中是否出现移动物体进行识别，若出现移动物体，则预处理单元向电源管理电路发送唤醒信号；

[0017] D. 电源管理电路收到唤醒信号后，接通目标识别芯片与电池单元，目标识别芯片进入目标识别模式，调用预处理单元中的细节信息明显的红外图像对其进行移动物体的类型、位置识别；识别后，目标识别芯片将移动物体的类型、位置信息发送至预处理单元；

[0018] E. 预处理单元将接收到的移动物体的类型、位置信息与细节信息明显的红外图像相匹配后叠加，并通过无线传输单元将叠加有移动物体的类型、位置信息的细节信息明显的红外图像发送至后端接收设备；

[0019] F. 后端接收设备显示识别出移动物体的类型、位置信息的细节信息明显的红外图像。

[0020] 具体的：步骤C中，对原始图像进行预处理的方法为：首先对原始红外图像进行格式转换，对转换格式后的红外图像进行非均匀校正与盲元补偿得到校正图像，之后在对校正图像进行超分辨率图像增强，由此得到细节信息明显的红外图像。

[0021] 步骤C中，采用背景动态建模方式将细节信息明显的红外图像中的移动物体从背景中分离，从而实现对是否出现移动物体的识别。

[0022] 步骤D中，采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外Hog特征加权求和方式对细节信息明显的红外图像中移动物体的类型、位置进行识别。

[0023] 进一步的，当预处理单元包括：AD采集模块、存储模块、图像识别模块以及通讯接口模块时：

[0024] 上述步骤C包括：

[0025] C1. AD采集模块对热红外探测器发送的原始图像进行格式转换；

[0026] C2. 图像识别模块对转换格式后的原始图像进行预处理，得到细节信息明显的红外图像；

[0027] C3. 图像识别模块对细节信息明显的红外图像序列中相邻两帧或多帧图像进行是否出现移动物体的识别，如出现移动物体，图像识别模块则将包含移动物体的相邻两帧或多帧图像送至存储模块进行存储，同时通过通讯接口模块向电源管理电路发出唤醒信号；

[0028] 上述步骤D包括：

[0029] D1. 电源管理电路收到唤醒信号后，接通目标识别芯片与电池单元，目标识别芯片进入目标识别模式；

[0030] D2. 目标识别芯片通过通讯接口模块调用存储在存储模块中的细节信息明显的红外图像，对图像中移动物体的类型、位置进行识别，得到移动物体的类型、位置信息；

[0031] D3. 目标识别芯片将移动物体的类型、位置信息通过通讯接口模块发送至存储模块进行存储；

[0032] 上述步骤E包括：

[0033] E1. 图像识别模块调用存储模块中的移动物体的类型、位置信息及细节信息明显的红外图像，进行匹配，并将移动物体的类型、位置信息与相对应的细节信息明显的红外图像进行叠加；

[0034] E2. 图像识别模块通过通讯接口模块、无线传输单元将叠加有移动物体的类型、位置信息的细节信息明显的红外图像发送至后端接收设备。

[0035] 有益效果：本实用新型采用异构处理平台设计方式，在预处理单元未检测到移动物体时，识别单元处于休眠状态，检测到移动物体后，识别单元被唤醒可提供足够的计算资源进行物体类型、位置识别；本实用新型最大限度降低设备功耗，实现了低成本低功耗全自主化人工智能多目标类型的识别与本地存储、视频传输功能。本实用新型可应用于全天候室内及野外自主远程监控领域。本实用新型的工作方法可实现边缘端实时深度学习物体类型识别能力与自主基于事件的动态功耗控制能力，大大减少误报，提高目标识别率。

[0039] 实施例1，参见附图1，一种低功耗在线热红外目标识别装置，它包括：热红外探测器1、预处理单元2、识别单元3、电池单元4、无线传输单元5以及后端接收设备6；

[0040] 识别单元3包括：相互连接的目标识别芯片3.1以及电源管理电路3.2；

[0041] 热红外探测器1与预处理单元2建立信号连接，预处理单元2与目标识别芯片3.1、电源管理电路3.2分别建立信号连接，预处理单元2通过无线传输单元5与后端接收设备6建立信号连接，电池单元4与热红外探测器1、预处理单元2、电源管理电路3.2建立连接。

[0042] 上述方案中，热红外探测器1用于对原始图像进行采集；预处理单元2用于对原始图像进行预处理，并对图像中是否出现移动目标进行识别，当出现移动目标时，预处理单元2向电源管理电路3.2发出唤醒信号，电源管理电路3.2接通电池单元4与目标识别芯片3.1；
目标识别芯片3.1用于对图像中移动目标的具体类别、位置进行识别；无线传输单元5用于将移动目标的具体类别、位置信息以及图像传送至后端接收设备6；后端接收设备6用于对叠加有移动目标的具体类别、位置信息的图像进行显示。

[0043] 本例中，热红外探测器1的分辨率为320×240，可实现夜视观测。预处理单元2采用ARM芯片，目标识别芯片3.1采用NPU芯片；本装置中的目标识别部分采用ARM核心芯片与深度学习推理专用NPU芯片结合的双芯片方案，在未检测到移动物体时，NPU芯片始终处于低功耗状态，整机功耗小于1.2W。ARM芯片检测到移动物体后唤醒NPU芯片对移动物体进行物体类别、位置的识别，整机功耗在3W。NPU处理部分可以提供2TOPS的深度学习推理能力，可达到60ms每帧图像的实时速度，满足在线实时物体识别的算力资源。

[0044] 实施例2，参见附图2，在实施例1的基础上，对预处理单元2做进一步限定：

[0045] 预处理单元2具体包括：AD采集模块2.1、存储模块2.2、图像识别模块2.3以及通讯接口模块2.4；热红外探测器1与AD采集模块2.1建立信号连接，AD采集模块2.1与图像识别模块2.3建立信号连接，图像识别模块2.3与存储模块2.2、通讯接口模块2.4分别建立信号连接，存储模块2.2与通讯接口模块2.4建立信号连接，通讯接口模块2.4与目标识别芯片3.1、电源管理电路3.2分别建立信号连接。

[0046] 实施例3，在实施例1或2的基础上，本例中的预处理单元2、识别单元3、电池单元4、无线传输单元5以接插件形式安装在防水壳体内，热红外探测器1与该壳体之间采用胶圈密封，满足IP67的防护等级。同时电池单元4采用20000mAh的电池供电，以满足长期在野外自主执行物体识别任务的需求。

[0047] 实施例4，一种低功耗在线热红外目标识别装置的工作方法，它基于如实施例1所述的识别装置，并包括以下步骤：

[0048] A. 电池单元4向热红外探测器1、预处理单元2、电源管理电路3.2供电；

[0049] B. 热红外探测器1采集原始图像并发送至预处理单元2；

[0050] C. 预处理单元2对原始图像进行预处理得到细节信息明显的红外图像，并对细节信息明显的红外图像中是否出现移动物体进行识别，若出现移动物体，则预处理单元2向电源管理电路3.2发送唤醒信号；

[0051] D. 电源管理电路3.2收到唤醒信号后，接通目标识别芯片3.1与电池单元4，目标识别芯片3.1进入目标识别模式，调用预处理单元2中的细节信息明显的红外图像对其进行移动物体的类型、位置识别；识别后，目标识别芯片3.1将移动物体的类型、位置信息发送至预处理单元2；

[0052] E. 预处理单元2将接收到的移动物体的类型、位置信息与细节信息明显的红外图像相匹配后叠加，并通过无线传输单元5将叠加有移动物体的类型、位置信息的细节信息明显的红外图像发送至后端接收设备6；

[0053] F. 后端接收设备6显示识别出移动物体的类型、位置信息的细节信息明显的红外图像。

[0054] 上述方案中，具体的：

[0055] 步骤C中，对原始图像进行预处理的方法为：首先对原始红外图像进行格式转换，对转换格式后的红外图像进行非均匀校正与盲元补偿得到校正图像，之后在对校正图像进行超分辨率图像增强，由此得到细节信息明显的红外图像。

[0056] 步骤C中，采用ViBE与GMM相结合的对细节信息明显的红外图像中是否出现移动物体进行识别，即采用背景动态建模方式将细节信息明显的红外图像中的移动物体从背景中分离，从而实现对是否出现移动物体的识别。

[0057] 步骤D中，采用单色输入卷积神经网络与Hog特征结合的方法对细节信息明显的红外图像中移动物体的类型、位置进行识别，即采用单色二维矩阵输入的深度可分离卷积神经网络推理权重与红外Hog特征加权求和方式对细节信息明显的红外图像中移动物体的类型、位置进行识别。

[0058] 实施例5，一种低功耗在线热红外目标识别装置的工作方法，它基于如实施例2的识别装置，并包括以下步骤：

[0059] A. 电池单元4向热红外探测器1、预处理单元2、电源管理电路3.2供电；

[0060] B. 热红外探测器1采集原始图像并发送至预处理单元2；

[0061] C1. AD采集模块2.1对热红外探测器1发送的原始图像进行格式转换；

[0062] C2. 图像识别模块2.3对转换格式后的原始图像进行预处理，得到细节信息明显的红外图像；

[0063] C3. 图像识别模块2.3对细节信息明显的红外图像序列中相邻两帧或多帧图像进行是否出现移动物体的识别，如出现移动物体，图像识别模块2.3则将包含移动物体的相邻两帧或多帧图像送至存储模块2.2进行存储，同时通过通讯接口模块2.4向电源管理电路3.2发出唤醒信号；

[0064] D1. 电源管理电路3.2收到唤醒信号后，接通目标识别芯片3.1与电池单元4，目标识别芯片3.1进入目标识别模式；

[0065] D2. 目标识别芯片3.1通过通讯接口模块2.4调用存储在存储模块2.2中的细节信息明显的红外图像，对图像中移动物体的类型、位置进行识别，得到移动物体的类型、位置信息；

[0066] D3. 目标识别芯片3.1将移动物体的类型、位置信息通过通讯接口模块2.4发送至存储模块2.2进行存储；

[0067] E1. 图像识别模块2.3调用存储模块2.2中的移动物体的类型、位置信息及细节信息明显的红外图像，进行匹配，并将移动物体的类型、位置信息与相对应的细节信息明显的红外图像进行叠加；

[0068] E2. 图像识别模块2.3通过通讯接口模块2.4、无线传输单元5将叠加有移动物体的类型、位置信息的细节信息明显的红外图像发送至后端接收设备6；

[0069] F. 后端接收设备6显示识别出移动物体的类型、位置信息的细节信息明显的红外图像。

[0070] 虽然，上文中已经用一般性说明及具体实施例对本实用新型作了详尽的描述，但在本实用新型基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本实用新型精神的基础上所做的这些修改或改进，均属于本实用新型要求保护的范围。