[0001] 本发明一般地涉及图像处理技术领域。更具体地，本发明涉及基于多模态的电力设备安全预警方法。

[0002] 在电力设备中，关键构件的温度检测往往可通过红外热成像进行温度监测。但是，由于在红外成像时，不同关键构件在红外图像中失去了原有的纹理信息，并且红外热成像的成效效果具有模糊性，即成像分辨率较低，进而现有将采集图像和红外热成像进行融合的电力设备中关键构件监测方法。

[0003] 如授权公告号为CN110487410B，发明名称为“多模态图像特征融合的电力设备构件温度提取方法及装置”的专利文件，其采用AKAZE算法获得红外检测图像和可见光检测图像的特征点，并得到各特征点的特征向量，并对特征点进行分类，依据分类结果进行特征点匹配，实现红外‑可见光融合，进而得到关键构件温度值，从而能够对电力设备进行预警评估。

[0004] 但是需要说明的是，由于关键构件的红外图像本身的纹理信息相对于可见光图像的纹理信息较少，那么在进行特征点提取时，可能出现误匹配的情况，从而导致融合后的图像不准确，使得无法准确地进行电力设备的安全评估及预警。

[0038] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面结合附图来详细描述本发明的具体实施方式。

[0039] 本发明针对的是现有在进行电力设备的温度检测时，在进行红外图像和可见光图像融合时，可从所有匹配对中选择至少4个具有最低匹配距离值的匹配度对，进行透视变换矩阵的获取，并利用透视变换矩阵可将红外图像和可见光图像变换至同一个空间坐标系，进而将变换至同一个空间坐标系的红外图像和可见光图像进行叠加，即为融合后的图像，从而获取温度信息，但是需要说明的是电力设备中关键构件的红外图像的纹理较少，特征点不多，进而容易出现误匹配的情况；基于此，本发明提供了了基于多模态的电力设备安全预警方法，在进行特征点匹配的同时，还获取红外图像和可见光图像中的边缘粗匹配结果，用于特征点对的有效选取，防止选择误匹配的特征点。

[0040] 图1示意性示出了本实施例中的基于多模态的电力设备安全预警方法的步骤流程图。图2示意性示出了本实施例中的基于多模态的电力设备安全预警方法中获取最优透视矩阵的步骤流程图。

[0041] 具体地，以某电力设备为例，如图1所示，本实施例中的基于多模态的电力设备安全预警方法，包括以下步骤：

[0042] 在步骤S1处，获取待检测关键构件的电力设备的红外图像和可见光图像。具体地，分别通过热成像相机和RGB采集图像相机，获取红外图像A和可见光图像B；其中红外热成像A为一个单通道的图像。在步骤S2处，对所述红外图像和可见光图像分别进行特征点匹配，得到多个匹配对；随机选取至少四个匹配对，计算红外图像变换至可见光图像的透视矩阵。

[0043] 本实施例中，在进行特征点匹配之前，还对可见光图像B进行灰度化处理，得到灰度化后的灰度图像C。

[0044] 在一个实施例中，利用现有的特征点检测算法，对红外图像A和灰度图像C分别进行特征点检测，其中本实施例中的征点检测算法为sift算法，实施者可根据具体实施场景进行调整。在得到红外图像A和灰度图像C对应的特征点序列后，利用现有的特征点匹配算法进行特征点匹配，得到红外图像A和灰度图像C的特征点序列中的匹配对。

[0045] 上述实施例中，在进行两图像的特征点匹配时，采用的特征点匹配算法为knn和ransac匹配算法，实施者可根据具体实施场景进行调整。需要说明的是，由于四个匹配对即可确定可见光图像与红外图像转换的透视矩阵，因此上述特征点匹配后得到多个匹配对至少为五个，以使能够获取多个不同的透视矩阵。

[0046] 需要说明的是，确定透视矩阵的一组匹配对可以是四个，五个或者更多个。当然作为其他实施方式，当仅能确定一个透视矩阵时，该透视矩阵即为最优透视矩阵。

[0047] 在步骤S3处，对透视矩阵进行筛选，得到最优透视矩阵；利用最优透视矩阵，进行红外图像和可见光图像的融合，得到融合后的图像。

[0048] 在一个实施例中，如图2所示，最优透视矩阵的获取过程为：

[0049] 在步骤S31处，对红外图像和可见光图像分别进行边缘检测，得到红外边缘结果和可见边缘结果。具体地，采用canny边缘检测方法对红外图像A进行边缘检测，得到初始边缘检测结果；并对初始边缘检测结果进行开运算处理，消除微小的边缘，得到最终的红外边缘结果；采用采用canny边缘检测方法对灰度图像C进行上述相同的操作，得到可见边缘结果。

[0050] 在步骤S32处，基于红外边缘结果，构建第一完全无向图结构数据；基于可见边缘结果，构建第二完全无向图结构数据，并进行两个完全无向图结构数据的匹配，得到红外边缘结果的多个同构子图。

[0051] 具体地，红外边缘结果的多个同构子图的获取过程为：

[0052] 首先，对红外边缘结果和可见边缘结果分别进行连通域分析，得到红外边缘结果的多个连通域及其对应的像素点坐标序列、可见边缘结果的多个连通域及其对应的像素点坐标序列；以红外边缘结果中的单个连通域为节点，构建第一完全无向图结构数据；以可见边缘结果中的单个连通域第二完全无向图结构数据。其中，节点值为对应连通域的像素点坐标序列；其中边权重可以为0，也可以为1。

[0053] 其中，由于完全无向图结构数据的构建为现有技术，此处不再过多赘述。

[0054] 其次，利用KM算法进行第一完全无向图结构数据和第二完全无向图结构数据的匹配，得到红外边缘结果的多个同构子图。具体地，计算两个完全无向图结构数据中的任意两个节点之间的距离值，并通过KM匹配算法可进行最小距离值计算，得到当前红外图像A对应的图结构数据为子图。

[0055] 上述中的任意两个节点的距离值为：

[0056] F＝exp(‑min(Gx,Gy))*Hx,y

[0057] 其中，Gx表示红外边缘结果中第x节点对应的边缘的边缘像素点个数，Gy表示可见边缘结果中与红外边缘结果对应的同构子图的第y节点对应的边缘的边缘像素点个数；exp()函数为以e为底数的指数函数，min()函数为求最小值，Hx,y表示第x节点对应的边缘线和第y节点对应的边缘线之间的近似性值，其中近似性值的获取方法为：采用离散像素点的曲率计算方法，分别计获取第x节点对应边缘线对应的曲率序列和第y节点对应边缘线对应的曲率序列，并计算两曲率序列的相似度。

[0058] 上述中的相似度，是利用DTW算法进行的近似性匹配，其中选择曲率是因为曲率表示边缘形状的变化(两个采集图像的畸变都得小)，不受空间坐标点之间的差异影响，并且由于两个曲率序列的长度不同，所以选用DTW算法进行对齐，并求取DTW值，作为第x节点对应的边缘线和第y节点对应的边缘线之间的近似性值Hx,y。

[0059] 其中，min(Gx,Gy)的值越大，表示当前边缘越长，则对应的边缘越明显，用于匹配越有效，此时利用exp()进行负相关映射。其中Hx,y越大，则表示差异越大，则两个节点对应的边缘越不近似。进而F越小，表示第x节点对应的边缘线和第y节点对应的边缘线越近似，越可以用于边缘匹配。

[0060] 需要说明的是，由于两个图结构数据的大小不同，即红外图像A往往包含于灰度图像C中，所以以红外图像A对应的图结构数据为子图，然后计算灰度图像C中对应图结构数据中的同构子图之间的距离值，以此寻找灰度图像C中对应图结构数据中与红外图像A相似或相同的同构子图。

[0061] 上述中的红外图像A往往包含于灰度图像C中的原因是，由于引起温度差异的往往是因为关键构件的成分不同，而关键构件的成分也会造成纹理上的差异，因此，同一关键构件的红外图像，往往温度相对统一，而可见光图像的关键构件，由于色彩、光线的差异，其边缘的纹理信息相对较多，因此红外图像中关键构件的边界相对于可见光图像中的边界的纹理信息较少，所以往往是灰度图像C中包含有红外图像A中形状的边缘像素点；当然也存在红外图像A中的形状边缘像素点不包含于灰度图像C中，这是极少存在的情况。

[0062] 另外，由于灰度图像C和红外图像A之间存在分辨率不一致(如尺寸大小)的问题，所以在进行上述边缘匹配时，尽可能采用待检测关键构件的相对形状进行匹配(如红外图像A中关键构件a的形状与灰度图像的关键构件)，并且由于可能会具有重复的形状边缘，所以还需要按照不同边缘之间的相对位置(坐标)进行边缘匹配。

[0063] 在步骤S33处，选取红外边缘结果与各同构子图的距离值中最小距离的同构子图，作为红外边缘结果匹配的同构子图，并得到同构子图中的匹配像素点坐标。

[0064] 具体地，获取红外边缘结果与每个同构子图中的任意两节点的距离值F，直至获取所有两两节点的距离值，并进将所有距离值进行累加得到红外边缘结果与各同构子图的距离值F’。示例性的，计算红外边缘结果中的各节点到每个同构子图中各节点的距离值，然后以所有距离值之和作为红外边缘结果与对应同构子图的距离值。

[0065] 需要说明的是，与作为子图的红外图像A的同构子图均有一个距离值F’，从所有的距离值F’中选取具有最小距离值F’所对应的同构子图，将该同构子图作为红外图像A的边缘匹配的结果，进而得到红外图像A的边缘像素点在灰度图像C中的匹配边缘像素点坐标。

[0066] 在步骤S34处，获取红外图像中各特征点在当前透视矩阵转换后的坐标。具体地，采用当前透视矩阵，进行红外图像中各特征点的坐标转换，得到处于可见光图像所处坐标系下的坐标。

[0067] 示例性的，当前透视矩阵为a’，可通过当前透视矩阵，得到红外图像A中特征点h的坐标在可见光图像所处的坐标系下的坐标。

[0068] 在步骤S35处，计算匹配像素点坐标与对应的特征点的坐标的欧式距离值，并确定当前透视矩阵的合适度；选取合适度最小时对应的透视矩阵，作为最优透视矩阵。

[0069] 本实施例中，计算匹配像素点坐标与对应的特征点的坐标的欧式距离值是在得到灰度图像C和红外图像A中两个边缘图像的边缘匹配匹配结果中获取的像素点坐标以及红外图像A中每一个边缘像素点坐标在灰度图像C都有一个对应的坐标值之间的距离。即是同一特征点对应的同一坐标系下的匹配像素点坐标和转换坐标的欧式距离。

[0070] 示例性的，上述中的欧式距离是当红外图像A中特征点h的坐标h’在可见光图像所处的坐标系下的坐标为h”，且红外图像A中特征点h的坐标通过边缘匹配得到可见光图像中的匹配像素点坐标为h”’，然后计算坐标h”与匹配像素点坐标h”’之间的欧式距离。

[0071] 在一个实施例中，合适度为：

[0072] Mq＝Lq*n+Pq

[0073] 其中，Mq为第q个透视矩阵的合适度，Lq为第q个透视矩阵对应的欧式距离值之和，Pq为当前第q组中的多个匹配对中任意两个匹配对之间特征点描述子对应距离值的累加值，其值越小，表示透视矩阵对应的匹配对之间越贴合。

[0074] 其中n为一个超参数，n＝1000；其用于保证Lq所对应的匹配度，即边缘差异不大，防止出现误匹配时过于扭曲，导致匹配效果差。

[0075] 其中，Lq为红外图像A中每一个边缘像素点坐标到转换后坐标的欧式距离K值的累加值，即Lq＝sum(K1,K2,…Kk)，其中，k为红外图像A中的第k个边缘像素点；其中转换后坐标为每一个边缘像素点坐标经第q个透视矩阵转换至灰度图像C中所在坐标系的坐标。

[0076] 进而Mq越小，则表示第q组匹配对对应的透视矩阵越合适。需要说明的是，本实施例中共有Q组不重复的透视矩阵，每个透视矩阵对应至少4个不重复的匹配对，从Q组不重复的至少4个匹配对中，选择具有最小Mq值所对应的不重复的至少4个匹配对，用于计算红外图像A变换至可见光图像B所存在空间坐标的透视矩阵。

[0077] 进而，在得到根据利用透视变换矩阵可将红外图像和可见光图像变换至同一个空间坐标系，进而将变换至同一个空间坐标系的红外图像和可见光图像进行叠加，即为融合后的图像。

[0078] 本实施例中对不同匹配对对应的透视矩阵的筛选等同于对有效特征点匹配对的选取，进而避免误匹配的问题。

[0079] 在步骤S4处，对所述融合后的图像进行识别，得到待检测关键构件的识别结果，以进行电力设备的预警。

[0080] 在得到融合后的图像后，通过对融合后的图像进行电力设备中关键构件的识别，得到不同的电力设备中关键构件的分割图像。

[0081] 其中，由于融合后的图像中具有红外图像A对应的表面温度信息，进而根据不同电力设备中关键构件的预设温度值，完成基于多模态的电力设备安全预警，即当每一个电力设备中关键构件的分割图像中的最大温度值，大于等于对应电力设备中关键构件预设温度值时，则进行预警。

[0082] 上述中，对融合后的图像进行电力设备中关键构件识别，选用U‑net网络进行关键构件的识别。

[0083] U‑net网络的数据集通过具有相关经验的人员进行不同图像采集，采集后将属于不同电力设备中关键构件的像素点进行不同值的编号进行标注，不同电力设备中关键构件的像素点对应的编号不重复，其中同属于同一电力设备中关键构件的像素点进行同值的编号进行标注，其中背景像素点标注为0。

[0084] 利用获取的数据集对U‑net网络进行训练。由于U‑net网络训练为公知内容，此处不在赘述。

[0085] 当然作为其他实施方式，本发明还可以采用深度学习网络模型，如FCN网络。

[0086] 本发明的方案，通过进行红外图像与可见光图像的边缘匹配，降低了特征点误匹配的概率，降低了在特征点数量过少时匹配误差过大情况，提高了电力设备安全预警的鲁棒性。

[0087] 虽然本说明书已经示出和描述了本发明的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式提供的。本领域技术人员会在不偏离本发明思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本发明的过程中，可以采用对本文所描述的本发明实施例的各种替代方案。