具体技术细节
[0005] 为解决上述一个或多个技术问题，本发明提出一种胎压智能调控方法及系统，用以解决现有在进行红外与可见图像融合时特征点可能存在误匹配的问题。为此，本发明在如下的一个方面中提供方案。
[0006] 在第一方面中，本发明提供的基于多模态的电力设备安全预警方法，包括以下步骤：
[0007] 获取待检测关键构件的电力设备的红外图像和可见光图像；
[0008] 对所述红外图像和可见光图像分别进行特征点匹配，得到多个匹配对；随机选取至少四个匹配对，计算红外图像变换至可见光图像的透视矩阵；
[0009] 对所述透视矩阵进行筛选，得到最优透视矩阵；
[0010] 利用所述最优透视矩阵，进行红外图像和可见光图像的融合，得到融合后的图像；
[0011] 对所述融合后的图像进行识别，得到待检测关键构件的识别结果，以进行电力设备的预警；
[0012] 其中，所述最优透视矩阵的获取过程为：
[0013] 对所述红外图像和可见光图像分别进行边缘检测，得到红外边缘结果和可见边缘结果；
[0014] 基于红外边缘结果，构建第一完全无向图结构数据；基于可见边缘结果，构建第二完全无向图结构数据，并进行两个完全无向图结构数据的匹配，得到红外边缘结果的多个同构子图；
[0015] 选取红外边缘结果与各同构子图的距离值中最小距离的同构子图，作为红外边缘结果匹配的同构子图，并得到同构子图中的匹配像素点坐标；
[0016] 获取红外图像中各特征点在当前透视矩阵转换后的坐标；
[0017] 计算匹配像素点坐标与对应的特征点的坐标的欧式距离值，确定当前透视矩阵的合适度；选取合适度最小时对应的透视矩阵，作为最优透视矩阵。
[0018] 可选地，所述得到红外边缘结果的多个同构子图的过程为：
[0019] 对红外边缘结果和可见边缘结果分别进行连通域分析，得到红外边缘结果的多个连通域及其对应的像素点坐标序列、可见边缘结果的多个连通域及其对应的像素点坐标序列；
[0020] 以红外边缘结果中的单个连通域为节点，构建第一完全无向图结构数据；以可见边缘结果中的单个连通域第二完全无向图结构数据；其中，
[0021] 节点值为对应连通域的像素点坐标序列；
[0022] 利用KM算法进行第一完全无向图结构数据和第二完全无向图结构数据的匹配，得到红外边缘结果的多个同构子图。
[0023] 可选地，KM算法匹配过程中的任意两个节点的距离值为：
[0024] F＝exp(‑min(Gx,Gy))*Hx,y
[0025] 其中，Gx表示红外边缘结果中第x节点对应的边缘的边缘像素点个数，Gy表示可见边缘结果中与红外边缘结果对应的同构子图的第y节点对应的边缘的边缘像素点个数；exp()函数为以e为底数的指数函数，min()函数为求最小值，Hx,y表示第x节点对应的边缘线和第y节点对应的边缘线之间的近似性值，其中近似性值的获取方法为：采用离散像素点的曲率计算方法，分别计获取第x节点对应边缘线对应的曲率序列和第y节点对应边缘线对应的曲率序列，并计算两曲率序列的相似度。
[0026] 可选地，所述合适度为：
[0027] Mq＝Lq*n+Pq
[0028] 其中，n为一个超参数，Mq为第q个透视矩阵的合适度，Lq为第q个透视矩阵对应的欧式距离值之和，Pq为当前第q组中多个匹配对中任意两个匹配对之间特征点描述子对应距离值的累加值；Lq为红外图像中每一个边缘像素点坐标到转换后坐标的欧式距离K值的累加值，即Lq＝sum(K1,K2,…Kk)，其中，k为红外图像A中的第k个边缘像素点；其中转换后坐标为每一个边缘像素点坐标经第q个透视矩阵转换至灰度图像中所在坐标系的坐标。
[0029] 可选地，所述相似度采用DTW算法进行计算。
[0030] 可选地，所述特征点的匹配算法采用knn和ransac匹配算法。
[0031] 可选地，在进行特征点匹配和边缘检测之前，还对可见光图像进行灰度化处理的步骤。
[0032] 本发明的有益效果为：
[0033] 本发明的方案，在红外图像和可见光图像进行特征点匹配的基础上，从图像边缘检测结果的角度入手，对特征点匹配的透视矩阵进行筛选，能够提高融合后的图像的准确性，进而提高后续图像识别的准确性，以实现电力设备的预警。
[0034] 同时，本发明通过对红外图像和可见光图像进行边缘检测，并借助图数据结构进行红外图像和可见光图像中各边缘的匹配，避免匹配过程中的误匹配问题，为后续的图像融合提供了数据支撑。
法律保护范围
涉及权利要求数量7：其中独权1项，从权-1项
1.基于多模态的电力设备安全预警方法，其特征在于，包括以下步骤：
获取待检测关键构件的电力设备的红外图像和可见光图像；
对所述红外图像和可见光图像分别进行特征点匹配，得到多个匹配对；随机选取至少四个匹配对，计算红外图像变换至可见光图像的透视矩阵；
对所述透视矩阵进行筛选，得到最优透视矩阵；利用所述最优透视矩阵，进行红外图像和可见光图像的融合，得到融合后的图像；
对所述融合后的图像进行识别，得到待检测关键构件的识别结果，以进行电力设备的预警；
其中，所述最优透视矩阵的获取过程为：
对所述红外图像和可见光图像分别进行边缘检测，得到红外边缘结果和可见边缘结果；
基于红外边缘结果，构建第一完全无向图结构数据；基于可见边缘结果，构建第二完全无向图结构数据，并进行两个完全无向图结构数据的匹配，得到红外边缘结果的多个同构子图；
选取红外边缘结果与各同构子图的距离值中最小距离的同构子图，作为红外边缘结果匹配的同构子图，并得到同构子图中的匹配像素点坐标；
获取红外图像中各特征点在当前透视矩阵转换后的坐标；
计算匹配像素点坐标与对应的特征点的坐标的欧式距离值，确定当前透视矩阵的合适度；选取合适度最小时对应的透视矩阵，作为最优透视矩阵。
2.根据权利要求1所述的基于多模态的电力设备安全预警方法，其特征在于，所述得到红外边缘结果的多个同构子图的过程为：
对红外边缘结果和可见边缘结果分别进行连通域分析，得到红外边缘结果的多个连通域及其对应的像素点坐标序列、可见边缘结果的多个连通域及其对应的像素点坐标序列；
以红外边缘结果中的单个连通域为节点，构建第一完全无向图结构数据；以可见边缘结果中的单个连通域第二完全无向图结构数据；其中，节点值为对应连通域的像素点坐标序列；
利用KM算法进行第一完全无向图结构数据和第二完全无向图结构数据的匹配，得到红外边缘结果的多个同构子图。
3.根据权利要求2所述的基于多模态的电力设备安全预警方法，其特征在于，KM算法匹配过程中的任意两个节点的距离值为：
F＝exp(‑min(Gx,Gy))*Hx,y
其中，Gx表示红外边缘结果中第x节点对应的边缘的边缘像素点个数，Gy表示可见边缘结果中与红外边缘结果对应的同构子图的第y节点对应的边缘的边缘像素点个数；exp()函数为以e为底数的指数函数，min()函数为求最小值，Hx,y表示第x节点对应的边缘线和第y节点对应的边缘线之间的近似性值，其中近似性值的获取方法为：采用离散像素点的曲率计算方法，分别计获取第x节点对应边缘线对应的曲率序列和第y节点对应边缘线对应的曲率序列，并计算两曲率序列的相似度。
4.根据权利要求1所述的基于多模态的电力设备安全预警方法，其特征在于，所述合适度为：
Mq＝Lq*n+Pq
其中，n为一个超参数，Mq为第q个透视矩阵的合适度，Lq为第q个透视矩阵对应的欧式距离值之和，Pq为当前第q组中多个匹配对中任意两个匹配对之间特征点描述子对应距离值的累加值；Lq为红外图像中每一个边缘像素点坐标到转换后坐标的欧式距离K值的累加值，即Lq＝sum(K1,K2,…Kk)，其中，k为红外图像A中的第k个边缘像素点；其中转换后坐标为每一个边缘像素点坐标经第q个透视矩阵转换至灰度图像中所在坐标系的坐标。
5.根据权利要求3所述的基于多模态的电力设备安全预警方法，其特征在于，所述相似度采用DTW算法进行计算。
6.根据权利要求1所述的基于多模态的电力设备安全预警方法，其特征在于，所述特征点的匹配算法采用knn和ransac匹配算法。
7.根据权利要求1所述的基于多模态的电力设备安全预警方法，其特征在于，在进行特征点匹配和边缘检测之前，还对可见光图像进行灰度化处理的步骤。
