[0001] 本发明涉及图像处理领域，特别是涉及一种图像融合方法。

[0002] 在航空航天研究中，利用不同高度的空天飞行器所搭载的传感器可以获得丰富的对地观测数据和对空监视数据，实现环境监测、地物分类识别、地质勘查、石油探测和植被分析等多种用途。为了充分利用多传感器采集的信息，弥补单一传感器所获得的信息的局限性，适应不同的应用需求，图像融合技术应运而生。图像融合是将多通道所采集的同一目标图像的互补信息融合，使融合后的图像同时具备待融合图像的信息，以更为精确的反应实际信息。

[0003] 目前，现有的融合方法主要是利用矩阵运算和统计估计理论对带融合图像加以计算，实现信息互补。较为经典的方法有：加权融合方法，像素值取大法，像素值取小法，主成分分析法以及统计估计法等。但是，上述像素级融合方法在融合后其图像对比度较低，同时也不能很好的保留、合并源图像中的细节特征，因而导致此类方法已无法满足各领域的应用需求。

[0036] 为使本发明具体实施方式的目的、技术方案和优点更加清楚明白，下面结合附图对本发明具体实施方式做进一步详细说明。在此，本发明的示意性具体实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

[0037] 如图1所示，本发明提供了一种图像融合方法，用以提升融合图像对场景细节特征的展现能力，该方法包括：

[0038] 101：获取同一场景的可见光图像和红外光图像；

[0039] 102：分解可见光图像获得第一高频子图像和第一低频子图像，以及分解红外光图像获得第二高频子图像和第二低频子图像；

[0040] 103：根据第一高频子图像和第二高频子图像生成场景的高频融合图像，以及根据第一低频子图像和第二低频子图像生成场景的低频融合图像；

[0041] 104：根据场景的低频融合图像和高频融合图像计算场景的融合图像。

[0042] 具体实施中，融合第一低频子图像和第二低频子图像可以有多种实施方案。例如，由于低频子图像中主要包括原始图像中的颜色、亮度等信息，且可见光图像和红外光图像的低频子图像具有信息互补特性，为了使得低频融合图像更为精准，因而在融合低频子图像时还需要去除重叠部分的冗余信息。具体的，首先需要根据两幅原始图像的低频子图像计算低频融合图像的冗余信息，而后再将两幅原始图像的低频子图像进行融合并去除已经计算好的冗余信息，便可以获得场景的低频融合图像。因而所述根据第一低频子图像和第二低频子图像生成场景的低频融合图像，可以根据如下公式进行计算：

[0043] I＝Al(row,col).*(Al(row,col)＜＝Bl(row,col))+Bl(row,col).*(Al(row,col)＞Bl(row,col))；

[0044] Dl＝Al+Bl-I；

[0045] 其中，I表示场景的低频融合图像的冗余信息；l表示低频；Dl表示场景的低频融合图像；Al表示第一低频子图像；Bl表示第二低频子图像；(row,col)表示像素位置。

[0046] 具体实施中，融合可见光图像的低频子图像和红外光图像的高频子图像可以有多种实施方案。例如，由于邓氏关联度具有针对少数据、贫信息、不确定性问题进行处理的独特优势，且可以适用于图像中的小邻域像素形成的数据序列。因而可以将邓氏关联度引入到图像融合中对Curvelet(曲波)分解后高频图像的小邻域像素序列的处理中，以确保邻域信息不丢失。还可以根据邓氏关联度的定义，构建以此作为衡量源图像经Curvelet(曲波)分解后对应不同频带子图的局部相关性，并制定出融合规则的依据。具体的，由于高频子图像代表了两幅原始图像中的边缘、纹理等细节特征，为了充分利用邻域信息，可以将两幅原始图像的高频子图像均划分成多个区域，两者的划分相同，且划分的多个区域可以一一对应。然后再分别计算可见光图像的高频子图像(即第一高频子图像)与红外光图像的高频子图像(即第二高频子图像)在各对应区域内的邓氏关联度，进而根据邓氏关联度融合各对应区域的高频融合图像，在获得各对应区域的高频融合图像后，只需要将各对应区域的高频融合图像进行拼接，便可以获得场景的融合图像。因而如图2所示，所述根据第一高频子图像和第二高频子图像生成场景的高频融合图像，可以包括如下步骤：

[0047] 201：将第一高频子图像和第二高频子图像划分为多个对应的区域；

[0048] 202：计算第一高频子图像和第二高频子图像的各对应区域的邓氏关联度系数；

[0049] 203：根据各对应区域的邓氏关联度系数融合各对应区域的第一高频子图像和第二高频子图像，生成各对应区域的高频融合图像；

[0050] 204：根据各对应区域的高频融合图像计算场景的高频融合图像。

[0051] 具体实施中，在第一高频子图像和第二高频子图像上划分多个区域可以有多种实施方案。例如，为了在保证计算效率的同时可以尽可能利用邻域信息，各对应区域可以为4×4分辨率大小的区域。

[0052] 具体实施中，根据邓氏关联度计算各对应区域的高频融合图像可以有多种实施方案。例如，可以将各对应区域的邓氏关联度与设定阈值进行比较，进而根据比较结果来确定高频子图像的加权权值，因而，如图3所示，所述步骤203：根据各对应区域的邓氏关联度系数融合各对应区域的第一高频子图像和第二高频子图像，生成各对应区域的高频融合图像，可以包括如下步骤：

[0053] 301：分别比较各对应区域的邓氏关联度系数与设定阈值；

[0054] 302：若对应区域的邓氏关联度系数大于设定阈值，则将对应区域间邓氏关联度系数作为加权权值计算对应区域的高频融合图像；若对应区域间邓氏关联度系数小于设定阈值，则根据区域能量取大准则计算对应区域的高频融合图像。

[0055] 具体的，如果一对应区域的邓氏关联度系数大于设定阈值，则说明该对应区域内两幅图像的高频子图像相关性高，可以对将邓氏关联度系数作为加权权值；如果一对应区域内两幅图像的邓氏关联度系数小于阈值，则可以认为该对应区域内两幅图像的高频子图像存在较大差异，需要继续比较两幅图像的区域能量值，即采取区域能量取大的融合规则。

[0056] 具体实施中，所述步骤302：若对应区域的邓氏关联度系数大于设定阈值，则将对应区域间邓氏关联度系数作为加权权值计算对应区域的高频融合图像；若对应区域间邓氏关联度系数小于设定阈值，则根据区域能量取大准则计算对应区域的高频融合图像，可以根据如下公式进行计算：

[0057]

[0058] 其中，RD表示邓氏关联度系数；th∈(0,1)，表示设定阈值； 表示第i层第j方向上一对应区域的高频融合图像；i表示层序号；j表示方向序号；h表示高频。

[0059] 具体实施中，分解可见光图像和红外光图像可以有多种实施方案。例如，所述步骤102：分解可见光图像获得第一高频子图像和第一低频子图像，以及分解红外光图像获得第二高频子图像和第二低频子图像，可以进一步包括：对可见光图像进行多层(n层,n∈R)Curvelet(曲波)分解，获得第一高频子图像和第一低频子图像，以及对红外光图像进行多层曲波分解，获得第二高频子图像和第二低频子图像。

[0060] 具体实施中，计算场景的融合图像可以有多种实施方案。例如，所述步骤104：根据场景的低频融合图像和高频融合图像计算场景的融合图像，可以进一步包括：对场景的低频融合图像和高频融合图像进行曲波逆变换运算，获得场景的融合图像。

[0061] 具体实施中，为了使得融合图像更为清晰，还可以在融合前对可见光图像和红外光图像进行预处理。进行预处理可以有多种实施方案，例如，在步骤101：获取同一场景的可见光图像和红外光图像时，还可以对所述可见光图像和红外光图像进行配准处理。

[0062] 具体实施中，如图4所示，基于Curvelet(曲波)分解和邓氏关联度系数的图像融合方法具体包括如下步骤：首先分别对已配准的可见光图像A和已配准的红外光图像B进行Curvelet(曲波)分解，以获得可见光图像A的高频子图像和低频子图像，以及获得红外光图像B的高频子图像和低频子图像；然后融合可见光图像A的低频子图像和红外光图像B的低频子图像，并去除冗余，获得场景的低频融合图像；以及计算可见光图像A的高频子图像和红外光图像B的高频子图像的邓氏关联度系数，并将邓氏关联度系数与设定阈值进行比较，在邓氏关联度系数大于设定阈值时，根据邓氏关联度系数融合可见光图像A的高频子图像和红外光图像B的高频子图像，在邓氏关联度系数小于设定阈值时，根据区域能量取大规则融合可见光图像A的高频子图像和红外光图像B的高频子图像，此步骤获得的是场景的高频融合图像；最后，对场景的高频融合图像和低频融合图像进行Curvelet(曲波)逆变换，获得场景的融合图像C。

[0063] 具体实施中，为验证本发明方法的有效性，还可以采用MATLAB2014作为仿真工具，基于已经过预处理的可见光和红外光图像分别使用加权融合算法(JQ)，主成分分析融合算法(PCA)，小波融合算法(WT)以及本发明方法进行图像融合仿真实验。其中加权融合算法权值均可以取0.5；小波融合算法中小波基可以采用sym 4，分层数为3；在采用本发明提供的融合方法时，曲波(Curvelet)分解原始图像时时可以采用wrap方法，其分解层数为6层，在比较邓氏关联度系数与设定阈值时，设定阈值th可以取0.7。

[0064] 实验采用分辨率均为512×512的可见光图像与红外光图像，分别对上述各融合算法与本发明提出的融合方法的融合效果在主观与客观指标上进行对比，实验所得融合结果如图5所示。

[0065] 从目视效果分析，在红外光图像中可见的人物，房屋，树等而在可见光图像却不可见，融合结果中把上述目标均有所呈现。加权平均的融合效果最差，图像模糊，细节体现最差；主成分分析融合算法的图像在亮度上比小波与新算法的亮度都低，细节不明显，但较于加权平均算法已有所提升；小波算法与新算法的融合效果主观效果相差不大。另一方面实验中采用了四种包括熵值(E)、均值(M)、标准差(STD)及平均梯度(AG)的客观评价指标，对上述不同的方法的融合效果进行定量分析，分析结果如表1(各种融合方法评价指标对比)所示。

[0066]

[0067] 表1

[0068] 表1中的标准差越大，则目标图像灰度级相差越多，图像体现的细节信息越多；均值主要体现了图像的亮度问题，均值越大，图像越明亮；熵值越大则图像包含信息越丰富；平均梯度越大，图像越清晰。通过表1的对比可知：本发明提供的方法较其他三种基本方法无论在均值还是熵，标准差，平均梯度方面均有明显优势，显然，本发明提供的方法在提升融合图像细节、亮度、清晰度及信息丰富程度等方面效果明显。

[0069] 本发明还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现图像融合方法。

[0070] 本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行图像融合方法的计算机程序。

[0071] 综上所述，本发明的图像融合方法，首先获取基于同一场景的可见光图像和红外光图像，对该红外光图像及可见光图像分解以获得可见光图像和红外光图像的高频、低频子图像，然后对可见光图像和红外光图像的高频、低频子图像融合以获得场景的低频融合图像和高频融合图像，最后将低频、高频融合图像进行融合以获得场景的融合图像。该方法在应用中不仅充分保留了图像的亮度与对比度信息，还凸显了图像中的细节(边缘、纹理等)信息，大幅度提高了图像的解译能力。

[0072] 本领域内的技术人员应明白，本发明的具体实施方式可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件具体实施方式、完全软件具体实施方式、或结合软件和硬件方面的具体实施方式的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0073] 本发明是参照根据本发明具体实施方式的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0074] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0075] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0076] 以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。