[0001] 本发明涉及图像融合技术领域，尤其涉及一种双模信息增强的图像融合方法、系统及设备。

[0002] 在当今信息化时代，图像处理技术在多个领域中扮演着至关重要的角色，尤其是在军事侦察、医疗诊断、安全监控以及遥感科学中。图像融合技术作为一种重要的图像处理技术，通过将来自多个源的图像数据综合起来，形成一幅新的图像，旨在更有效地提取目标信息和增强图像质量。

[0003] 传统的图像融合技术主要关注于单一模态的图像处理，以提高图像的清晰度或改善其表现形式。然而，这类方法通常无法处理或融合来自不同传感器的数据，如红外与可见光图像的融合，这限制了图像融合技术在实际应用中的广泛性和有效性。随着技术的进步，双模信息增强的图像融合方法应运而生。这种方法不仅关注传统的图像清晰度和视觉效果的提升，更重要的是，它能够处理并融合来自不同模态的信息，如红外图像与可见光图像的结合。红外图像能够显示物体的热分布情况，而可见光图像则提供丰富的颜色和细节信息。通过双模融合，可以在一个图像中同时获取温度信息和视觉细节，极大地增强了图像的信息量和应用价值。尽管双模信息增强的图像融合技术已经取得了显著进展，但仍面临一些挑战，如融合模型训练过程中损失函数设计不合理，导致融合结果细节信息丢失严重。

[0004] 中国专利公开号为“CN113628151A”，名称为“一种红外与可见光图像融合方法”，首先，该方法输入经过严格配准后的一张红外图像与一张可见光图像，将红外图像与可见光图像分别分解为一个低频分量和四个高频分量；然后，基于红外信息的区域平均能量的方法对红外图像与可见光图像的低频分量进行融合；基于区域对比度与平均梯度的方法融合不同尺度不同方向的高频分量；最后，将低频分量融合图像和高频分量融合图像进行逆变换得到融合图像。该方法得到的融合图像质量差，融合图像细节丢失严重。

[0017] 下面将结合本发明说明书附图中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0018] 需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后……）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

[0019] 另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“若干”、“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

[0020] 在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0021] 另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

[0022] 本发明提出一种双模信息增强的图像融合方法、系统及设备，旨在设计更合理的光谱平衡损失使得到的融合图像具有更高的清晰度和丰富的细节，且具有更好的视觉效果。

[0023] 下面将在具体实施例中对本发明提出的双模信息增强的图像融合方法进行说明：实施例1：一种双模信息增强的图像融合方法，如图1所示，包括以下步骤：
（1）将红外图像和可见光图像分别进行Gabor滤波器进行滤波，分别得到红外高频特征、红外低频特征、可见光高频特征和可见光低频特征；将红外高频特征和可见光高频特征进行拼接得到高频融合特征，红外低频特征和可见光低频特征进行拼接得到低频融合特征；
可以理解地，红外图像和可见光图像从CVC、MSRS和M3FD三个数据集中选取。

[0024] （2）构建包括高频信息处理支路和低频信息处理支路的融合网络模型，如图3所示，高频信息处理支路和低频信息处理支路分别包括四个卷积块，将高频信息处理支路的第四个卷积块和低频信息处理支路的第四个卷积块的输出，拼接输入到第五个卷积块，得到融合图像；（3）计算融合网络模型输出的融合图像与输入的高频特征和低频特征之间的损失函数，对融合网络模型进行训练，通过多次训练迭代计算损失函数值，直到训练次数达到设定阈值或损失函数的值到达设定范围。

[0025] 其中，光谱平衡损失和像素损失函数组合作为损失函数，光谱平衡损失函数和像素损失函数定义为： ；

[0026] 其中，x和y分别表示输入的两种图像，  、 、、分别表示输入x和y图像的方差和均值， 和 分别表示 和 的算术平方根，IOUT表示融合网络输出的图像，IIR和IVIS分别表示输入的红外图像和可见光图像，Q(x,y)表示图像的视觉感知质量评价函数，M表示光谱平衡指数，Lspectrum为光谱平衡损失函数，LPixel为像素损失函数；H和N分别表示输入图像的长和宽，i和j分别表示输入图像的坐标位置；
总的损失函数定义为： 。具体地，设定训练过程中一共进行
400个epoch，并在每完成100个epoch后，将当前学习率下调至原先的50%；在训练过程中，采用了Adam优化器以保证稳定的梯度下降，同时设定Adam的超参数betas为（0.9, 0.999），以及权重衰减系数为1e‑8，既能保证网络快速拟合，而不会导致网络过拟合；设定初始学习率为1e‑4、Mini‑Batch Size为32；损失函数值阈值设定为0.0003左右，小于0.0003就可以认为整个网络的训练已基本完成。

[0027] （4）将网络训练完成后，需要将网络中所有参数保存，之后用配准好的红外和可见光图像输入到网络中就可以得到融合好的图像。该网络对两张输入图像大小没有要求，任意尺寸均可，但是必须保证两张图像的尺寸一致。

[0028] 进一步地，所述步骤（1）中，Gabor滤波器的核函数倾斜角度为180°，设置8个不同大小的滤波器，每种图像可以得到8个不同的高频信息，使用原图分别减去8个高频信息，可以得到8个不同的低频信息。

[0029] 具体地，8个不同大小的滤波器，每个滤波器的尺寸为3×3、5×5、7×7、9×9、11×11、13×13、15×15和17×17。使用设计好的Gabor滤波器分别对红外和可见光图像进行滤波，分别得到8个红外高频特征和可见光高频特征；然后，使用红外和可见光图像分别减去红外高频特征和可见光高频特征得到8个红外低频特征和可见光低频特征；最后，将红外高频特征和可见光高频特征进行拼接得到高频融合特征，红外低频特征和可见光低频特征进行拼接得到低频融合特征。

[0030] 进一步地，所述步骤（2）中，每个卷积块由卷积层和激活函数组成；其中，卷积块1使用线性整流激活函数，卷积块1的卷积核大小为n1×n1，卷积块2、卷积块3、卷积块4使用HardSwish激活函数，卷积块2、卷积块3、卷积块4的卷积核大小为n2×n2，卷积块5使用S型激活函数，卷积块5的卷积核大小为n3×n3；所有特征图的大小与输入图像大小一致。

[0031] 具体地，每个卷积块由两个卷积层、两个激活函数、跳跃连接和拼接块组成，具体的组成结构如图4所示；其中卷积块1使用线性整流激活函数，卷积块2的卷积核大小为15×15；卷积块2、卷积块3、卷积块4使用HardSwish激活函数，卷积块2、卷积块3、卷积块4的卷积核大小为9×9，卷积块5使用S型激活函数，因为S型激活函数可以将特征图的输出限制在[0,1]之间，可以让网络的边缘和内容重构能力变强，融合图像的质量更高；卷积块5的卷积核大小为5×5；所有特征图的大小与输入图像大小保持一致；线性整流激活函数、HardSwish激活函数和S型激活函数的定义如下：
进一步地，所述步骤（1）中，红外图像和
可见光图像来自于CVC、MSRS和M3FD三个数据集，选5000对高质量的红外图像和可见光图像用于融合网络训练。

[0032] 本实施例构建的一种双模信息增强的图像融合方法，可以将源图像直接生成融合图像，不再经过中间其他步骤，避免了人工手动设计相关融合规则。通过计算与现有方法得到图像的相关指标，进一步验证了该方法的可行性和优越性。现有技术和本发明提出方法的相关指标对比如表1所示：表 1 现有技术和本发明提出方法的相关指标对比：
从表中可知，本发明提出的方法拥有更高的图像对比度、边缘强度、空间频率、平均梯度、视觉信息保真度和结构相似性，这些指标也进一步说明了本发明提出的方法具有更好的融合图像质量。

[0033] 实施例2：出一种双模信息增强的图像融合系统，如图5所示，包括：图像获取模块，用于获取训练数据；所述训练数据为红外图像和可见光图像；
图像处理模块，用于对训练数据中的每个图像进行预处理；将输入的红外和可见光图像分别进行Gabor滤波器进行滤波，分别得到红外高频特征、红外低频特征、可见光高频特征和可见光低频特征；
特征提取模块，用于对每个所述预处理完成的图像进行特征提取，得到每个图像的特征图集合；特征图集合包括大小不同的多个特征图；
模型训练模块，用于对每个所述图像的特征图集合中指定大小的特征图进行监督的模型训练，得到红外和可见光图像融合模型；
图像融合模块，用于将待融合的红外和可见光图像输入所述红外和可见光图像融合模型以进行图像融合处理。

[0034] 具体地，还包括存储介质，用于存储计算机程序，运行所述计算机程序可执行本实施例1提供的红外和可见光图像融合方法。

[0035] 实施例3：为解决上述技术问题，本发明还提出一种双模信息增强的图像融合装置，如图6所示，所述装置包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，所述一个或多个处理器实现如实施例1所述的红外和可见光图像融合方法。

[0036] 具体地，存储器可以是ROM，静态存储设备，动态存储设备或者RAM；存储器可以存储程序，当存储器中存储的程序被处理器执行时，处理器和通信接口用于执行本发明实施例的红外和可见光图像融合网络的训练方法的各个步骤；处理器可以采用CPU，微处理器，ASIC，GPU或者一个或多个集成电路，用于执行相关程序，以实现本发明的红外和可见光图像融合训练系统中的单元所需执行的功能，或者执行本发明的红外和可见光图像融合训练方法；
处理器还可以是一种集成电路芯片，具有信号的处理能力；在实现过程中，本发明的红外和可见光图像融合训练方法的各个步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成；上述的处理器，还可以是通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件；可以实现或者执行本发明的红外和可见光图像融合方法、步骤及逻辑框图；通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等；结合本发明的红外和可见光图像融合方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成；
软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中；该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成本发明的红外和可见光图像融合训练系统中包括的单元所需执行的功能，或者执行本发明的红外和可见光图像融合训练方法；
通信接口使用例如但不限于收发器一类的收发系统，来实现系统与其他设备或通信网络之间的通信；例如，可以通过通信接口获取待处理图像或者获取待处理图像的初始特征图；
总线可包括在系统各个部件(例如，存储器、处理器、通信接口)之间传送信息的通路。

[0037] 实施例4：一种红外和可见光图像融合的计算机可读存储介质，该计算机可读存储介质可以是上述实施方式中所述系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入设备中的计算机可读存储介质；计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明提供的方法；以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。