[0001] 本发明涉及图像处理技术领域，尤其涉及一种基于注意力机制的单幅图像去雨方法。

[0002] 户外视觉系统广泛地用于军事、交通和安全监控、相机图像处理等军事和民用领域，下雨作为最频繁的恶劣天气之一，会损害视频图像的质量，影响目标检测、识别、追踪、分割等计算机视觉算法性能。因此检测和去除图像中的雨滴和雨线对户外视觉系统十分重要，具有广泛应用价值。

[0003] 根据去雨对象的不同，去雨场景分为视频去雨和单幅图像去雨两种，由于缺乏时域信息，单幅图像去雨比视频去雨更具挑战性。一个典型的图像去雨系统主要包括两部分，求取雨水层和获取干净背景层。在进行单幅图像去雨时，首先，利用导向滤波器或双边滤波器等做图像分解，将图像分解为含有背景轮廓和雨线的高频部分和含模糊背景的低频部分；然后，基于之前高频部分的结果，利用深度学习、字典学习或稀疏编码的方式检测并除去高频部分中的雨线，只留下去雨之后的背景轮廓；进而，将含模糊背景的低频部分做对比度提高或者去雾处理，得到优化的模糊低频背景；最后，根据得到的优化低频结果和去雨后的高频部分结果进行结合，得到最终去雨的单幅图像。

[0004] 去除雨层是图像去雨的核心，直接关系到图像去雨的效果。目前，现有技术中的一种检测并去除雨层的方法为：深度学习方法。该方法基于深度学习方法的模型训练卷积神经网络来识别雨线和求取雨层，将图像去雨建模为一个直接求取雨层映射的问题。

[0005] 上述深度学习方法的缺点为：由于大多数深度学习都致力于求取雨层，然后用带雨的图片减去雨层得到处理后的干净图片，但是在实际情况中，一副图像中的雨水的形态、大小和方向都不同，用一个统一的映射关系表示雨层显得十分困难，它们就会出现去雨不充分，去掉非雨线部分的背景等问题。

[0038] 下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

[0039] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

[0040] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

[0041] 为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。

[0042] 本发明将彩色三通道带雨图片作为输入，通过自编码模型实现背景特征的提取并进行编码，编码过程中利用注意力模块进行特征加强，最终将图片背景特征信息编码到一个保存向量feature map中，该feature map注意了背景中更重要的信息。然后再通过解码部分对该feature map进行解码图像还原，网络采取残差网络的学习方式，学习无雨与有雨图片的残差，减少参数学习，再与原图片相加得到最终的去雨图片。

[0043] 本发明实施例提出了一种基于注意力机制的单幅图像去雨方法，实际应用时只要将带雨的图片输入自编码模型生成网络，输出就是去雨图片。该方法的具体处理流程如图1所示，包括以下处理步骤：

[0044] 步骤S110、构建基于注意力机制的特征增强模块。

[0045] 图2为本发明实施例提供的一种Attention(注意力)机制的特征加强模块构建过程示意图。传统神经网络只利用主干卷积层进行特征提取，本发明利用Attention机制，通过添加权重掩码学习分支，训练分支学习主干特征权重，将主干和分支输出结合，得到带权重的特征，该特征带有注意力特性，表示加强背景信息，将注意力模块作为加强特征的过程之一，添加特征权重学习分支构建基于注意力机制的特征增强模块。

[0046] 上述带有注意力特性的特征为H(x),H(x)的表示见式(1)

[0047] H(x)＝(1+M(x))×T(x)  (1)

[0048] 其中，H(x)为带注意力的特征值，M(x)为分支学习到的Attention图像，T(x)为常规主干卷积提取的特征。

[0049] 步骤S120、利用基于注意力机制的特征增强模块构建基于注意力机制的自编码模型。

[0050] 本发明在去噪自编码模型基础上，将上述基于注意力机制的特征增强模块加入去噪自编码模型的编码部分，构建基于注意力机制的自编码模型。假设有雨图像为rain，无雨图像为norain，生成去雨图片为norainge，图3为本发明实施例提供的一种基于注意力机制的自编码模型示意图。

[0051] 步骤S130、将上述基于注意力机制的自编码模型作为自编码生成网络，利用自编码生成网络和判别网络组成自编码生成对抗网络。

[0052] 将上述基于注意力机制的自编码模型作为自编码生成网络，获取原始有雨图片和原始无雨图片，向自编码生成网络输入原始有雨图片得到生成去雨图片，用所述原始有雨图片和原始无雨图片做差得到差值图片，将所述生成去雨图片和所述差值图片构成第一组图片，将所述原始无雨图片和所述差值图片构成第二组图片，将所述第一组图片、所述第二组图片分别输入到判别网络，分别输出所述第一组图片、所述第二组图片的判别结果：所述判别网络输入第一组图片，理想判别值为False,表示判别器可以判别出生成去雨图片和差值图片不是原始的一对，表明自编码网络性能有限；所述判别网络输入第二组图片，理想判别值为True，表示判别器可以判别出原始无雨图片和所述差值图片是原始的一对。差值图片的作用是表明关注雨水区域，判别器是否能正确区分原始无雨图片和生成去雨图片。

[0053] 上述判别网络是额外引入的一个网络，用于对自编码生成网络生成的图片进行判别。判别网络和自编码生成网络组成一个整体，这个整体叫做自编码生成对抗网络。

[0054] 步骤S140、利用判别网络和自编码生成网络的误差反向传播分别训练判别网络和自编码生成网络，利用训练后的自编码生成网络构建基于注意力机制的自编码生成网络去雨模型。

[0055] 上述自编码生成对抗网络的目标函数可以表示为式(2)。

[0056] L＝Le+Lp+La  (2)

[0057] 其中，Le为norainge与norain的MSE(mean-square error,均方误差)最小平方误差，Le计算见式(3)；Lp为norainge与norain之间的视觉特征误差，即经过预训练VGG16层提取特征的MSE最小平方误差，计算见式(4)；La为自编码生成对抗网络的对抗误差，计算见式(5)。

[0058]

[0059]

[0060]

[0061] 式(3)中C,W,H分别为图像通道数、图宽和图高， 为自编码模型生成对抗网络的映射函数，式(4)中VG为完成预训练的VGG16网络输入层到第16层的函数映射，式(5)中N为一批由自编码模型生成对抗网络得到的生成去雨图片的总数，可设为批训练数。

[0062] 本发明通过深度神经网络前向计算和反向传播对基于注意力机制的自编码模型生成对抗网络进行优化求解，通过求误差并进行网络的误差反向传播，可以实现对自编码生成对抗网络的参数的训练与更新，从而构建单幅图像去雨模型。

[0063] 判别网络用于判断一张无雨图片是自编码生成网络生成的图片还是真实的图片，当无法判断无雨图片是否是真实时(此时判别正确率为0.5)，则说明自编码模型已达到较好效果。判别网络的判别过程示意图如图4所示。本发明的判别网络采用条件概率的形式，记有雨图片rain和真实无雨图片的差值图片为subtract，将norainge和subtract作为组合1输入判别网络，norain和subtract作为组合2输入判别网络，根据判别网络输出的判断结果的误差更新判别网络的参数，并引导自编码生成网络的参数更新，达到下次生成更好样本的目的，判别网络的损失函数见式(6)。

[0064]

[0065] 采用高斯分布中的随机初始化参数方法初始化上述基于注意力机制的自编码模型、判别网络和自编码生成网络的参数。设置网络批训练数量大小，学习迭代次数，将待雨图片输入生成网络，得到去雨图片，将去雨图片、真实无雨图片、有雨和真实无雨差值图片按上一节(4)的方式输入判别网络，计算误差。固定自编码生成网络，用判别网络的误差反向传播更新判别网络的参数。固定判别网络，用自编码模型生成网络的误差反向传播更新自编码模型生成网络的参数。

[0066] 按公式(2)、(3)、(4)、(5)和(6)计算判别网络、自编码生成网络的误差，交替训练网络判别网络、自编码生成网络，不断更新判别网络、自编码生成网络的参数，不断降低误差，直到判别网络和自编码生成网络收敛到一定程度。然后，利用训练好的自编码生成网络和上述基于注意力机制的自编码模型构建最终的基于注意力机制的自编码生成网络去雨模型。

[0067] 然后，将待去雨的图像输入到上述基于注意力机制的自编码生成网络去雨模型，该单幅图像去雨模型输出上述待去雨的图像对应的完成去雨的图像。

[0068] 综上所述，本发明实施例的基于注意力机制的单幅图像去雨方法不同于传统去雨模型，该方法模拟人脑运用想象力提取并想象背景信息，而非更注重去除雨线的角度，利用注意力模块加强自编码器提取图像背景信息获取能力，从一个新的角度解决自编码器特征提取不明显问题，提高去雨网络训练学习速度，简单高效地提升了单幅图像去雨效果。

[0069] 本发明实施例的方法实现简单，可以减少网络训练次数，只需要原来去雨网络不到1/3的学习次数，就能达到更好的去雨效果。此外，加入注意力机制的自编码器可以加强提取到的背景特征，针对除去雨之外的含其他噪声的图像增强算法，例如去雪，原理具相通性。

[0070] 本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

[0071] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。

[0072] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

[0073] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。