[0001] 本发明属于图像处理、计算机视觉技术领域，具体涉及一种基于注意机制的图像去模糊方法。

[0002] 作为外界客观世界信息记录和传递的载体，图像一直是人类获取和辨别客观世界信息的主要来源和手段。然而，在图像的拍摄过程中会经常发生由相机抖动或物体运动引发的图像模糊问题。由于模糊的图像失去了清晰的边缘和丰富的纹理信息，使得人们很难从中获取清晰的内容和精细的信息。因此，如何清晰化运动模糊图像，使其可以更好的应用于高级图像处理(图像检测、图像识别)等领域已经成为了一个研究热点。

[0003] 针对如何清晰化模糊图像这个问题，人们主要从以下两个方面展开研究：基于传统的方法和基于深度学习的图像去模糊方法。基于传统方法的图像去模糊方法依靠于从图像中手动提取先验或图像的统计信息，并在此基础上建模优化方程，通过迭代求解优化方程得到恢复后的图像。由于传统方法仅在有限的图像上提取先验，因此这类方法只在特定模糊图像上获得较好的去模糊结果，而在其他模糊图像上泛化性较低。此外，迭代求解优化函数需要耗费大量的时间，因而这类方法并不能很好的满足算法对实时性的要求。基于深度学习的图像去模糊问题通过在大量的数据集上提取特征，并在网络模型训练的过程中不断迭代选取更适合图像恢复的权值，从而恢复潜在的标签图像。虽然图像去模糊问题已经取得了一些成绩，但恢复得到的图像并不十分令人满意。例如，一些基于深度学习的方法中存在网络参数过多、网络模型过大的问题，而这无疑对网络训练在硬件配置方面提出了更高的要求；另外一些方法仅适用于合成的模糊图像，在实际的模糊图像中泛化性和鲁棒性较弱。

[0024] 以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0025] 下面结合算法流程框图对本发明进行详细的描述。

[0026] 如图1所示，本发明提供一种基于注意机制的图像去模糊方法的图像去模糊方法，其包括以下步骤：

[0027] 步骤1：构建图像边缘判别机制

[0028] 相较以往基于生成对抗网络的图像去模糊算法，判别器D的任务是判断输入图像是由生成器合成还是由来自于真实样本，其值表示生成器的输出图像在多大程度上像标签图像。然而，仅仅训练判别器D来分离生成的和真实的图像是不足以生成边缘清晰的去模糊图像的。这是因为显著的边缘是标签图像的一个重要特征，但图像边缘在整个图像中的比例通常很小。因此，如果输出的图像没有清晰的边缘，是很可能会混淆判别器并做出错误的判断。

[0029] 因此，为了解决先前图像去模糊方法的弊端，利用现有的模糊图像合成方法对标签图像 进行处理，并得到图像清晰程度略低于标签图像的边缘弱化图像 其中S表示标签图像域，E表示边缘弱化的图像域，M代表训
练集中的图像的个数，N代表边缘弱化图像的个数，si表示标签图像，ei表示边缘弱化图像。
此处的模糊图像合成方法中的运动矢量参数设置为[0.01,0.009,0.008,0.007,0.005,
0.003]。因此，可得到与标签图像对应的边缘弱化图像。并依此，在判别器训练的过程中，引入边缘弱化的图像、生成图像和标签图像，使得判别器能更敏锐的判别学习图像的边缘信息。此外，还通过设置生成器和判别器的目标损失函数来实现本发明提出的边缘判别机制，具体过程详见步骤3。

[0030] 步骤2：构建生成器和判别器的网络结构

[0031] 如图2和图4所示，其中生成器用于学习图像清晰化的过程，而判别器则对生成器学习得到的去模糊结果加以判别和反馈。

[0032] 步骤2.1:构建生成器G网络结构

[0033] 本发明采用U型网络作为生成器的网络结构，如图2所示。U型网络包括编码器和解码器两个部分，编码器阶段的主要作用是对图像进行空间压缩和编码，解码器阶段的主要作用是构建图像内容和域的特征。此外，在对应尺度的上采样层和下采样层之间建立跳变连接，将编码器中学习的低维度的特征与解码后的特征进行关联，指引对图像局部和细节的恢复，这对于图像结构和细节的学习十分关键。编码器部分包括一个卷积层将特征的维度映射到64×64；三个下采样层用以下采样并编码图像，每一个下采样层后面分别添加如图3所示的三个残差块，图像分辨率由256×256递减至64×64。对应的，解码器包括三个上采样层用以上采样并解码图像，每一个上采样层前面分别添加三个残差块，图像分辨率由64×64递减至256×256。最终，去模糊后的图像由一个Tanh层和一个卷积核是7×7的卷积层重建得到。

[0034] 步骤2.2:构建判别器D网络结构

[0035] 为了对真实的标签图像与生成器生成的图像进行区分，这里采用PatchGAN作为判别网络，如图4所示。该判别网络包括一个卷积层；三个下采样卷积层降低输入图像的分辨率和编码重要的局部特征用以分类，经过三个下采样卷积层的图像分辨率由256×256递减至32×32；一个经过sigmoid函数激活的卷积层用于得到最终的分类响应。每个卷积层后面都添加了样本标准化层和Leaky ReLU激活函数，并且所有卷积层的卷积核大小为4×4。生成器期望生成的图像以假乱真能够骗过判别器，使得判别器无法判别出相应图像是合成图像还是真实的标签图像；通过合成的方法得到与标签图像对应的边缘弱化图像，将边弱化图像引入到判别器的训练过程中，使得判别器在完成生成图像与标签图像判别任务的同时，还需要将标签图像与边缘弱化图像进行判别，从而提升判别器对图像边缘信息的判别学习能力。此外，对生成器也增加了生成图像和标签图像边缘一致性的约束，期望生成的图像与标签图像具有一致的边缘信息；判别器将判别的结果反馈给生成器，驱使生成器将模糊图像转换成边缘显著的去模糊图像，生成器根据判别器的反馈更新网络的参数进入下一次的迭代训练，生成器和判别器以上述描述的方式不断竞争训练，最终达到动态平衡，从而使生成网络重建出具有清晰边缘和细节的标签图像。

[0036] 步骤3：构建生成对抗网络模型的目标损失函数

[0037] 围绕着本发明的边缘判别机制，通过引进图像语义内容约束项Lcontent，图像边缘重建约束项Ledge以及图像边缘判别的约束项Ladv，分别对生成器G和判别器D的训练进行正则。因此，根据各部分的重要性，网络整体的目标损失函数可加权地表示为：

[0038] L(G,D)＝βLcontent+λLedge+αLadv

[0039] 其中，β，λ和α分别是Lcontent，Ledge和Ladv的权重系数。各约束项的权重系数约束如下：β＝10,λ＝12,α＝1，更大的值代表相应对的部分更重要。

[0040] 步骤3.1：构建图像语义内容约束项Lcontent

[0041] 图像去模糊的目的在于保证恢复前后的图像能保持相同的语义内容。本实施中采用预训练好的VGG19模型，分别抽取生成图像和标签图像的高阶特征，期望两者之间的距离无限逼近，并通过求解二范数L2对生成图像的语义学习过程加以约束，语义约束函数的表示如下：

[0042]

[0043] 其中，Lcontent(s,GθG(b))表示生成图像和标签图像的语义相似度之间的差距，W和H分别代表输入图像的宽度和高度，φi,j代表从VGG19模型第i个池化层和第j个卷基层激活之后得到的特征，GθG表示生成网络以及全部参数，φi,j(s)x,y表示标签图像的语义内容，φi,j(GθG(b))x,y表示生成图像的语义内容。

[0044] 步骤3.2：构建图像边缘重建约束项Ledge

[0045] 清晰的边缘是衡量图像是否清晰的定性指标之一，同时也是传统方法中重要的先验之一。因此，本实施例中采用Canny边缘提取算子，分别抽取生成图像和标签图像的边缘信息，期望两者之间的距离无限逼近，并通过求解一范数L1对图像的边缘学习过程加以约束，边缘约束函数的表示如下：

[0046]

[0047] 其中，Lcontent(s,GθG(b))表示生成图像和标签图像在边缘一致性上的差距，W和H分别代表输入图像的宽度和高度，Canny代表Canny边缘检测算子提取到的边缘特征，Canny(GθG(b))x,y表示生成图像的边缘信息，Canny(s)x,y表示标签图像的边缘信息。

[0048] 步骤3.3：构建图像边缘判别的约束项Ladv。

[0049] 如步骤1所述，将模糊图像bi∈Pdata(b)输入到生成器中可得到清晰化后的图像GθG(b)，标签图像si∈Pdata(s)以及边缘弱化图像ei∈Pdata(e)，其中Pdata(b)表示模糊图像的数据分布，Pdata(s)表示标签图像的数据分布，Pdata(e)表示边缘弱化图像的数据分布。在本发明方法中，训练判别器D的目标是最大限度地将正确的标签分配给清晰化的图像GθG(b)，具有清晰边缘的标签图像si∈Pdata(s)以及边缘弱化图像ei∈Pdata(e)，指引生成器将模糊图像转换成标签图像。此外，本发明采用基于推土机距离和梯度惩罚项(WGAN-GP)作为判别器的优化架构。因此，边缘驱动的判别器的约束函数表示如下：

[0050]

[0051] 其中， 项是判别网络D判别标签图像si为真，项是判别网络D判别生成图像G(bi)为假， 项是判别网络D判别标签图像ei为
假， 表示梯度惩罚项，λ为系数项， 表示在标签图像si和
生成数据G(bi)之间随机取值的连线上进行均匀采样得到的样本分布， 表示在标签图像si和边缘弱化图像ei之间随机取值的连线上进行均匀采样得到的样本分布。

[0052] 步骤4：生成对抗网络模型的训练与测试

[0053] 本实施例中选取GOPRO数据集中的2013对标签图像/模糊图像的训练集作为本发明的训练集，并使用合成的方式生成与标签图像对应的2013个边缘弱化图像ei∈Pdata(e)。本发明将模糊图像bi∈Pdata(b)，标签图像si∈Pdata(s)随机裁剪成256×256大小的图像输入到生成器中，学习图像的清晰化过程，并且此过程由目标损失函数Lcontent、Ledge进行约束。
此外，在判别器的训练过程中引入同样大小256×256的边缘弱化图像ei∈Pdata(e)，判别器需要完成两次判别任务，即生成图像GθG(b)和标签图像si∈Pdata(s)的判别与边缘弱化图像ei∈Pdata(e)和标签图像si∈Pdata(s)的判别。生成器和判别器在整个训练的过程中都会有意识地对图像的边缘信息进行判别学习，直到网络训练收敛。当测试时，只需要将模糊图像输入到已经训练收敛的G中，即可得到边缘显著的去模糊图像。

[0054] 本实施例中将生成对抗网络模型搭载在配置为一块Intel(R)Core(TM)i7 CPU(16GBRAM)3.60GHz的CPU和1块NVIDIA GeForce GTX 1080Ti GPU的台式电脑上运行。其中batch size(批量训练图像的个数)是2，G和D学习率是0.0001。激活函数Leaky ReLU的坡度是0.2。网络使用Adam优化器，其动量参数分别是β1＝0.5和β2＝0.999。

[0055] 本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。