[0001] 本发明涉及图像增强技术领域，尤其涉及弱监督图像增强模型训练方法及装置。

[0002] 恶劣天气或环境因素通常会影响视觉传感器成像，如下雨天视觉传感器镜头上附着水滴会导致采集的图像出现水滴遮挡、视觉传感器镜头上沾上污泥会导致采集的图像出现脏污遮挡等，被水滴或脏污遮挡的图像为受污染图像，图像识别受污染图像时会无法正常识别出图像对应的目标。为获得干净图像，需要通过图像增强模型对受污染图像进行增强，消除图像上水滴和脏污等噪声影响。使用图像增强模型前需要对模型进行训练来提高模型的图像增强效果，目前的模型训练方法对模型去噪性能的提升效果有限，导致模型增强后的图像质量不高。因此，如何对模型进行更好的训练来更好的提高模型去噪性能成为本领域需待解决的问题。

[0017] 本发明实施例通过提供弱监督图像增强模型训练方法及装置，解决了如何提高图像增强模型去噪性能的技术问题。

[0018] 为了更好的理解本发明的技术方案，下面将结合说明书附图以及具体的实施方式对本发明的技术方案进行详细的说明。

[0019] 如图1所示，本实施例的弱监督图像增强模型训练方法，包括：步骤S1，获取第一目标图像和第一目标图像对应的真值图像，第一目标图像为有标签的受污染图像；
步骤S2，将第一目标图像输入弱监督图像增强模型进行增强，得到第一目标图像对应的第一二元掩膜和第一干净图像；
步骤S3，利用第一目标图像和第一目标图像对应的真值图像对第一二元掩膜和第一干净图像进行有监督训练；
步骤S4，获取第二目标图像，第二目标图像为无标签的干净图像；
步骤S5，将第一二元掩膜应用于第一目标图像得到噪声图像，并将噪声图像与第二目标图像进行融合以得到融合图像；
步骤S6，将融合图像输入弱监督图像增强模型进行增强，得到融合图像对应的第二二元掩膜和还原图像；
步骤S7，利用第二目标图像和第一二元掩膜对第二二元掩膜和还原图像进行弱监督训练。

[0020] 本实施例获取第一目标图像和第一目标图像对应的真值图像和第一目标图像对应的真值图像的方式为：在静止场景中，先利用视觉传感器采集一张干净图像，即为第一目标图像对应的真值图像；然后向视觉传感器镜头喷射水或者深色染料以模拟雨滴、脏污等噪声，再采集一张图像即为第一目标图像。第一目标图像和第一目标图像对应的真值图像构成有标签图像对，如图2所示。

[0021] 传统的图像增强模型一般由一个编码器和一个图像增强解码器构成，本实施例的弱监督图像增强模型由一个编码器和两个解码器构成，比传统的图像增强模型多了一个区域识别解码器。

[0022] 图2中，I为第一目标图像，gt为第一目标图像对应的真值图像，M为第一二元掩膜，为第一干净图像。第一二元掩膜M为对第一目标图像I中的受污染区域标记为1、对未受污染区域标记为0得到。步骤S2实际是提取受污染图像的受污染区域(对应M)并将受污染图像还原为干净图像(对应 )。

[0023] 步骤S3具体可以包括：为有监督训练损失函数，W、H、C分别为第一目标图像的长度、宽度和通道数。通过有监督训练可以在不标注第一目标图像I中受污染区域的情况下让模型自主学会识别并提取所有受污染区域并生成对应的二元掩膜。

[0024] 步骤S4中，第二目标图像为视觉传感器在任意场景采集到的单帧图像。图2中的U为第二目标图像，U′为融合图像(未画出)。

[0025] 步骤S5具体可以包括：U'＝M·I+(1‑M)·U。M·I为噪声图像，相当于第一目标图像I中的噪声。1‑M为对M取反，(1‑M)·U后相当于将第二目标图像U中与第一目标图像I中噪声在第一目标图像I中所处位置(受污染位置)相同的区域置0，将第二目标图像U中其它区域置1，置1的区域为去掉受污染位置后的背景图像。M·I+(1‑M)·U相当于将第一目标图像I中的噪声加载到第二目标图像U中。

[0026] 图2中的 为第二二元掩膜， 为还原图像， 与M基本相同但不完全相同。步骤S6实际是提取融合图像U′的受污染区域(对应 )并将融合图像U′还原为干净图像(对应 )。图2中左侧虚线框为有监督训练部分，右侧虚线框为弱监督训练部分。

[0027] 步骤S7具体可以包括：为弱监督训练损失函数，W、H、C分别为第二目标图像的长度、宽度和通道数。

[0028] 由上文可知，本实施例通过输入有标签图像对进行有监督训练，可以使弱监督图像增强模型自主提取有标签的受污染图像中的噪声，然后将有标签的受污染图像中的噪声加载到无标签的干净图像中进行弱监督训练，通过对弱监督图像增强模型进行训练可以显著提高弱监督图像增强模型的去噪性能。

[0029] 另外，传统的模型训练方法是仅输入有标签图像对进行有监督训练，即输入有标签的受污染图像和受污染图像对应的真值图像，输出干净图像，这样需要大量的有标签图像对，数据的标注成本高。本实施例为输入有标签图像对和无标签图像，无需大量的有标签图像对，减小模型对有标签图像的依赖，极大的降低了数据的标注成本，提高了模型的泛化能力。

[0030] 如图3所示，本实施例还提供一种弱监督图像增强模型训练装置，包括：获取模块，用于获取第一目标图像和第一目标图像对应的真值图像，第一目标图像为有标签的受污染图像；
增强模块，用于将第一目标图像输入弱监督图像增强模型进行增强，得到第一目标图像对应的第一二元掩膜和第一干净图像；
训练模块，用于利用第一目标图像和第一目标图像对应的真值图像对第一二元掩膜和第一干净图像进行有监督训练；
获取模块，还用于获取第二目标图像，第二目标图像为无标签的干净图像；
融合模块，用于将第一二元掩膜应用于第一目标图像得到噪声图像，并将噪声图像与第二目标图像进行融合以得到融合图像；
增强模块，还用于将融合图像输入弱监督图像增强模型进行增强，得到融合图像对应的第二二元掩膜和还原图像；
训练模块，还用于利用第二目标图像和第一二元掩膜对第二二元掩膜和还原图像进行弱监督训练。

[0031] 进一步的，训练模块利用第一目标图像和第一目标图像对应的真值图像对第一二元掩膜和第一干净图像进行有监督训练，可以包括：为有监督训练损失函数，W、H、C分别为第一目标图像的长度、宽度和通道数，I为第一目标图像，gt为第一目标图像对应的真值图像，M为第一二元掩膜，为第一干净图像。

[0032] 进一步的，融合模块将第一二元掩膜应用于第一目标图像得到噪声图像，并将噪声图像与第二目标图像进行融合以得到融合图像，可以包括：U'＝M.I+(1‑M).U；
U′为融合图像，M为第一二元掩膜，I为第一目标图像，U为第二目标图像。

[0033] 进一步的，训练模块利用第二目标图像和第一二元掩膜对第二二元掩膜和还原图像进行弱监督训练，可以包括：为弱监督训练损失函数，W、H、C分别为第二目标图像的长度、宽度
和通道数，U为第二目标图像，M为第一二元掩膜， 为第二二元掩膜， 为还原图像。

[0034] 基于与前文所述的弱监督图像增强模型训练方法同样的发明构思，本实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现前文所述的弱监督图像增强模型训练方法其中，总线架构(用总线来代表)，总线可以包括任意数量的互联的总线和桥，总线将包括由处理器代表的一个或多个处理器和存储器代表的存储器的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和接收器和发送器之间提供接口。接收器和发送器可以是同一个元件，即收发机，提供用于在传输介质上与各种其他装置通信的单元。处理器负责管理总线和通常的处理，而存储器可以被用于存储处理器在执行操作时所使用的数据。

[0035] 由于本实施例所介绍的电子设备为实施本发明实施例中弱监督图像增强模型训练方法所采用的电子设备，故而基于本发明实施例中所介绍的弱监督图像增强模型训练方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本发明实施例中的方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中弱监督图像增强模型训练方法所采用的电子设备，都属于本发明所欲保护的范围。

[0036] 基于与上述弱监督图像增强模型训练方法同样的发明构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被处理器执行时实现上述任一弱监督图像增强模型训练方法。

[0037] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。

[0038] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0039] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0040] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0041] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

[0042] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。