[0001] 本发明涉及图像处理技术领域，尤其涉及一种图像去噪方法、系统、存储介质和电子设备。

[0002] 在图像去噪技术领域，传统的频域和空域处理方法虽然能一定程度上降低图像噪声并保留细节纹理，但其性能相较于基于人工智能(AI)的神经网络去噪方法存在泛化能力差、自适应差、学习能力不足、实时处理能力差、细节保留能力有限、噪声类型适应性差和自适应噪声去除能力差等等。AI神经网络去噪技术能够更有效地去除噪声，同时保留更多的图像细节和纹理信息，但这一性能提升通常伴随着更高的成本，包括更大的存储空间需求和更庞大的计算资源消耗。

[0003] 神经网络的性能与其参数量紧密相关，参数量越多的网络，其潜在的去噪能力越强，经过细致的训练优化，这些网络展现出更加优越的去噪效果。然而，高参数量的神经网络在实际应用中可能面临部署和计算的挑战。

[0004] 现有图像去噪方案中，大多采用直接对输入图像单独进行传统去噪技术或者AI神经网络去噪技术，这样会造成去噪效果不明显或者去噪成本过高的问题。因此，如何在保持降低成本的同时，实现较好的去噪效果。特别是当图像经过分块处理时，图像内容和噪声水平的多样性要求去噪方法能够针对性处理，以便在成本和性能之间找到平衡点。

[0054] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。

[0055] 作为本发明的一种实施例，如图1所示，本发明提供了一种用图像分块思想结合传统的基于离散余弦变换的去噪和基于神经网络的去噪方法，该例子神经网络的运算量为60G，离散余弦变换去噪的运算量为1.5G，可以看到离散余弦变换的运算量要远小于基于神经网络的去噪。神经网络的参数量为500k个，离散余弦变换的参数量为16个。

[0056] 步骤100：对输入图像进行分块处理，得到N个具有不同尺寸的第一块状图像，对输入图像进行分块处理的方法为频域分析法、噪声评估法、目标检测法和显著性检测法。

[0057] 频域分析法：利用频域变换(如离散余弦变换)后的高频和低频分量特性来划分图像块。例如根据噪声水平设定一个阈值，对于每个图像块，计算其离散余弦变换后的高频分量大小，并判断哪些高频分量大于阈值，哪些小于阈值，对于大于阈值的高频分量，认为它们包含重要的图像信息，应该保留或轻微去噪。对于小于阈值的高频分量，认为它们主要包含噪声，可以进行更强的去噪处理。这种方法侧重于区分图像中的纹理和细节(高频)与平滑区域(低频)。

[0058] 噪声评估法：通过评估图像块内的噪声水平(如标准差)来划分图像块。对每个图像块计算标准差。标准差反映了图像块内像素值变化的程度，标准差越大，噪声越强。对于标准差大于某个预设阈值的图像块，认为这些块中的噪声较大，可以进行更强的去噪处理。对于标准差小于或等于预设阈值的图像块，认为这些块中的噪声较小或没有噪声，可以进行较轻的去噪处理或不做去噪处理。这种方法根据块内像素值的波动程度来判断其重要性。

[0059] 显著性检测法：通过计算图像块内的局部对比度来评估其显著性。对每个图像块计算局部对比度。局部对比度可以通过比较窗口内所有像素的均值和最大值来计算，或者使用其他类似的指标。对于对比度较大的图像块，认为这些块包含重要的图像内容，应该保留或轻微去噪。对于对比度较小的图像块，认为这些块中的信息可能不太重要，可以进行更强的去噪处理。这种方法关注于图像块的视觉重要性和显著性，通常用于突出显示图像中的关键区域。

[0060] 目标检测法：使用神经网络或其他机器学习方法检测图像中的特定目标(如人、车、文字等)。利用检测类的神经网络得到的重要物体：在计算机视觉领域，检测类神经网络(如YOLOv5、Faster R‑CNN等)通常用于识别和定位图像中的特定物体。这些网络通过卷积神经网络(CNN)结构来提取特征，然后使用分类器或回归器来预测物体的类别和位置。当检测到重要物体时，可以根据物体的特点和上下文环境选择合适的去噪方法。

[0061] 对于检测到的人，可以去噪的方法包括：空间滤波：在人脸区域周围添加一些模糊效果，以减少背景噪声对人脸细节的影响。可以使用高斯滤波或其他类型的平滑滤波器来实现这一点。颜色滤波：根据人的肤色特点，可以选择性地增强或减弱某些颜色的强度，从而提高人物轮廓的清晰度。这可以通过调整色相/饱和度/亮度(HSV)空间的参数来实现。边缘检测：利用边缘检测算法来突出人物轮廓，从而去除背景噪声。

[0062] 车：对于检测到的车辆，可以去噪的方法包括：运动模糊：模拟车辆行驶过程中的动态模糊效果，使车辆轮廓更加明显。这可以通过在车辆周围添加轻微的运动模糊来实现。颜色填充：在车辆轮廓内部填充一种纯色，以突出其形状和边界。这可以通过改变图像的颜色通道来实现。形态学操作：使用膨胀、腐蚀等形态学操作来增强车辆的轮廓，使其更加清晰。

[0063] 文字：对于检测到的文字，可以去噪的方法包括：字符分割：首先将文字从图像中分离出来，然后对每个字符进行单独的去噪处理。这可以通过使用OCR技术来实现。频率域去噪：在频率域中对文字信号进行滤波，以去除高频噪声成分。这可以通过使用小波变换等技术来实现。空间域去噪：在空间域中对文字区域进行滤波，以去除背景噪声。这可以通过使用中值滤波等技术来实现。这种方法侧重于识别和划分图像中包含重要目标的区域。

[0064] 作为本实施例的优选实施方式，如图2所示，对于一些块，可以采用基于离散余弦变换的去噪方法，比如图中的8×8大小的方块，噪声较低，图像内容简单、容易处理的方块。这种方法通过对图像块进行离散余弦变换，然后根据一定的阈值去除高频噪声成分，最后通过逆离散余弦变换重建去噪后的图像块。离散余弦变换去噪的运算量相对较小，参数量也较少，适用于对去噪效果要求不是特别高或计算资源有限的情况。

[0065] 对于其他块，可以采用基于神经网络的去噪方法，比如图中的16×16和32×32大小的方块，图像噪声适中和图像噪声复杂、图像内容一般和图像内容复杂的区域。这种方法利用训练好的神经网络模型对图像块进行去噪处理。神经网络的参数量较大，运算量也较大，但通常能提供更好的去噪效果。

[0066] 通过这种方式，可以得到去噪效果和成本之间的折中。如果期望去噪效果更好，可以让更多的块使用基于神经网络的去噪；如果期望成本更低，可以让更多的块使用基于离散余弦变换的去噪。

[0067] 本发明的优点在于，可以根据具体的需求和资源限制，灵活地选择去噪方法。同时，它还可以通过调整分块策略和去噪方法的比例，来实现不同的去噪效果和成本之间的平衡。

[0068] 作为本实施例的优选实施方式，如图3所示，不同的块用不同的神经网络进行图像去噪，该实施例采用一个典型的卷积神经网络(CNN)在图像去噪任务中的工作流程。

[0069] 将输入图像被分割成N个图像块，每个图像块独立地送入神经网络进行处理。这种并行处理利用了图形处理单元的并行计算能力，显著提高了处理速度和效率。

[0070] 对每个图像块进行卷积(conv)操作，卷积层使用卷积核(或过滤器)在图像上滑动，提取局部特征，如边缘、纹理等。在卷积(conv)操作之后，应用批量归一化(Batch Normalization，BN)。批量归一化(Batch Normalization，BN)有助于稳定训练过程，提高收敛速度，减少过拟合。

[0071] 批量归一化之后，应用ReLU激活函数。ReLU函数(Rectified Linear Unit)引入非线性因素，允许网络学习更复杂的映射关系。卷积、批量归一化和ReLU激活的组合可能重复多次，形成深度网络结构。每次重复都可能提取更高层次的特征，从而捕捉更复杂的图像结构。

[0072] 在某些阶段，网络中可能包括池化层(pool)。池化操作(如最大池化或平均池化)减少数据的维度，同时保留关键信息，有助于减少计算量和防止过拟合。

[0073] 在网络的最后阶段，输出通过上采样(UpSample)操作合并在一起。上采样通过插入额外的像素(如使用最近邻上采样、双线性插值等)来增加数据的维度。上采样后的数据再经过一次卷积操作，以生成最终的输出。这通常用于生成去噪后的图像或进行进一步的图像处理。网络的最终输出是去噪后的图像块。这些图像块可以重新组合，形成完整的去噪图像。

[0074] 这个结构展示了CNN在处理图像去噪任务时的典型流程，特别是在进行特征提取和图像重建任务时。通过调整网络的结构和参数，可以适应不同的去噪需求和性能要求。

[0075] 步骤200：对第一块状图像，进行特征分析，得到目标图像特征，

[0076] 作为本实施例一实施方式，所述目标图像特征为第一块状图像中像素值的标准差，对所述第一块状图像，进行特征分析，得到目标图像特征，包括步骤：对所述第一块状图像进行噪声水平分析，计算第一块状图像中像素值的标准差。

[0077] 上述实施方式涉及的计算公式为：

[0078] 图像像素均值

[0079] 像素标准差 其中ω和h为图片的宽和高，pij为ij位置对应的像素值。

[0080] 作为本实施例的优先实施方式，所述目标图像特征为第一块状图像在频率域中频率分量的幅值，对所述第一块状图像，进行特征分析，得到目标图像特征，包括步骤：对所述第一块状图像进行噪声分布分析，计算第一块状图像在频率域中频率分量的幅值。

[0081] 上述实施方式的计算公式为：

[0082]

[0083] 其中X(k)是变换后的频率分量幅值，x(n)是原始信号，N是信号长度，k是频率分量索引，范围从0到N‑1。

[0084] 离散余弦变换在图像和视频压缩中尤为重要，因为它能够有效地将图像数据转换为频率域，并保留重要的视觉信息，同时去除冗余信息

[0085] 作为本实施例另一实施方式，所述目标图像特征为第一块状图像的局部对比度，对所述第一块状图像，进行特征分析，得到目标图像特征，包括步骤：对所述第一块状图像进行图像显著性分布分析，比较第一块状图像内的最大像素值和最小像素值，得到局部对比度。

[0086] 上述实施方式计算公式为：

[0087] 局部对比度＝像素最大值‑像素最小值。

[0088] 需要说明的是采用上面任意一种图像特征分析方法对对最终选用对应的去噪方法得到去噪后的图像的结果影响不大。

[0089] 步骤300：根据所述目标图像特征以及第一对应关系确定目标图像特征的去噪算法，所述第一对应关系为图像特征与图像去噪算法的对应关系；

[0090] 作为本实施例的一种实施方式，设定第一阈值，将所述标准差与所述第一阈值进行比较确定相应的去噪方法，所述第一阈值是根据输入图像的像素值计算得出的标准差；

[0091] 若所述标准差小于所述第一阈值，选择传统图像去噪方法或基于小参数量的神经网络去噪方法；若所述标准差大于所述第一阈值，选择基于大参数量的神经网络去噪方法。

[0092] 作为本实施例的一种实施方式，设定第二阈值，所述第二阈值根据用户需求和噪声分布的不同设置不同的值，将所述幅值与所述第二阈值进行比较确定相应的去噪方法，所述第二阈值是根据输入图像的频率分量计算得出的幅值；

[0093] 若所述幅值小于第二阈值，选择基于大参数量的神经网络去噪方法；若所述幅值大于第一阈值，选择传统图像去噪方法或基于小参数量的神经网络去噪方法。

[0094] 作为本实施例的一种实施方式，设定第三阈值，所述第三阈值根据用户需求和对比度的不同设置不同的值，比较所述局部对比度与所述第三阈值确定相应的去噪方法，所述第三阈值是根据输入图像的最大像素值和最小像素值得到的局部对比度；

[0095] 若所述局部对比度大于所述第三阈值，选择基于小参数量神经网络的去噪方法；若所述局部对比度小于所述第三阈值，选择基于大参数量神经网络的去噪方法或传统图像去噪方法。

[0096] 需要说明的是，不管采用上述哪种方法确定相应的去噪方法，最后得到的去噪效果没有明显差别。

[0097] 步骤400：采用目标图像特征的去噪算法对第一块状图像进行去噪，得到第二块状图像。

[0098] 所述传统图像去噪方法包括高斯滤波、傅里叶变换法或离散余弦变换法。高斯滤波使用高斯函数作为权重，对图像进行加权平均，可以有效去除高斯噪声。傅里叶变换法将图像从空间域转换到频率域，通过滤波器去除高频噪声，然后进行逆变换恢复图像，傅里叶变换法对于去除周期性噪声或具有特定频率特征的噪声非常有效。离散余弦变换法类似于傅里叶变换，离散余弦变换法将图像转换到变换域，通过阈值处理去除噪声。

[0099] 所述基于神经网络的去噪方法包括卷积神经网络、自编码器或生成对抗网络。卷积神经网络(CNN)是一种深度学习模型，使用卷积层来提取图像的局部特征，并通过全连接层进行分类或回归任务，能够捕捉到图像的复杂结构和上下文信息。自编码器是一种无监督学习模型由编码器和解码器组成，编码器将输入数据压缩到一个较低维度的表示中，而解码器则试图重构原始数据，可以用于数据降维、特征提取和无监督学习。生成对抗网络是一种深度学习模型，由生成器和判别器组成，生成器试图生成逼真的数据，而判别器则试图区分生成数据和真实数据，能够创造出具有高度真实感的数据。

[0100] 步骤500：将N个所述第二块状图像进行合并，得到目标图像。

[0101] 作为优选的实施方式，如果各个子块的去噪效果相似，直接将去噪后的块合并，不进行任何过渡处理。

[0102] 作为优选的实施方式，如图4所示，如果各个子块之间的边界明显，如图中的灰色区域，为了使各个子块之间的过渡更自然，可以采用图像过渡区的融合处理，首先，可以根据前面划分的块的重要块的位置设为255，不重要的位置设为0，生成一个标记图像。然后，通过均值滤波的方式产生过渡区，使得块的边界区域逐渐从一种去噪效果过渡到另一种去噪效果。

[0103] 图像过渡区的融合处理的两种方式分别是：

[0104] (1)基于块与块之间距离的双线性插值：这种方法通过计算当前像素点与四个相邻像素点的距离权重，进行双线性插值。公式可以表示为：

[0105] f(i,j)＝w1×p1+w2×p2+w3×p3+w4×p4

[0106] 其中，w1、w2、w3、w4分别是四个相邻像素点的距离权重，p1、p2、p3、p4分别是这四个像素点的像素值。这种方法可以在块与块之间产生平滑的过渡效果。

[0107] (2)基于频率域的多频带融合：这种方法首先将图像分成多个频带，可以简单地通过使用5x5的均值滤波或低通滤波得到。然后，在频率域对两个频带进行基于距离的双线性插值，从而实现块的融合。这种方法可以在不同频带之间产生自然的过渡效果。

[0108] 总的来说，图像分块后的去噪结果合并处理是一个关键步骤，它直接影响到最终的去噪效果和图像的自然程度。选择合适的合并处理方式，可以使去噪后的图像看起来更自然，减少块效应和边界效应。

[0109] 作为本发明的第二种实施例，如图5所示，一种图像去噪系统，包括图像分块模块1、图像特征分析模块2、图像去噪模块3和图像合并模块4，图像去噪模块3分别与图像特征分析模块2和图像合并模块4连接，图像特征分析模块2与图像分块模块1连接，

[0110] 图像分块模块1用于对输入图像进行分块处理，得到N个具有不同尺寸的第一块状图像；

[0111] 图像特征分析模块2用于针对不同尺寸的第一块状图像，进行特征分析，得到目标图像特征；

[0112] 图像去噪模块3用于根据目标图像特征以及第一对应关系确定目标图像特征的去噪算法，第一对应关系为图像特征与图像去噪算法的对应关系；以及采用目标图像特征的去噪算法对第一块状图像进行去噪，得到第二块状图像；

[0113] 图像合并模块4用于将N个第二块状图像进行合并，得到目标图像。

[0114] 作为本发明的第三种实施例，提供了一种可读存储介质，所述可读存储介质内存储有程序，所述程序被执行时，实现上述实施例中任一项所述的图像去噪方法。

[0115] 值得说明的是，所述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得电子设备执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

[0116] 作为本发明的第四种实施例，一种电子设备，包括显示屏和图像处理系统，所述显示屏用于显示去噪后的图像。所述显示屏显示的有：如图6所示是原始噪声图像，对于图中红色圆圈区域内的图像，信噪比为27.18dB；如图7所示是使用传统图像去噪后的图像，对于图中红色圆圈区域内的图像，信噪比为27.6dB；如图8所示是基于神经网络去噪方法去噪后的图像，对于图中红色圆圈区域内的图像，信噪比为27.8dB；如图9所示是图像分块后结合传统神经网络去噪方法和基于神经网络去噪方法去噪后的图像，对于图中红色圆圈区域内的图像，信噪比为29.2dB；如图10所示是图像分块后基于不同神经网络去噪方法去噪后的图像，对于图中红色圆圈区域内的图像，信噪比为32.42dB。因此，可以看出结合传统图像去噪技术和神经网络去噪优势的新型去噪方法或基于不同的神经网络去噪方法，在降低成本的同时，提供了较好的图像去噪性能。

[0117] 虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。