[0001] 本发明涉及一种基于完全学习的电力图像处理方法及装置，属于电网运维智能化技术领域。

[0002] 随着国家电网的不断发展，户外的电力设备也在不断增加，因此对电路设备的维护也在不断增加。为了减少维护过程中人力的消耗，通过无人机自动巡检拍摄图像，并对图像自动进行异常值检测成为电力运维的未来发展方向。

[0003] 近些年，随着机器学习和深度学习的不断发展，深度学习的方法也被用于各行各业。卷积神经网络(CNN)在图像识别，语义分割和目标检测等任务中都表现出良好的特征学习性能。Transformer最早被引入自然语言处理领域，大都应用于机器翻译，语义关系识别等任务。

[0004] 目前，研究人员再将Transformer引入计算机视觉领域中，发现了Transformer在图像生成和超分辨率的领域也表现出巨大的潜力。尽管这两种方法都取得了巨大的成功，但卷积计算和自注意力计算的模块是遵循着完全不同的设计范式。传统的卷积网络偏向去学习图像局部信息并获得权值特征，Transformer则可以学习图像的全局信息特征。

[0005] 因此，如何将卷积网络与Transformer相结合对电力图像中非电力设备的物体如树木进行处理，方便对电力设备进行识别是本领域技术人员急需要解决的技术问题。

[0042] 下面结合具体实施例对本发明作更进一步的说明。

[0043] 如图1所示，一种基于完全学习的电力图像处理方法，包括如下步骤：

[0044] 通过N层卷积神经网络提取输入电力设备图像的局部特征，得到局部特征图。

[0045] 通过N层Transformer编码器提取输入电力设备图像的全局特征，得到全局特征图。

[0046] 将局部特征图和全局特征图进行权重拼接得到最终的图像特征图。

[0047] 将最终的图像特征图经过电力图像异常值检测模型，获得最后的电力设备识别结果。

[0048] 具体实现方法为：

[0049] 将原始的图像输入到N层卷积神经网络中，提取图像局部特征。每一层的卷积神经网络包括了卷积层、归一化层、激活层和池化层。每一层的卷积神经网络的输出都为下一层卷积神经网络的输入。每一层的卷积神经网络处理方法如下：

[0050] 卷积层是卷积神经网络的最重要的计算层。卷积层包含了多个卷积核，通过卷积核的计算滤波就可以得到图像的特征图。这个过程公式表示为： P为原h×w h×w
始的图像，P∈R ，R 为图像的长h和宽w的像素矩阵，W和b分别代表了卷积网络参数矩阵和偏置值。f(*)表示卷积滤波的操作。 代表了第i个卷积层的输出。

[0051] 经过卷积层后，将得到的输出进行归一化操作。Batch Normalization(BN)的作用就是将输入的值进行标准化操作，降低维度之间的差异至同一范围内。BN层首先先求出每批数据的均值和方差，然后再减去均值，再除以方差得到归一化数据。

[0052] 归一化操作后，再将归一化数据输入到激活层中。本层使用的激活函数为LeakyReLU激活函数，其公式为：

[0053]

[0054] 其中x代表了输入的数据，α为一个可学习的参数变量。

[0055] 将激活函数层的结果输入到最大池化层中，进行数据的压缩，保证数据在一定维度内都是最大的值。

[0056] 以上的操作为一层卷积神经网络的操作，第i层卷积神经网络的输出结果为第i+1层卷积神经网络的输入。经过这样的N次迭代操作后，就可以获得图像的局部特征图并表示为Fconv。

[0057] 将原始的图像，分为K个小块。这里是通过设置卷积核的kernel_size和padding值相等来实现的。然后将每个小块的值展平获得线性投影。然后再加上位置信息就可以作为每一个小块的特征信息。每一块图像的特征信息可以表示为Xi。然后再构建一个N层的Transformer编码器来学习图像的全局特征。每一层的Transformer编码器包含了归一化层、自注意力计算层、残差连接层和多层感知机模块，每一层的Transformer编码器的输出结果都为下一层的Transformer编码器的输入。每一层的Transformer编码器处理方法如下：

[0058] 将每一块图像的特征信息输入到Layer Normalization(LN)层中进行线性归一化处理。其功能与Batch Normalization一致，都是将数据的特征降低到一定的范围。

[0059] 将归一化的结果Xi′进行自注意力计算，获取每一块图像特征与其他块图像特征Q之间的语义关系。首先计算每一块图像特征归一化的结果Xi′的线性投影矩阵，分别根据W，K V
W和W三个权重矩阵与Xi′相乘计算得到线性投影矩阵Q，K，V。Q，K和V分别就代表了Xi′不同维度的投影矩阵。然后根据这三个线性投影矩阵计算出注意 力值 为：
其中D代表了输入的维度，softmax(*)为激活函数。在这里使用了
多头注意力机制，因此最后的多头注意力计算的结果为：MSA＝[SA1，SA2，...，SAk]Umsa。这里的K和Umsa分别代表了注意力头的数量和转换矩阵，SA分别代表了每个头的注意力计算结果。

[0060] 多头注意力计算完之后，再加入前一次的特征进行残差连接。可以表示为：Xi′＝Xi′+MSA。残差连接之后设置一个多层感知机模块，用来对残差连接之后的特征进行进一步的学习和参数权重的丢弃。这一步可以有效提高模型方法的拟合度。

[0061] 以上的操作为一层Transformer编码器的操作，第i层编码操作的输出结果为第i+1层编码操作的输入。经过这样的N次迭代操作后，就可以获得图像的全局特征图并表示为Ftran。

[0062] 对于局部特征图Fconv和全局特征图Ftran，我们使用两个可变的参数α和β来调节这两个特征图之间的权重比例。可以公式化为：Fout＝α·Fconv+β·Ftran。这样就可以得到最终的图像特征图Fout。

[0063] 对于最终的图像特征图Fout，设置一个电力图像异常值检测模型，包括一个多层感知机模块进行表示学习，然后再经过最后的全连接层得到最终的识别结果，用于对电力图像中异常情况进行识别。

[0064] 先通过上述步骤构建了一个异常值检测模型。其中模型的输入为无人机拍摄的照片，通过模型中间层的特征提取再经过最后全连接层可以获得模型的输出结果。输出结果为0或1，其中0代表了拍摄的巡检照片中的电路设备没有问题，1代表了拍摄的巡检照片中的电路设备存在问题，例如设备生锈，断裂，破损等。其次再将通过无人机拍摄的巡检照片分为训练集，验证集和测试集。先用训练集中的照片训练模型，然后在验证集上进行验证并对网络模型的超参数进行微调。最后在测试集上测试模型的预测能力。通过训练，验证和测试后可以得到最终的模型用于输电线路缺陷检测。此时输入一张或一组图片，便直接输出一个或一组结果值，其中结果值为0和1显示预测结果。

[0065] 本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。

[0066] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0067] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0068] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0069] 以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。