[0001] 本申请涉及故障检测领域，具体而言，涉及一种光伏板的故障检测方法及装置、存储介质及计算机程序产品。

[0002] 目前，光伏电厂的光伏板在使用过程中会出现局部开裂、弯曲、异物、积灰和热斑等各种故障，这些故障会严重降低发电效率，甚至影响光伏电厂的安全运营。由于光伏电厂规模大，传统的故障发现依赖巡检人员的现场观察，且容易出现纰漏。因此自动化的光伏板故障检测方法成为光伏电厂的首选，现有技术中基于图像的光伏板故障检测算法无法满足光伏电厂复杂的检测需求，检测效率低，因此，相关技术中，存在如何提升光伏板的故障检测效率的问题。

[0003] 针对相关技术中，如何提升光伏板的故障检测效率的问题，目前尚未提出有效的解决方案。

[0004] 因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。

[0025] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

[0026] 需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0027] 本申请实施例中所提供的方法实施例可以在计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本申请实施例的一种光伏板的故障检测方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器(Central Processing Unit，MCU)或可编程逻辑器件(Field Programmable Gate Array，FPGA)等的处理装置)和用于存储数据的存储器104，其中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

[0028] 存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的光伏板的故障检测方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器
102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0029] 计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

[0030] 在本实施例中提供了一种光伏板的故障检测方法，图2是根据本申请实施例的一种光伏板的故障检测方法的流程图，如图2所示，该流程包括如下步骤：

[0031] 步骤S202，获取图像采集装置对光伏板进行图像采集所得到的当前图像；

[0032] 可选的，上述步骤S202中，可以通过无人机采集光伏板的图像，需要说明的是，由于部分光伏板故障无法通过可见光图像检测，因此在图像采集过程中可以同时进行可见光图像和红外光图像的采集。

[0033] 步骤S204，将所述当前图像输入已经训练好的故障检测模型；

[0034] 步骤S206，根据所述故障检测模型的输出结果确定所述光伏板的故障检测结果，其中，所述故障检测模型用于确定所述当前图像的图像检测结果，所述故障检测模型包括第一子模型和第二子模型，所述第一子模型包括多层编码器，所述多层编码器用于获取对所述当前图像进行编码的编码结果，所述第二子模型与所述第一子模型级联，所述第二子模型用于获取对所述编码结果进行分类的分类结果，并对所述分类结果进行融合以得到所述输出结果。

[0035] 通过上述步骤，可以将对光伏板进行图像采集所得到的当前图像输入至训练好的故障检测模型，故障检测模型的第一子模型通过多层编码器对当前图像进行编码得到编码结果，故障检测模型的第二子模型对编码结果进行分类得到分类结果，并对分类结果进行融合以得到输出结果，进而根据输出结果确定光伏板的故障检测结果。从而解决了相关技术中如何提升光伏板的故障检测效率的问题，实现了提升光伏板的故障检测效率的效果。

[0036] 在一个示例性的实施例中，在执行上述步骤S204将所述当前图像输入已经训练好的故障检测模型之前，还可以执行以下过程：基于所述光伏板的历史故障图像生成所述光伏板的故障图像集，所述历史故障图像已标注故障信息，所述历史故障图像的图像类型包括：可见光图像，红外光图像；以所述历史故障图像为输入样本，以所述历史故障图像的故障信息为输出样本，对初始检测模型进行模型训练，得到所述故障检测模型。

[0037] 可选的，在上述实施例中，对历史故障图像进行故障信息标注的过程可以由故障检测经验丰富的光伏电厂员工完成，故障信息标注的具体内容包括标注故障位置，故障大小，故障类型等。

[0038] 可选的，在上述实施例中，对历史故障图像进行故障信息标注的过程可以由故障检测经验丰富的光伏电厂员工完成，故障信息标注的具体内容包括标注故障位置，故障大小，故障类型等，在标注完成后还可以通过不同的颜色对不同类型的故障进行区分。

[0039] 在一个示例性的实施例中，上述对初始检测模型进行模型训练，得到所述故障检测模型的过程，具体包括：获取用于对初始检测模型进行模型训练所需的目标损失函数，其中，所述目标损失函数至少包括第一损失子函数，第二损失子函数，所述初始检测模型对应具有初始检测模型参数，所述第一损失子函数用于计算所述第一子模型的编码结果损失值，所述第二损失子函数用于计算所述第二子模型的分类结果损失值；基于所述第一子模型的编码结果损失值与所述第二子模型的分类结果损失值的和值确定出所述目标损失函数的总损失值；在确定所述总损失值小于预设值的情况下，确定所述初始检测模型训练完成，得到所述故障检测模型。

[0040] 进一步的，第二损失子函数还可以进一步分为第一分类结果损失子函数和第二分类结果损失子函数，以及分类结果融合损失子函数，以下给出第二损失子函数L的一个具体示例：

[0041]

[0042] 其中， 是第一分类结果的损失值， 是第二分类结果的损失值，lse是分类结果进行融合的损失值，i、M、N为大于等于1的正整数，M表示第一分类结果的数量，N表示第二分类结果的数量，例如第一分类结果包括6个分割图，第二分类结果包括6个边缘图，则M＝6，N＝6。

[0043] 在一个示例性的实施例中，上述基于所述光伏板的历史故障图像生成所述光伏板的故障图像集的执行过程包括：对所述历史故障图像进行预处理，以使多张预处理后的历史故障图像的图像大小保持一致；获取图像特征点提取结果，其中，所述图像特征点提取结果是对所述多张预处理后的历史故障图像进行特征点提取得到的，所述图像特征点提取结果包括：纹理特征点，亮度特征点，对比度特征点；基于所述特征点提取结果对所述多张预处理后的历史故障图像中的可见光图像和红外光图像进行特征点匹配，得到特征融合图像，将多个特征融合图像确定为所述故障图像集，其中，所述可见光图像和所述红外光图像是对同一光伏板进行图像采集得到的。

[0044] 可选的，在上述实施例中，通过对可见光图像和红外光图像进行图像融合可以得到更高分辨率，纹理信息更丰富的图像，进而使得故障检测模型可以更容易检测出图像中的故障信息。

[0045] 在一个示例性的实施例中，可以通过以下方式获取所述第一子模型对所述当前图像进行编码的编码结果：确定配置表，所述配置表用于保存图像尺度与编码层数之间的对应关系，所述编码层数表示所述第一子模型中的多层编码器的编码层数；从所述配置表中确定所述当前图像的图像尺度对应的目标编码层数；将所述目标编码层数确定为所述第一子模型中的多层编码器的编码层数，以得到配置后的所述第一子模型；将所述当前图像输入所述第一子模型，得到所述第一子模型输出的所述编码结果。

[0046] 可选的，在上述实施例中，例如可以通过残差U型块(Residual U‑block，RSU)构建多层编码器，残差U型块是一种在神经网络中使用的结构，它通常用于处理图像或序列数据。多层编码器的层数越高，获取的图像特征就越丰富，通过配置不同的编码器层数可以从图像中提取出不同尺度下的特征信息。

[0047] 在一个示例性的实施例中，可以通过以下方式获取所述第二子模型对所述编码结果进行分类的分类结果：确定所述第一子模型中的多层编码器的编码层数；基于第一解码器对所述编码结果进行解码，得到多个边缘图，所述多个边缘图的个数与所述编码层数一致；基于第二解码器对所述编码结果进行解码，得到多个分割图，所述多个分割图的个数与所述编码层数一致，其中，所述第二子模型包括所述第一解码器，所述第二解码器；根据所述多个边缘图与所述多个分割图确定所述分类结果，其中，所述分类结果包括所述多个边缘图与所述多个分割图。

[0048] 在一个示例性的实施例中，可以通过以下方式获取所述输出结果：基于所述第二子模型的第一卷积层对所述分类结果中的所述多个边缘图进行卷积级联运算，生成边缘融合图，以及基于所述第二子模型的第二卷积层对所述分类结果中的所述多个分割图进行卷积级联运算，生成分割融合图；基于所述第二子模型的第三卷积层对所述边缘融合图与分割融合图进行卷积级联运算，生成边缘分割融合图；对所述边缘分割融合图进行特征识别，得到特征识别结果，将所述特征识别结果确定为所述输出结果。

[0049] 可选的，在上述实施例中，多层编码器在对图像进行编码时分别在每一层都进行了编码并生成了编码结果，因此解码器在解码时需要对每一层的编码结果进行解码并生成每一层编码结果对应的解码图像。在上述实施例中存在两种类型的解码器，由第一卷积层将第一解码器在每一层生成的解码图像进行融合，得到边缘融合图，由第二卷积层将第二解码器在每一层生成的解码图像进行融合得到分割融合图，然后通过第三卷积层对边缘融合图与分割融合图进行融合，得到边缘分割融合图，最终通过对边缘分割融合图进行特征识别得到输出结果。

[0050] 显然，上述所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。为了更好的理解上述光伏板的故障检测方法，以下结合实施例对上述过程进行说明，但不用于限定本申请实施例的技术方案，具体地：

[0051] 在一个可选的实施例中，结合图3对本申请的光伏板的故障检测方法进行进一步说明。图3示出了本申请中第一子模型中的多层编码器的结构，由残差U型块作为多层编码器的基本单元，Cin,Cout表示输入和输出通道数，H×W表示输入图像的大小，3×3表示残差U型块中用于局部特征提取的普通卷积层的卷积核大小，M表示残差U型块内部层中的通道数。L表示多层编码器的编码层数，L越大，残差U形块越深，进行图像特征提取时获取的局部和全局特征越丰富。配置多层编码器的编码层数可以从具有任意空间分辨率的输入图像中提取多尺度特征。

[0052] 在一个可选的实施例中，结合图4对本申请的光伏板的故障检测方法进行进一步说明。如图4所示，En_1、En_2、En_3、En_4、En_5、En_6表示多层编码器对原图(相当于当前图像)进行编码后生成的编码结果，例如En_1表示多层编码器的第一层对原图进行编码后生成的编码结果，由边缘图解码模块(相当于第一解码器)对上述编码结果进行解码可以得到6个边缘图，即De_e6、De_e5、De_e4、De_e3、De_e2、De_e1，例如，De_e6表示边缘图解码模块对多层编码器的第六层生成的编码结果进行解码后生成的边缘图，然后通过第一卷积层对
6个边缘图进行级联运算得到边缘融合图，由分割图解码模块(相当于第二解码器)对上述编码结果进行解码可以得到6个分割图，即De_s6、De_s5、De_s4、De_s3、De_s2、De_s1，例如，De_s6表示分割图解码模块对多层编码器的第六层生成的编码结果进行解码后生成的分割图，然后通过第二卷积层对6个分割图进行级联运算得到分割融合图，最后通过第三卷积层对边缘融合图与分割融合图进行级联运算，得到最终融合图(相当于边缘分割融合图)。最终通过故障检测模型对边缘分割融合图进行特征识别得到输出结果。

[0053] 通过上述实施例提出的光伏板的故障检测方法，可以对光伏板进行图像识别，充分提取图像的各种特征，最大限度的检测出光伏板可能存在的故障，进而使得光伏板的故障检测效率和准确率都得到巨大提升。

[0054] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例的方法。

[0055] 在本实施例中还提供了一种光伏板的故障检测装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的设备较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

[0056] 图5是根据本申请实施例的一种光伏板的故障检测装置的结构框图，该装置包括：

[0057] 获取模块52，用于获取图像采集装置对光伏板进行图像采集所得到的当前图像；

[0058] 输入模块54，用于将所述当前图像输入已经训练好的故障检测模型；

[0059] 确定模块56，用于根据所述故障检测模型的输出结果确定所述光伏板的故障检测结果，其中，所述故障检测模型用于确定所述当前图像的图像检测结果，所述故障检测模型包括第一子模型和第二子模型，所述第一子模型包括多层编码器，所述多层编码器用于获取对所述当前图像进行编码的编码结果，所述第二子模型与所述第一子模型级联，所述第二子模型用于获取对所述编码结果进行分类的分类结果，并对所述分类结果进行融合以得到所述输出结果。

[0060] 通过上述装置，可以将对光伏板进行图像采集所得到的当前图像输入至训练好的故障检测模型，故障检测模型的第一子模型通过多层编码器对当前图像进行编码得到编码结果，故障检测模型的第二子模型对编码结果进行分类得到分类结果，并对分类结果进行融合以得到输出结果，进而根据输出结果确定光伏板的故障检测结果。从而解决了相关技术中如何提升光伏板的故障检测效率的问题，实现了提升光伏板的故障检测效率的效果。

[0061] 在一个示例性的实施例中，上述输入模块54还用于：基于所述光伏板的历史故障图像生成所述光伏板的故障图像集，所述历史故障图像已标注故障信息，所述历史故障图像的图像类型包括：可见光图像，红外光图像；以所述历史故障图像为输入样本，以所述历史故障图像的故障信息为输出样本，对初始检测模型进行模型训练，得到所述故障检测模型。

[0062] 在一个示例性的实施例中，上述输入模块54还用于：获取用于对初始检测模型进行模型训练所需的目标损失函数，其中，所述目标损失函数至少包括第一损失子函数，第二损失子函数，所述初始检测模型对应具有初始检测模型参数，所述第一损失子函数用于计算所述第一子模型的编码结果损失值，所述第二损失子函数用于计算所述第二子模型的分类结果损失值；基于所述第一子模型的编码结果损失值与所述第二子模型的分类结果损失值的和值确定出所述目标损失函数的总损失值；在确定所述总损失值小于预设值的情况下，确定所述初始检测模型训练完成，得到所述故障检测模型。

[0063] 在一个示例性的实施例中，上述输入模块54还用于：对所述历史故障图像进行预处理，以使多张预处理后的历史故障图像的图像大小保持一致；获取图像特征点提取结果，其中，所述图像特征点提取结果是对所述多张预处理后的历史故障图像进行特征点提取得到的，所述图像特征点提取结果包括：纹理特征点，亮度特征点，对比度特征点；基于所述特征点提取结果对所述多张预处理后的历史故障图像中的可见光图像和红外光图像进行特征点匹配，得到特征融合图像，将多个特征融合图像确定为所述故障图像集，其中，所述可见光图像和所述红外光图像是对同一光伏板进行图像采集得到的。

[0064] 在一个示例性的实施例中，上述确定模块56还用于：确定配置表，所述配置表用于保存图像尺度与编码层数之间的对应关系，所述编码层数表示所述第一子模型中的多层编码器的编码层数；从所述配置表中确定所述当前图像的图像尺度对应的目标编码层数；将所述目标编码层数确定为所述第一子模型中的多层编码器的编码层数，以得到配置后的所述第一子模型；将所述当前图像输入所述第一子模型，得到所述第一子模型输出的所述编码结果。

[0065] 在一个示例性的实施例中，上述确定模块56还用于：确定所述第一子模型中的多层编码器的编码层数；基于第一解码器对所述编码结果进行解码，得到多个边缘图，所述多个边缘图的个数与所述编码层数一致；基于第二解码器对所述编码结果进行解码，得到多个分割图，所述多个分割图的个数与所述编码层数一致，其中，所述第二子模型包括所述第一解码器，所述第二解码器；根据所述多个边缘图与所述多个分割图确定所述分类结果，其中，所述分类结果包括所述多个边缘图与所述多个分割图。

[0066] 在一个示例性的实施例中，上述确定模块56还用于：基于所述第二子模型的第一卷积层对所述分类结果中的所述多个边缘图进行卷积级联运算，生成边缘融合图，以及基于所述第二子模型的第二卷积层对所述分类结果中的所述多个分割图进行卷积级联运算，生成分割融合图；基于所述第二子模型的第三卷积层对所述边缘融合图与分割融合图进行卷积级联运算，生成边缘分割融合图；对所述边缘分割融合图进行特征识别，得到特征识别结果，将所述特征识别结果确定为所述输出结果。

[0067] 本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

[0068] 可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

[0069] S1，获取图像采集装置对光伏板进行图像采集所得到的当前图像；

[0070] S2，将所述当前图像输入已经训练好的故障检测模型；

[0071] S3，根据所述故障检测模型的输出结果确定所述光伏板的故障检测结果，其中，所述故障检测模型用于确定所述当前图像的图像检测结果，所述故障检测模型包括第一子模型和第二子模型，所述第一子模型包括多层编码器，所述多层编码器用于获取对所述当前图像进行编码的编码结果，所述第二子模型与所述第一子模型级联，所述第二子模型用于获取对所述编码结果进行分类的分类结果，并对所述分类结果进行融合以得到所述输出结果。

[0072] 在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read‑Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

[0073] 本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

[0074] 本申请的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

[0075] 可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

[0076] S1，获取图像采集装置对光伏板进行图像采集所得到的当前图像；

[0077] S2，将所述当前图像输入已经训练好的故障检测模型；

[0078] S3，根据所述故障检测模型的输出结果确定所述光伏板的故障检测结果，其中，所述故障检测模型用于确定所述当前图像的图像检测结果，所述故障检测模型包括第一子模型和第二子模型，所述第一子模型包括多层编码器，所述多层编码器用于获取对所述当前图像进行编码的编码结果，所述第二子模型与所述第一子模型级联，所述第二子模型用于获取对所述编码结果进行分类的分类结果，并对所述分类结果进行融合以得到所述输出结果。

[0079] 在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

[0080] 本申请的实施例还提供了一种计算机程序产品，包括非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储计算机程序产品，所述计算机程序被处理器执行时实现本申请各个实施例中所述方法的步骤。

[0081] 可选的，在本实施例中，上述计算机程序可以被设置为被处理器执行时实现以下步骤：

[0082] S1，获取图像采集装置对光伏板进行图像采集所得到的当前图像；

[0083] S2，将所述当前图像输入已经训练好的故障检测模型；

[0084] S3，根据所述故障检测模型的输出结果确定所述光伏板的故障检测结果，其中，所述故障检测模型用于确定所述当前图像的图像检测结果，所述故障检测模型包括第一子模型和第二子模型，所述第一子模型包括多层编码器，所述多层编码器用于获取对所述当前图像进行编码的编码结果，所述第二子模型与所述第一子模型级联，所述第二子模型用于获取对所述编码结果进行分类的分类结果，并对所述分类结果进行融合以得到所述输出结果。

[0085] 本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

[0086] 显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

[0087] 以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。