[0001] 本发明涉及电力系统中绝缘材料缺陷检测技术领域，尤其是涉及一种基于YOLOv5的绝缘拉杆缺陷检测方法及装置。

[0002] 国内外研究人员针对绝缘拉杆缺陷提出了诸多检测方法，大部分研究人员围绕脉冲电流局部放电测量来对绝缘拉杆缺陷进行检测，通过UHF传感器对电力设备局放产生的特高频(0.3‑3GHz)信号进行检测，从而判断设备局部放电状况，实现绝缘劣化状态的评估，研究发现，该方法对气隙缺陷，特别是直径大于1mm的气隙缺陷非常灵敏，然而，对于更加微小的放电及电离过程，该方法无法准确测量特征信号。此外，X射线检测与超声波检测也被研究人员应用在绝缘拉杆缺陷检测中，上述方法可以判定绝缘拉杆中的缺陷性质，并准确给出了缺陷的位置和几何尺寸，同时可视化了确证缺陷，检测结果也可长期保存，但此方法对于位置区域重叠缺陷及微小缺陷检测困难，且检测过程繁琐、检测效率低、检测成本高，不满足实际生产过程中的质量检测需求。

[0003] 综上，目前尚无高效、高灵敏度的绝缘拉杆缺陷检测方法，现有研究虽然在一定程度上可实现对绝缘拉杆缺陷的检测，但其检测方法存在一定的局限性，无法实现对各类缺陷(包括微小缺陷)的精准检测，且检测效率低，检测过程繁琐，不满足实际生产过程中的质检需求，因此现在亟需探究一种高灵敏的绝缘拉杆缺陷检测方法。

[0038] 实施例

[0039] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

[0040] 一种基于YOLOv5的绝缘拉杆缺陷检测方法,如图1所示，包括：

[0041] 获取绝缘拉杆缺陷原片，建立绝缘拉杆缺陷数据集；具体步骤如下：

[0042] (1)对绝缘拉杆缺陷进行图像采集，得到绝缘拉杆缺陷原片；

[0043] (2)记录拍摄时相机关于绝缘拉杆的位置参数信息；

[0044] (3)根据位置参数信息对采集得到的图像进行缺陷信息标注；

[0045] (4)建立绝缘拉杆缺陷数据集，通过无模型数据增强扩充绝缘拉杆缺陷数据集。

[0046] 根据山东某高压开关有限公司提供的在生产和运行过程中含有气泡、裂纹、杂质、白斑四类常见缺陷的绝缘拉杆，选取200根上述绝缘拉杆，并利用高清工业相机对其进行图像采集，获得635张绝缘拉杆缺陷原片。在进行拍摄时，测量并记录此时相机镜头与绝缘拉杆之间的距离，即拍摄距离，获得在拍摄各类缺陷最清晰情况下的拍摄距离，同时测量并记录拍摄得到的图片中绝缘拉杆的视野范围，即图像中的绝缘拉杆在真实情况下的长度。利用Labelimg标注软件对获得的绝缘拉杆缺陷原片进行缺陷标注，并通过无模型数据增强即随机旋转、随机翻转、锐化、色域变换、Mosaic数据增强来扩充数据集容量、丰富数据集的多样性，绝缘拉杆缺陷原片经过图像增强后建立绝缘拉杆缺陷数据集，其中训练集容量为3040，验证集容量为200，测试集容量为598。具体实现流程如图2所示。

[0047] 利用建立的绝缘拉杆缺陷数据集训练基于YOLOv5s的绝缘拉杆缺陷检测网络，获得绝缘拉杆缺陷检测模型；如图3所示，绝缘拉杆缺陷检测网络包括骨干特征提取网络、颈部特征融合网络和头部预测网络，图像输入YOLOv5s网络后首先会经过网络的图像预处理阶段，此时，图像经过自适应图片缩放会缩放到网络预设的输入大小，同时对图像进行归一化操作，将像素值转化为0‑1之间的浮点数以便后续操作，并且为丰富数据集的多样性，增强网络的鲁棒性，输入图像还会经过图像预处理阶段的数据增强操作，如：Mosaic、Mixup、Copy_paste、随机裁剪、随机旋转、随机翻转、色域变换，输入图像经过网络预处理后会先输入到Backbone中对图像进行特征提取，转化为多层特征图以便后续操作，经过Backbone输出的特征图会在颈部特征融合网络中进行多尺度特征融合，并把这些特征传递给预测层，最后经过头部预测网络进行最终的回归预测。

[0048] 骨干特征提取网络(Backbone)是被用作进行图像特征提取，将输入图像转化为多层特征图以便后续操作，其次Backbone通过组成其的CBS模块、C3模块以及SPPF模块实现图像特征的提取与转化以及网络深度与感受野的加深，CBS模块由卷积层、BN层以及激活函数组成，卷积层可看成滑动窗口，窗口在输入图像上滑动，并将窗口区域内图像特征值与卷积核进行操作，在经由BN层规范化卷积层输出特征信息的特征值分布，最后经过激活函数给神经网络引入非线性变换能力；C3模块是由多个CBS块构成的，其中最开始的CBS模块中卷积层步长为2，可以将特征图的尺寸减半，后续的CBS模块中卷积层步长为1，并且CBS块采用的都是3x3的卷积核。在每个CBS块之间，还加入了BN层和LeakyReLU激活函数，以提高模型的稳定性和泛化性能，同时在C3模块中通过Bottleneck模块引入残差结构，增加了网络的深度与感受野，提高了网络图像特征提取能力；SPPF模块由CBS模块、最大池化下采样操作以及Concat模块组成，将输入特征图分别进行不同最大池化下采样操作，获得一组不同大小的特征图，再经过Concat模块讲不同大小特征图连接在一起，最后通过全连接层将连接后的特征向量降维，得到固定大小的特征向量。

[0049] 颈部特征融合网络(Neck)通过自顶向下的上采样以及自底向上的上采样操作来实现不同层次特征图的特征融合，生成具有多种尺度信息的特征图，获得更为丰富的特征表达。其中，Neck通过FPN结构实现自顶向下的上采样操作，对Backbone最后一层输出的特征图进行上采样，并将其与Backbone中同等尺度特征图进行融合，得到更为丰富的特征表达，重复两次上述操作，以实现将深层次的语义特征传递到浅层，从而增强多个尺度上的语义表达；Neck通过PAN结构实现自底向上的下采样操作，对FPN结构最后一层输出的特征图进行下采样操作，并将其与FPN中同等尺度大小的特征图进行融合，重复上述操作直至到达FPN顶层，以实现将浅层的位置信息层传递到深层，从而增强多个尺度上的定位能力。

[0050] 头部预测网络(Head)结构简单，仅由3个1*1的卷积构成，分别对应三个检测特征层，利用上述卷积对经过Backbone和Neck输出的80*80*256，40*40*512，20*20*1024三种不同尺度特征图进行升降维，分别得到80*80*255，40*40*255，20*20*255三种不同尺度特征图，其相对应于将输入640*640的特征图分别划分为80*80、40*40、20*20的网格，每个特征图上的网格包含三个先验框的信息，每个先验框包含预测目标的坐标与长和宽、预测目标的分类概率以及置信度，分类概率表示该网格内预测目标的类别信息，置信度表征该网格内存在检测目标的概率，即置信度越高该网格内越有可能存在目标。最后网络输出端会输出所有网格的预测信息。

[0051] 在上述建立的绝缘拉杆缺陷检测网络基础上，利用建立绝缘拉杆缺陷数据集对其进行训练，在模型训练时，采用YOLOv5s网络在Pascal VOC公共数据集上训练得到的权重参数来初始化网络参数，周期数设置为300，批训练大小设置为4，初始学习率设置为0.01，为防止重复进行拼接操作，关闭YOLOv5s里的Mosaic操作。为验证该方法的可行性，利用YOLOv5模型下的检测程序调用训练得到的绝缘拉杆缺陷检测模型对测试集下的绝缘拉杆缺陷原片进行预测，为充分检验绝缘拉杆缺陷检测模型的性能，待检图片选用区域小、不明显并且包含多种缺陷的图片，检测结果如图4所示。从图中不难看出所有缺陷区域均被准确框出，包括缺陷重叠区域与缺陷不明显区域，并得到较高的置信度，验证了该方法的可行性。

[0052] 建立绝缘拉杆智能图像采集模块，具体为：

[0053] (1)根据记录的拍摄时相机关于绝缘拉杆的位置参数信息，确定在绝缘拉杆智能图像采集设备中高清工业相机镜头与绝缘拉杆的距离，采集到的绝缘拉杆缺陷原片中绝缘拉杆在真实情况下的长度为14‑15cm，由于绝缘拉杆长为48cm，内径为3cm，因此对整根绝缘拉杆进行无死角拍摄至少需要九台高清工业相机，搭建用于绝缘拉杆缺陷检测的智能图像采集平台，搭建绝缘拉杆图像采集暗室，绝缘拉杆缺陷如图5所示；

[0054] (2)确定暗室中相机间的位置参数、相机与绝缘拉杆间的位置参数、拉杆的放置方式以及承载相机的载物平台结构；

[0055] (3)搭建绝缘拉杆检测装置，包括：固定平台和设置在固定平台中心的灯管以及边缘处的三组相机调节支架，三组相机调节支架上均设置有三个载物台，每个载物台上均设置有相机，相机连接有相机控制装置，固定平台的上方设置有封闭外罩，封闭外罩的顶部开设有圆口，圆口上设置有盖体。绝缘拉杆套设在灯管上，相机对绝缘拉杆进行拍摄并传输给相机控制装置，相机采用高清工业相机，基于高清工业相机自带控制软件进行多台相机控制界面的开发，利用C++语言进行图形界面的开发，即在控制界面中点击控制按钮后会触发相应的动作事件来实现各台相机的参数调节、各台相机的图像抓拍以及多台相机的同步拍摄，同时会在控制界面中实时显示各台相机的拍摄画面，具体界面细节如图6所示。

[0056] 集成开发多台相机控制界面与绝缘拉杆缺陷检测程序，建立绝缘拉杆缺陷检测模块进行绝缘拉杆缺陷检测，具体为：

[0057] 在搭建的多台相机控制界面基础上，需对控制界面与YOLOv5检测程序进行集成开发，首先利用Flask框架构建Web应用程序，通过向Flask路由发送Post请求并提供输入、输出文件夹的路径，即拍摄后得到的待检图片的路径以及检测后得到检测结果的存储路径，来通过调用训练得到的绝缘拉杆缺陷检测模型执行绝缘拉杆缺陷检测程序，因此在控制界面中输入拍摄图像的存储路径后点击“多相机抓拍”按钮时，会同时触发两个动作事件，首先会控制装置内的九台工业相机同步操作同时对整根绝缘拉杆进行图像采集，并将采集后的图像存储在指定文件夹下，其次触发flask.py程序的运行，将点击“多相机抓拍”按钮前输入的拍摄图像存储路径经过Flask路由发送Post请求，使检测程序接收到待检图片的路径以及输出检测结果的存储路径，并执行绝缘拉杆缺陷检测相关指令，因此在点击“多相机抓拍”按钮后，会在相应输出图片存储文件夹下生成两个子文件：original文件与detect文件，分别存放拍摄得到的绝缘拉杆原片以及缺陷检测结果图。同时会对“检测记录”事件进行额外开发，即在点击“检测记录”按钮后，跳转到相应的检测记录界面下对本次检测的检测进度、检测结果、检测详情以及检测时间进行详细的记录并保存，如图7所示。

[0058] 因此，本发明采用上述结构的一种基于YOLOv5的绝缘拉杆缺陷检测系统，经过集成开发多台相机控制界面与绝缘拉杆缺陷检测程序后会形成绝缘拉杆缺陷智能检测装置，将采集到的绝缘拉杆图像传递给绝缘拉杆缺陷检测模型，通过利用YOLOv5检测程序调用训练得到的绝缘拉杆缺陷检测模型对传入的绝缘拉杆原片进行缺陷检测，实现了对绝缘拉杆缺陷高效、准确的检测需求，满足实际生产过程中的绝缘拉杆质检要求。

[0059] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。本发明实施例中的方案可以采用各种计算机语言实现，例如，面向对象的程序设计语言Java和直译式脚本语言JavaScript等。

[0060] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0061] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0062] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0063] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

[0064] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。