技术领域
[0001] 本发明涉及焊接缺陷视觉检测技术领域，尤其是涉及基于轮廓感知的车门总成焊接缺陷检测方法及装置。
相关背景技术
[0002] 车门总成焊接缺陷检测是确保车门总成焊接质量的重要环节，它涉及车门总成的强度和耐久性，进而影响整个产品的性能。
[0003] 车门总成的焊接质量通常采用超声波检测、射线检测、磁粉检测等手段来对焊接缺陷进行检测，上述各种检测手段均有缺陷，超声波检测对操作者的技术要求较高；难以检测到与超声波传播方向平行的缺陷；对材料表面状态敏感，需要耦合剂；射线检测设备成本高，操作复杂；对操作者和环境有辐射风险；检测效率较低；磁粉检测只适用于磁性材料；难以检测到深度较大的缺陷；需要清理表面涂层。
[0004] 也有采用视觉检测的方式对焊缝缺陷进行质检，公开号为CN110751604A的中国发明专利公开了一种基于机器视觉的钢管焊缝缺陷在线检测方法，首先对获取的钢管图像进行预处理，然后利用横、纵坐标两个方向的梯度求得梯度幅值矩阵和梯度方向矩阵，再对非极大值抑制后的图像进行区域生长获取边缘链，最后验证这些边缘链是否为真正的焊缝缺陷，并计算出缺陷信息。可以实现在线焊缝质检，这种在线检测方法在应用到复杂零部件，特别是车门总成的焊接检测中时，由于车门总成的焊缝并不规则，焊接位置多，且为了安装不同部件需要单独实现不同的焊接位，因此不适用于车门总成焊接质量的质检。
具体实施方式
[0049] 以下结合附图对本发明作进一步详细说明。
[0050] 本发明实施例公开基于轮廓感知的车门总成焊接缺陷检测方法及装置。
[0051] 参照图1－图4，实施例1，基于轮廓感知的车门总成焊接缺陷检测方法，包括以下步骤：
[0052] 步骤1，使用车门总成焊接图像获取装置获取车门总成焊接区域图像；
[0053] 步骤2，对车门总成焊接区域图像预处理，得到待处理图像；
[0054] 步骤3，采用边缘检测算法检测待处理图像的焊缝两侧边缘；
[0055] 步骤4，使用轮廓查找算法提取两侧边缘的两条轮廓线，两条轮廓线是外轮廓线和内轮廓线；
[0056] 步骤5，分别提取两条轮廓线作为待检测轮廓特征项，提取两条轮廓线之间的焊接区域作为待检测焊接区域特征项；
[0057] 步骤6，对待检测轮廓特征项，分别对外轮廓线和内轮廓线计算轮廓线总长，计算外轮廓线总长与标准外轮廓线总长的外轮廓线差异值，计算内轮廓线总长与标准内轮廓线总长的内轮廓线差异值，设置轮廓线长度差异阈值，若外轮廓线差异值和或内线轮廓差异值大于轮廓线长度差异阈值，则判断待检测轮廓特征项不合格，反之判断合格；
[0058] 步骤7，若步骤6判断合格，则分别采用线条特征提取算法提取外轮廓线和内轮廓的形状特征，分别基于标准外轮廓线形状特征和标准内轮廓线形状特征计算外轮廓线相似度和内轮廓线相似度，设置轮廓线相似度阈值，若外轮廓线相似度和或内轮廓线相似度大于相似度阈值，则判断待检测轮廓特征项不合格，反之判断合格；
[0059] 步骤8，若步骤7判断合格，则进行待检测焊接区域特征项检测，将待检测焊接区域按照区域宽度进行分段，分成多个待检测焊缝网格特征项，分别对多个待检测焊缝网格特征项进行放大处理，将放大后的多个待检测焊缝网格特征项分别输入训练好的机器学习模型，机器学习模型输出待检测焊接区域特征项检测结果。
[0060] 对不同焊接部位的焊缝进行拍照，拍摄前应先去掉焊皮后清洁焊接区域，拍摄不同焊接部位的图像，作为多个车门总成焊接区域图像进行分别质检，先对图像进行预处理，使图像更加标准，便于后续质检，将视觉质检分成待检测轮廓特征项和待检测焊接区域特征项两部分，待检测轮廓特征项采用总长和形状特征来进行质检，其中总长代表了焊缝的长度，对于不同的焊接位，其标准焊缝长度能体现焊接完整度和焊接规整度，在轮廓线总长与标准轮廓线总长的差值小于轮廓线长度差异阈值，才能进行后续的质检，否则直接输出质检不合格的质检结果，轮廓线长度差异阈值可以根据标准轮廓线总长来确定，例如轮廓线长度差异阈值为标准轮廓线总长的千分之一，若标准轮廓线总长的千分之一大于0.1mm，且取0.1mm；
[0061] 对于形状特征质检则采用相似度比较来实现，通过相似度比较能判断焊缝形状，避免因形状不同而总长相同导致的误检；待检测轮廓特征项的质检能快速地筛选明显不合格的焊缝，提升质检效率；
[0062] 若待检测轮廓特征项质检合格，则需要进行待检测焊接区域特征项质检，对于待检测焊接区域特征项先需要按照区域宽度进行分段，分成多个待检测焊缝网格特征项，这样可以形成多个类似正方形的待检测焊缝网格特征项，更加利于快速质检，且为机器学习模型提供多倍的训练素材，分别对多个待检测焊缝网格特征项进行放大处理，放大处理可以基于设定的放大倍数进行处理，放大后的待检测焊缝网格特征项更能识别焊接缺陷，最后基于机器学习模型来批量地进行视觉质检，能高效且准确地对车门总成上多个不同种类的焊缝进行视觉质检。
[0063] 实施例2，步骤2中，对车门总成焊接区域图像预处理包括灰度化、去噪和二值化操作。
[0064] 首先对车门总成焊接区域图像进行预处理，包括灰度化、去噪、二值化等操作，以便更好地提取轮廓信息。
[0065] 实施例3，步骤3中，采用使用Canny算法或Sobel检测算子检测边缘检测待处理图像的焊缝两侧边缘。
[0066] 实施例4，步骤6中，对提取的轮廓进行分析，计算轮廓长度的方法是：
[0067] 遍历轮廓的所有点，计算相邻点之间的距离，并将这些距离相加以得到轮廓的总长度。
[0068] 实施例5，步骤6中，轮廓线总长度 通过以下公式计算：
[0069] ；
[0070] 其中， 是轮廓线上的点数， 和 是相邻的两个点， 是 和之间的欧氏距离。
[0071] 可以在Python和OpenCV环境下，使用cv2.findContours函数用于提取图像中的轮廓，cv2.arcLength 函数用于计算单个轮廓的长度。calculate_contour_length 函数接受一个轮廓作为输入，并返回该轮廓的长度，cv2.findContours 和 cv2.arcLength 是OpenCV库中用于轮廓检测和长度计算的函数，可以大大简化计算过程。
[0072] 代码示意如下：
[0073] import cv2
[0074] import numpy as np
[0075] # 假设img是一个灰度图像，且轮廓已经通过某种方法被提取出来[0076] contours=cv2.findContours(img,cv2.RETR_EXTERNAL,v2.CHAIN_APPROX_SIMPLE)[0]
[0077] # 计算单个轮廓的长度
[0078] def calculate_contour_length(contour):
[0079] # 使用cv2.arcLength函数计算轮廓长度
[0080] length=cv2.arcLength(contour, True)#True表示轮廓是闭合的[0081] return length
[0082] # 计算所有轮廓的长度
[0083] contour_lengths = [calculate_contour_length(contour) for contour in contours]
[0084] # 输出轮廓长度
[0085] for i, length in enumerate(contour_lengths):
[0086] print(f"Contour {i} length: {length}")；
[0087] 实施例6，步骤7中，计算两条轮廓线相似度的方法是：对于每条轮廓线，首先计算其几何矩 ，然后使用几何矩 来计算Hu不变矩 ；相似度通过计算两条轮廓线Hu不变矩之间的欧氏距离得到。
[0088] 几何矩 计算公式如下：
[0089] ;
[0090] 其中 是轮廓点的强度，通常是二值图像中的1， 和 是矩的阶数，然后使用以下公式计算Hu不变矩 ：
[0091]
[0092] 相似度计算可以通过计算两个轮廓线Hu不变矩之间的欧氏距离来得到：
[0093] ；
[0094] 其中第一条轮廓线的Hu不变矩为 ，第二条轮廓线的Hu不变矩为 ，其中可以是0到7，对应7个不同的不变矩，这个公式计算了两个Hu不变矩向量中每个对应分量的差的平方和，然后对这些平方和求平方根，得到欧氏距离。欧氏距离越小，表示两个轮廓线的形状越相似；欧氏距离越大，表示两个轮廓线的形状差异越大。在实际应用中，为了提高计算效率，通常只计算前几个Hu不变矩的欧氏距离，因为这些矩包含了形状识别的大部分信息。
[0095] 实施例7，步骤8中，使用带标签的数据训练SVM机器学习模型，SVM机器学习模型基于向量机决策函数来进行质检结果判断，向量机决策函数如下：
[0096]
[0097] 其中 是表示分类函数，用于预测待检测焊接区域特征项的质检类别， 是拉格朗日乘子， 是类别标签， 和 是核函数， 用于计算待检测焊接区域特征项和标准待检测焊接区域特征的相似度， 用于计算待检测焊接区域特征项和标准待检测焊接区域特征深度差异值，是偏置项。
[0098] 在SVM机器学习模型的向量机决策函数中采用 和 组合核函数，其中 用于计算待检测焊接区域特征项和标准待检测焊接区域特征的相似度， 用于计算待检测焊接区域特征项和标准待检测焊接区域特征深度差异值，深度差异值的计算基于图像识别实现，焊缝深度检测采用的图像处理及模式识别技术实现。采用边缘追踪：沿着边缘追踪，找到焊缝的起始和结束点。焊缝深度估计：图像分割：将图像分割为焊缝区域和非焊缝区域。深度计算：使用深度学习模型估计焊缝的深度。能大幅提升对焊缝细节的质检的要求，输出合格的焊缝更加接近标准焊缝。
[0099] 实施例8，基于轮廓感知的车门总成焊接缺陷检测装置，包括车门总成焊接图像获取装置和质检计算机，车门总成焊接图像获取装置包括拍摄支架和视觉相机，视觉相机通过拍摄支架安装在车门总成焊接平台上方，拍摄焊接完成后的车门总成焊接区域图像，质检计算机与视觉相机通信连接交互车门总成焊接区域图像，质检计算机预装采用基于轮廓感知的车门总成焊接缺陷检测方法设计的质检程序，将车门总成焊接区域图像输入质检程序，质检程序输出质检结果。
[0100] 实施例9，一种存储器，存储采用基于轮廓感知的车门总成焊接缺陷检测方法设计的质检程序。
[0101] 以下基于具体实施例来说明基于轮廓感知的车门总成焊接缺陷检测方法及装置的实施原理：
[0102] 使用车门总成焊接图像获取装置获取车门总成焊接区域图像，如图2所示：
[0103] 对车门总成焊接区域图像预处理，得到待处理图像；
[0104] 采用边缘检测算法检测待处理图像的焊缝两侧边缘，如图3所示；
[0105] 使用轮廓查找算法提取两侧边缘的两条轮廓线，两条轮廓线是外轮廓线和内轮廓线；如图4所示；
[0106] 分别提取两条轮廓线作为待检测轮廓特征项，提取两条轮廓线之间的焊接区域作为待检测焊接区域特征项；
[0107] 对待检测轮廓特征项，分别对外轮廓线和内轮廓线计算轮廓线总长，计算外轮廓线总长与标准外轮廓线总长的外轮廓线差异值，计算内轮廓线总长与标准内轮廓线总长的内轮廓线差异值，设置轮廓线长度差异阈值0.1mm，通过计算得到外轮廓线总长与标准外轮廓线总长的外轮廓线差异值为0.3mm，大于轮廓线长度差异阈值，则直接判断焊接不合格。
[0108] 以上均为本发明的较佳实施例，并非以此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。
