[0001] 本发明涉及工业机器视觉中的非接触式精确测量技术领域及分类算法领域，具体是一种空域‑频域联合增强的钢构件缺陷尺寸智能测定系统。

[0002] 高端装备制造是现代产业的脊梁，在当今市场竞争日益激烈的背景下，大力发展高端装备制造业对我国的经济发展具有十分重大的意义。要实现高端装备的智能化升级，生产出高质量、高性能、高稳定性的大型成套设备，依赖于非接触式精细测量。而目前许多大型成套设备(如轧钢机，碳纤维复合材料制造设备等)大都缺少这一功能单元，这就导致了在生产过程中缺乏必要的数据支撑，给后续的工艺控制、质量检测等环节带来了一定的困难。随着计算机视觉理论研究不断深入，将基于计算机视觉的非接触式智能测量技术应用高端装备制造中具有重要意义。

[0003] 目前，大多数的精确测量都是由熟练的人员手动测量的，这样存在成本高，效率低，以及人为错误等问题。而相对于传统的手动测量方法，工业视觉测量技术可以在加工过程中实现智能化、柔性、快速和低成本的检测，其作为一种新兴的测量技术有着很好的发展前景。

[0067] 以下结合具体实施例，对本发明进行详细说明。

[0068] 一种空域‑频域联合增强的钢构件缺陷尺寸智能测定系统，整体过程如图1所示，包括以下：

[0069] A1对于装备制造企业提供的工业图像，输入到数据预处理模块，如图2所示，采取旋转和翻转等图像增强操作，生成一系列新的训练样本，扩充输入数量，提高数据的多样性和模型的泛化能力，在保持长宽比的基础上将图像扩展到256×256尺寸，便于后续使用；然后，通过边缘提取单元和DCT单元实现图像通道扩展，将图像转换为三通道，避免信息混合或丢失的问题，从而获得更准确和全面的图像特征表示。扩展完成后，将原始图像和边缘图像作为一体引入到空域特征选择器，将DCT算法产生的结果引入到频域带通滤波器，进行后续处理；

[0070] 所述步骤A1的具体步骤如下：

[0071] A11.使用prewitt算子提取边缘特征

[0072] prewitt边缘检测算子是基于微分的边缘检测方法之一。它利用图像中邻近像素之间的灰度变化来检测边缘。设图像中一点的像素值为x，则该点及其感受野由矩阵表示，prewitt边缘提取算法计算一个像素的值需要周围8个像素，3×3像素矩阵与两个模板进行卷积，将两个模板的结果相加得到输出P(i，j)，可由以下公式表示：

[0073]

[0074] P(i,j)＝0.5×G(i)+0.5×G(j)

[0075] 其中，G(i)和G(j)是像素矩阵与两个不同的模板卷积之后的结果。

[0076] A12.通过DCT变换得到频域特征

[0077] DCT是与傅里叶变换相关的一种变换，它能够将空域的信号转换到频域上。DCT算法利用频域的卷积特性，避免了虚部的计算，使用DCT进行通道扩展的另一个优点是输出矩阵的形状与输入矩阵的形状一致，这允许我们直接使用输出进行维数扩展而不会产生任何错误，可用如下公式表示：

[0078]

[0079] 其中，f是原始信号，F是DCT变换后的系数，N是原始信号的点数，c可以被认为是补偿系数。

[0080] A2 DCT变换后得到的特征图输入到频域带通滤波器中，用UNet作为骨干架构来进行处理，该网络由一个编码器和一个解码器组成，对图像进行一步步压缩，再逐步恢复到原始输入大小。

[0081] 所述步骤A2的具体步骤如下：

[0082] A21编码器进行图像压缩

[0083] 在编码器中，对输入的特征图进行多次的下采样操作，以减小特征图的大小。下采样有两个作用，一是减少计算量，防止过拟合；二是增大感受野，使得后面的卷积核能够学到更加全局的信息。然而，下采样可能会丢失多数类别的部分信息，所以此处采用带跨层连接的编解码器，将输入特征图以及第一次下采样之后的特征图分别传送到解码器的相应位置，这样可以缩短梯度反向传播路径，从而大大减少了梯度消失的问题，易于训练。此外，第二、三、四次下采样后的特征图将输入到信息共享模块进行共享。

[0084] A22解码器进行图像恢复

[0085] 解码器中，对输入的特征图进行多次的上采样操作，增加特征图大小，最终得到跟初始输入大小相同的特征图。这里采用双线性插值法，其核心思想是在两个方向分别进行一次线性插值。假设已知函数f在Q11＝(x1,y1)、Q12＝(x1,y2)、Q21＝(x2,y1)、Q22＝(x2,y2),想要求得f在P＝(x,y)的值，首先在x方向进行线性插值，得到：

[0086]

[0087] 然后在y方向上进行线性插值，得到：

[0088]

[0089] 整理得：

[0090]

[0091] 特征图恢复到输入时的大小时，将其作为输出执行后续的分类任务。

[0092] A3经prewitt算子提取的边缘特征与原始图像作为输入进入空域特征选择器，以HRNet为骨干架构来处理。首先对输入的特征图进行两次下采样，减小特征图的大小，然后对图像进行三个连续的处理阶段，具有相似的模式，该模式是：1)在每个处理阶段之前，特征图从先前的状态分叉，生成一个具有不同特征图大小的新子分支；2)每个阶段具有4个连续的残差块，随后是用于所有子分支的融合层。

[0093] 所述步骤A3的具体操作如下：

[0094] A31对输入特征图进行下采样操作

[0095] 输入图像首先通过两个卷积核大小为3×3步长为2的卷积层(后面都跟有BatchNorm层以及ReLU层)共下采样了4倍，减小特征图的大小。

[0096] A32从当前状态发散，生成具有不同特征图大小的新子分支

[0097] 逐步增加高分辨率到低分辨率的子分支，并将多分辨率的子分支并行连接起来，与大多数现有解决方案的串联连接不同，这种方法能够保持高分辨率，而不是通过从低到高的方式来恢复分辨率，因此预测结果可能更加准确。

[0098] A33所有子分支进入四个连续的残差块

[0099] 每个残差块包含两个卷积层，核大小为3×3和3×3，每个卷积层后进行批量归一化操作，最后用ReLU激活函数进行非线性变换。其中批量归一化操作可以加快模型训练时的收敛速度，使得模型训练过程更加稳定，避免梯度爆炸或者梯度消失。并且起到一定的正则化作用。批量归一化步骤可分解如下：

[0100] 对于某一层的N个样本组成的一个批次，沿着每个特征维度k计算均值和方差:

[0101]

[0102] 对每个特征进行归一化，同时加上一个小常数∈以避免除以零：

[0103]

[0104] 归一化的特征乘以一个可学习的缩放因子γ，然后加上一个可学习的偏移量β，得到最终的输出：

[0105]

[0106] A34经过残差块后进入融合层

[0107] 在融合层中，来自所有子分支的具有不同大小的特征图通过交叉表示聚合，通过对其他子分支进行上采样或下采样来保持每个特征图大小不变。大多数现有的融合方案聚合低级别和高级别的表示，相反，我们执行重复的多尺度融合，以在相同深度和相似级别的低分辨率表示的帮助下提高高分辨率表示，反之亦然。

[0108] A32～A34操作会连续进行三次，当第二次通过残差块后，所有的子分支会进入多尺度信息共享模块来进行信息融合，这里需要注意的是，在第二个处理阶段缺少融合层，该融合层并未消失，而是被包含在多尺度信息共享模块以参与信息交换。

[0109] A4多尺度信息共享模块接收来自频域带通滤波器以及空域特征选择器的信息，进行融合后将其输出到相应的位置。此模块包含两个单元，通道变化单元以及融合单元。通道变换块的目的是使要融合的特征图通道一致，在这一块中首先进行一个核为3×3，步长为1的卷积操作，输入特征图的通道数为A，输出特征的通道数为B，然后进行批归一化操作，规范卷积层的输出，最后通过一个ReLU激活层得到最后的输出。在融合块中，不同大小的特征图通过Resize操作，然后进行不同卷积核以及不同步长的卷积操作，达到信息共享的目的。整个过程如图3所示。Si表示空间域输入特征图，Fi表示频域输入特征图，首先频域分支的特征图Fi通过通道变化模块改变通道数，然后与空间域特征图进行加法运算，将频域信息传递到空间域。相加之后的特征图Ii进入融合块进行信息融合。融合之后的特征图Vi通过通道变换模块，然后与相应的频域特征图Fi进行加法运算，使得频域分支也获得多尺度的空间域特征。F′i和S′i分别表示输出到频域和空间域的特征图。数学表达式如下：

[0110] Ii＝Si+Down(Fi)

[0111] S'i＝Vi＝Fusion(I1,I2,I3)i

[0112] F'i＝Fi+Up(Fusion(I1,I2,I3)i)

[0113] A5通过频域带通滤波器和空域特征选择器处理过后的特征图进入双任务联合检测模块，完成钢工件表面异常检测以及异常尺寸的精细测量，最终输出异常分类结果以及异常尺寸。

[0114] 所述步骤A5的具体操作如下：

[0115] A51处理后的特征图进入表面缺陷多分类单元

[0116] 本单元通过一个分类器组对钢工件图像是否存在表面缺陷进行分类标记。分类器组由四个分类器组成，这四个分类器的特征图输入均不相同，如图4所示。

[0117] 分类器1是HRNet的经典分类器，对高分辨率的特征进行下采样操作，并修改通道数以匹配低分辨率特征，然后与低分辨率特征相加得到新的特征图，经过逐层提取，最终通过全连接层输出预测结果。

[0118] 分类器2选择两层低分辨率的高维信息来输出分类结果。

[0119] 分类器3选择最高分辨率的特征图来进行预测。

[0120] 分类器4是一个深度为6的小型ViT网络。ViT网络是对Transformer结构的一种推广，位置编码和多头注意机制提高了结构感知全局信息的能力。DCT变换后的像素位置也被赋予了意义，而DCT算法是对图像频域特征的整体感知，因此分类器4的输入选择由解码器在频域分支中恢复的大尺寸特征图。ViT将输入图片分割成多个patch块，然后为每一个块添加一个位置编码，再将每个patch块投影为固定长度的向量送入Transformer，后续encoder的操作和原始Transformer中完全相同。但是因为对图像分类，因此在输入序列中加入一个特殊的token，该token对应的输出即为最后的类别预测。其位置编码公式如下：

[0121]

[0122] 其中，PE表示位置编码，pos表示patch块在序列中的位置，i表示位置编码的位置索引，dmodel表示Transformer编码器中隐藏状态的维度。

[0123] 多头注意力(Multi‑Head  Attention)是一种基于自注意力机制(Self‑Attention)的改进方法。自注意力是一种能够计算出输入序列中每个位置的权重，因此可以很好地处理序列中长距离依赖关系的问题。但在应用中，可能存在多个不同的关注点，因此就需要多个自注意力机制来处理不同的关注点。多头注意力就是在一个输入序列上使用多个自注意力机制，得到多组注意力结果，然后将这些结果进行拼接和线性投影得到最终输出。多头注意力机制的计算公式如下：

[0124] MultiHead(Q,K,V)＝Concat(head1,head2,…headh)W0

[0125] headi＝Attention(QWqi,KWki,VWvi)

[0126] 四个分类器得到各自的预测结果后，通过全连接层得到最终的预测结果。所有分类器的预测结构通过Softmax函数转换为概率值。数学表达式如下：

[0127] pred＝σ{Concat[σ(C1),σ(C2),σ(C3),σ(C4)]}

[0128] 其中σ(*)表示Softmax函数，Ci表示分类器的预测输出。

[0129] A52被标记的异常图像进入异常尺寸精细测量单元

[0130] 本单元对被标记为异常的钢工件的表面异常尺寸进行更精细的测量。具体方案如下：在得到异常图后，使用prewitt算子进行边缘特征提取，得到各个像素点的边缘强度和方向，突出异常区域的边缘轮廓。接着，采用阈值分割技术，设置一个阈值T，将像素灰度值大于阈值的归为异常区域，小于等于阈值的则归为背景区域，通过合适的阈值选择，确保异常区域的准确分割。之后对异常区域中的像素点进行计数，量化异常区域的大小，并结合像素之间的实际距离进行尺寸的换算，从而得到异常区域的实际尺寸信息，这些尺寸信息能够更全面地描述异常区域的特征，为后续的缺陷分析和处理提供了可靠的数据支持。

[0131] 图6为本发明空域‑频域联合增强的钢构件缺陷尺寸智能测定系统异常分类结果的可视化图。我们将分类结果用热力图表示出来，蓝色部分为正常，红黄色部分表示异常所在的位置。

[0132] 图7为本发明空域‑频域联合增强的钢构件缺陷尺寸智能测定系统与另外两种方法的ROC曲线对比图。其中方法1采用的是传统的卷积神经网络模型进行检测，未引入频域特征；方法2采用的是未加入多尺度信息共享模块的网络模型来进行检测。可以看出，在引入频域特征以及加入多尺度信息共享模块后，所达到的效果是最好的。这是因为引入频域特征后，有利于从图像中提取更多的信息，而多尺度信息共享模块则可以聚合多尺度、多领域的特征，从而获得更准确的分类结果，提高尺寸测量的精度。可以看出，本发明的AUC值达到0.954，与其他两种方法相比，本发明总体的准确性和稳健性都要更高。

[0133] 图8为本发明空域‑频域联合增强的钢构件缺陷尺寸智能测定系统与另外两种方法的检测率对比图。方法1和方法2描述同图7。

[0134] 图9为本发明空域‑频域联合增强的钢构件缺陷尺寸智能测定系统与另外两种方法的误检率对比图。方法1和方法2描述同图7。

[0135] 应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。