[0001] 本发明涉及轨道车辆检测的技术领域，更具体的说是涉及一种轨道列车项点的缺失检测方法。

[0002] 轨道列车是一种高速、高效、安全、环保的公共交通工具，其检修工作是保障轨道列车正常运行的重要环节。轨道列车的巡检工作涉及多个部件、多个工序、多个巡检点，其中关键零部件的缺失检测是一个至关重要的环节。

[0003] 目前，针对轨道列车的重要零部件缺失检测通常依赖人工逐一检查。然而，这种方式存在重复性高的工作和复杂的工作环境，容易导致操作人员出现视觉疲劳，进而可能导致错检或漏检情况的发生。

[0004] 近年来，随着人工智能技术的蓬勃发展，基于计算机视觉的工业检测技术备受瞩目，在轨道交通领域，对于轨道列车项点缺失的检测，目前主要采用机器学习或深度学习等方法来训练一个基于项点缺失图像和正常图像的分类模型或目标检测模型。通过这些模型，可以对采集的图像区域进行检测，判断其中是否存在项点缺失情况。然而，当前基于人工智能的检测方法存在一些问题，包括对大量不同项点缺失样本的需求、数据收集困难以及易受现场环境干扰等导致目标检测的鲁棒性较差。

[0018] 由于近年来，随着人工智能技术的蓬勃发展，基于计算机视觉的工业检测技术备受瞩目，在轨道交通领域，对于轨道列车项点缺失的检测，目前主要采用机器学习或深度学习等方法来训练一个基于项点缺失图像和正常图像的分类模型或目标检测模型。通过这些模型，可以对采集的图像区域进行检测，判断其中是否存在项点缺失情况。然而，当前基于人工智能的检测方法存在一些问题，包括对大量不同项点缺失样本的需求、数据收集困难以及易受现场环境干扰等导致目标检测的鲁棒性较差；因此本发明设计这种轨道列车项点的缺失检测方法，如图1、图2以及图3所示，包
括步骤如下，
目标检测模型构建步骤，获取不同状态下的图像数据按比例输入神经网络中训
练、验证以及测试得到目标检测模型；
具体如图2所示，第一步，制作项点目标检测数据集、搭建项点目标检测神经网络，具体为：
采集所有项点的不同状态的图像，不同状态指的是项点处于的不同的脏污程度、
锈迹腐蚀程度以及由光源造成的不同明亮程度的状态，图像指的是三通道彩色图像，将采集的图像用图片标注软件进行项点标注，标签为各项点的名称，制作采集的图像所对应的标签，其具体为YOLO格式，项点包括但不限于紧固螺栓、线管夹、管线接头、接地电阻、研磨子、停放止动、铭牌、车门胶条等，将采集的图像和对应的标签按照8：1：1的比例划分为训练集、验证集以及测试集，形成项点目标检测数据集。

[0019] 目标检测神经网络具体是指YOLOv8目标检测网络，其骨干网络基于CSP（紧凑和分离）设计，引入了新的C2f结构，在梯度流方面更丰富，骨干网络的通道数根据不同尺度的模型进行了调整，以提高性能，目标检测采用路径聚合网络结构，有助于多尺度目标检测，检测头使用了解耦头结构，将分类和检测头分离，正样本分配策略方面，采用了正样本匹配策略，并引入了分布式损失函数进行训练数据增强，采用二元交叉熵损失函数为损失函数。

[0020] 利用目标检测数据集对目标检测神经网络训练100轮次，训练时属性设为64，图像尺寸调整为512*512像素大小，采用数据增强技术，如随机旋转、翻转、裁剪等，来扩充训练数据，提高模型的泛化能力和鲁棒性，通过训练生成目标检测模型，目标检测模型的输入为512*512*3的三通道彩色图像，输出为n*3的列表，储存输入图像中检出项点在输入图像中的位置、类别信息，将目标检测模型转为ONNX格式模型，输入输出不改变，并部署至算法服务器。

[0021] 图像项点检测匹配步骤，将视觉采集的待检图像输入目标检测模型中输出待检图像中的待检项点，具体为：将采集的图像首先进行图像预处理，图像预处理为先对图像进行图像缩放至512*
512像素，接着进行均值滤波去除图像中的噪声，最后通过直方图均衡化，使图像更加均匀，然后利用部署的目标检测模型对经图像预处理的图像进行检测，检出图像中的项点，输出n*3的列表，n为项点个数；将经图像预处理的图像和列表输出。

[0022] 获取模版图像中的模版项点，根据待检项点和模版项点的共用特征点数判断是否达到匹配阈值，若未到达，则进行特征点处理策略将所有特征点标准化为项点格式得到辅助特征点，以辅助特征点作为达到时的项点信息进行刚性匹配策略得到模版项点的应检测项点列表，若共用特征点达到了匹配阈值，则将项点信息直接进行刚性匹配，再将应检测项点列表中的项点信息与待检图中的项点信息通过项点柔性匹配策略得到待检项点的待验证匹配项点列表和待验证非匹配项点列表；误匹配项点剔除步骤，将待验证匹配项点列表中相互映射的项点通过距离分析离
群点，根据离群点的存在结果分别对待验证匹配项点列表和待验证非匹配项点列表进行更新，其目的是避免错误项点混入待验证匹配项点列表中；
遗漏项点重复匹配步骤，将待验证非匹配项点列表中的每个项点的坐标区域图
像，将坐标区域图像通过相关性匹配分析是否为缺失项点，若存在，则记录至缺失项点列表；
缺失项点反馈步骤，根据缺失项点对应待检图像截取缺失区域反馈输出。

[0023] 本发明的有益效果是：通过大量不同场景和状态的图像实现训练、验证以及测试以得到精细化的目标检测模型，再通过待检图像代入目标检测模型中与模版图像之间的项点配对等手段，能够快速准确的分析出图像是否完整，若存在缺失项点的情况能够将缺失项点对应的区域快速切割反馈至前端，且该分析方法无需采集任何项点的缺失样本图像进行比对，可更鲁棒的实现轨道列车的项点缺失检测。

[0024] 由于项点信息包括项点数量、项点位置以及类别信息，即待检项点也包括上述三者内容，项点位置{x,y,w,h}包括项点在图像中的横坐标x、纵坐标y以及项点最小外接矩形的宽w和高h，类别信息反映项点的标签，图像项点检测匹配步骤中包括项点处理子步骤，项点处理子步骤，将项点位置信息通过最大最小值归一化算式进行处理得到尺度平衡的位置信息，其中最大最小值归一化的公式配置为：
其中，xmin是所有x的最小值，xmax是所有x的最大值，xnew是x经最大最小值归一化之后的值。

[0025] 特征点处理策略包括特征点提取步骤和特征点标准化处理步骤，
特征点提取步骤，将模版图像和待检图像输入特征提取网络模型中输出相互映射
的两组特征点数量，每个特征点包含横坐标和纵坐标两个特征；
特征点标准化处理步骤，将相互映射的所有特征点均进行最小外接矩形的宽和高
分别赋值，且标签进行赋标得到项点的特征格式，以虚拟化为辅助特征点；
具体为：分别对模版图像和待检图像利用特征提取网络模型提取图像的特征点，
具体为：特征提取网络模型为具有编码‑解码结构的深度学习神经网络在可视化数据库的数据集上训练500轮之后的网络模型，特征提取网络的输入是两张512*512*3像素大小的彩色图，输出为m*2的列表，表示在输入的两张图像上相互映射的两组特征点的横坐标和纵坐标，相互映射指的是两组特征点在输入的两张图像上经透视变换和放射变换后可以完全重合，m指的是提取的特征点的个数；将特征点抽象为辅助特征点，并将其信息做标准化处理，具体为：由于所述项点具有x、y、w和h以及标签共5个特征，提取的图像的特征点具有x和y共
2个特征，所以需要将特征点的特征信息做标准化处理，具体为：为所有特征点虚拟化w、h和标签3个特征信息，其中w和h分别赋值为5和5，标签信息为辅助特征点，并将所有特征点的特征格式处理成项点的特征格式，进而将特征点虚拟化为辅助特征点。在用特征提取网络进行特征点提取的时候设置特征点的上限为500个。

[0026] 项点刚性匹配策略包括特征匹配步骤、特征映射步骤以及项点区分步骤，特征匹配步骤，将项点信息或者项点信息和辅助特征点利用SIFT描述子进行特征
描述，且结合最近邻匹配算法和最近邻距离比匹配算法进行特征匹配得到特征匹配对；
特征映射步骤，将特征匹配对通过RANSAC算法估计得到最佳的几何变化模型，将
待检图像与模版图像映射得到两者交集作为检测图；
项点区分步骤，将模版图像中未在检测图内的项点信息规划为非检测项点列表，
将模版图像中在检测图内的项点信息规划为应检测项点列表。

[0027] 项点柔性匹配策略包括图像变换步骤和相关性分析步骤，图像变换步骤，首先，基于描述子匹配方法将应检项点信息和待检图中的项点信
息（包括辅助特征点）进行特征匹配，本发明采用ORB描述子实现，然后采用薄板样条插值算法进行形变估计，求解出变换参数变换矩阵，所述参数变换矩阵是大小为3*3的用于描述两个图像之间平移、旋转、缩放和错切的矩阵，再将检测图点乘参数变换矩阵生成新检图；
相关性分析步骤，将待检项点和新检图中的项点信息通过径向基函数计算所有新
检图中的项点与应检测项点列表中的项点的相关性，统计新检图中的项点与应检测项点列表中项点相关性最大的项点，如果相关性大于一定阈值，认为所述两个项点是相互映射的，否则，该项点没有相互映射的项点，将相互映射的项点对信息记录在待验证匹配项点对列表中，将没有相互映射的项点对信息记录在待验证非匹配项点列表。

[0028] 径向基函数配置为：，
其中，x和y是两个项点， 表示两个项点的欧几里得距离， 是高斯核函数的
参数，用于控制相似度的衰减速度。

[0029] 误匹配项点剔除步骤，将待验证匹配项点列表中相互映射的项点对通过距离算式计算得到距离列表，考虑到模版图像和待检图像在x和y两个方向的偏差量差异大因此将距离计算公式设计为：，
其中，x和y是两个点的坐标，n是坐标的维度，本发明中n=2， 是与i个坐标轴相关
的权重参数；
根据距离列表中的距离值得到标准差值和均值，将标准差值和均值通过Z算法计
算得到每一项距离与均值之间的偏离程度形成距离偏离列表；
Z算法配置为：
，
其中，X是距离， 是均值， 是标准差；
将距离偏离列表通过IQR算法判断距离列表中是否存在离群点，其中IQR的倍数参
数设置为1.5，如果存在离群点，将对应的项点信息中的应检项点信息加入待验证非匹配项点列表中，并且在待验证匹配项点列表中将其所对应的信息删除。

[0030] 实施例：首先利用 距离计算公式计算所有待验证匹配项点之间的
距离，在本实施例中n为2，所以距离计算公式具体为 ，x和y是两个点
的坐标， 的取值为 ，距离列表为1*n的矩阵，其中每个元素代表其对应的项点在模版图的坐标值和其有映射关系的项点在待检图中的坐标值计算出的距离值；进而计算距离列表中元素的标准差和平均值，其中标准差的公式为 ，其中N是距离列表的
长度即待验证匹配项点的个数， 表示距离列表的元素， 表示距离列表中元素的均值；然后利用Z‑scores方法计算距离列表中每一个元素的距离偏离值，形成1*n的列表，所述距离偏离值是大于0的常数，值越大表示距离偏移量越大；进一步利用IQR算法判断距离偏离列表是否存在离群点，并给出离群点在所述距离偏离列表的索引，所述IQR算法代表四分位数间距，它是统计学中用来衡量数据分散程度的一种方法，计算IQR的步骤如下：
1）记录每一个距离列表元素在距离列表中的索引，将距离偏离列表按大小顺序排
列；
2）找到距离列表的第一个四分位数Q1，表示数据中25%的值位于其下方；
3）找到距离列表的第三个四分位数 ，表示数据中75%的值位于其下方；
4）计算IQR，通过公式 得到；
5）将数值大小大于1.5倍IQR值的距离偏离值认定为离群点，根据反馈的所述索引
将对应的项点对信息中的应检项点信息加入所述待验证非匹配项点对列表中，并且在待验证匹配项点对列表中将其所对应信息删除。

[0031] 通过上述步骤筛除了待验证匹配项点列表中的误匹配项点，对于剩余匹配项点列表中的元素，计算它们所对应项点对的映射关系旋转平移矩阵 ，其中R是一个3x3的旋转矩阵，描述了旋转变换，T是一个3x1的平移向量，描述了平移变换，最后一行是[0 0 0 1]，是一个齐次坐标系下的扩展，用来表示平移部分。

[0032] 遗漏项点重复匹配步骤，将待验证非匹配项点列表中每个项点的坐标点乘变换参数变换矩阵生成预测位置，截取检测图中项点位置的项点图像，再通过预测位置在待检图像中截取项点图像，计算两者项点图像的相关性值，根据相关性值判断是否为缺失项点，具体的，对于待验证非匹配项点列表中的每个项点坐标点乘变换参数变换矩阵生成预测坐标x1，y1，w和h值不变，利用项点信息中的[x，y，w，h]截取检测图中的项点图像，用预测坐标[x1，y1，w，h]截取待检图中的项点图像，将上述两个图像计算SSIM值（相关性），如果SSIM值大于一定阈值，则认为预测坐标所在的位置所对应的物体为漏检项点，将预测坐标和w、h值以及所述项点信息加入待验证匹配项点对列表，并将项点信息在待验证非匹配项点列表中删除，如果SSIM小于阈值，则认为此项点为缺失项点，将此预测坐标值和w、h值写入缺失项点列表中，以此完成此项点的漏匹配确认。

[0033] 进而进行漏匹配项点的二次匹配，将待验证非匹配项点列表中的每个元素所对应的项点在模版图中的坐标值点乘所述旋转平移矩阵得到其在待检图中预测坐标，然后逐个截取模版图中项点图像和待检图预测位置项点图像，利用计算机视觉开源库计算所述两个图像的SSIM值，设定阈值0.7，如果计算出的SSIM值大于所述阈值，则认定所对应的项点为漏检项点，将预测坐标和w、h值以及所述项点信息加入待验证匹配项点对列表，如果SSIM小于阈值，则认为此项点为缺失项点，将此预测坐标值和w、h值写入缺失项点列表中，以此完成此项点的漏匹配确认。

[0034] 最后将待验证匹配项点列表和缺失项点列表输入至待检项点缺失逻辑判断，进一步确认缺失项点列表所对应项点是否真正缺失。

[0035] 还包括待检项点缺失判断步骤，将缺失项点输入目标检测模型中，判断输出结果，若输出为空，则确定该项点为空，否则，判断输出的结果是否与该项点在对应的待验证非匹配项点列表中相同，若相同，则确定该项点为非缺失项点，否则为缺失项点。

[0036] 以上仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。