一种港口煤炭堆场的煤尘浓度和位置信息检测方法及系统公开 发明

具体技术细节

法律保护范围

涉及权利要求数量10：其中独权3项，从权-3项

1.一种港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，包括以下步骤：
获取港口煤炭堆场煤尘的可见光图像和红外图像；对可见光图像和红外图像采用APAP变换，获得拼接融合后的图像；
采用网络剪枝和权重量化优化原YOLOv5‑tiny模型获得轻量化YOLOv5‑tiny模型；
通过训练集训练轻量化YOLOv5‑tiny模型获得边界框预测模型；将拼接融合后的图像进行网格划分，并输入到边界框预测模型中进行预测，判断边界框中是否存在煤尘目标；
将不同颜色、纹理和形状的煤尘数据分为若干类煤尘数据类型，采用不同类型的煤尘数据对轻量化YOLOv5‑tiny模型进行训练，获得类别识别模型；将拼接融合后的图像输入到类别识别模型获得类别识别结果；
通过实验确定不同煤尘数据类型基于粒径、粒径分布函数和湿度要素所对应的浓度权重；根据边界框中煤尘目标的预测结果确定不同煤尘数据类型的检测框总面积，基于不同煤尘数据类型的浓度权重和检测框总面积进行加权平均，获得煤尘浓度检测结果。
2.根据权利要求1所述的港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，还包括：
将融合后的图像进行全息处理，通过数值反演缺陷点调剂产生衍射图像，采用训练后的神经网络识别衍射图像的衍射环识别结果；根据衍射环的识别结果以及光学几何关系，确定煤尘的位置信息。
3.根据权利要求1所述的港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，所述对可见光图像和红外图像采用APAP变换，包括以下步骤：
获取可见光图像和红外图像不同尺度下的图像，在不同尺度下检测图像的局部极值点作为候选特征点，通过去除对比度低的点和边缘响应点，得到稳定的SIFT特征点，构建特征点集合；
对可见光图像和红外图像的特征点集合采用欧氏距离确定两幅图像的匹配点对，构建匹配点对集合；采用RANSAC算法，基于随机子集的匹配点对的单应性矩阵，并根据其他匹配点对于单应性矩阵的一致性判断内点，获得内点数量最多的单应性矩阵所对应的子集作为内点集合；
根据DLT算法获取内点集合的全局单应性矩阵；
将图像划分为网格，获得每个网格中心点与内点之间的欧式距离和权重；基于DLT算法和权重，构建加权后DLT算法中的系数矩阵，进行SVD分解后获得网格的局部单应性矩阵；
遍历所有网格后，采用局部单应性矩阵将网格内的图像映射到全景画布上，得到APAP变换后的源图；其中，拼接处的像素点通过加权平均进行融合。
4.根据权利要求1所述的港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，所述采用网络剪枝和权重量化优化原YOLOv5‑tiny模型获得轻量化YOLOv5‑tiny模型，包括以下步骤：
采用基于L1正则化的方法来评估原YOLOv5‑tiny模型神经元的重要性，对原YOLOv5‑tiny模型的Backbone、Neck和Head部分进行网络剪枝，去除低于预设阈值的神经元及其连接，并对原YOLOv5‑tiny模型的权重进行量化，获得轻量化YOLOv5‑tiny模型。
5.根据权利要求1所述的港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，所述将拼接融合后的图像输入到边界框预测模型中进行预测，获得煤尘在图像中边界框的预测结果，包括以下步骤：
将拼接融合后的图像输入到优化后的YOLOv5‑tiny模型中，对拼接融合后的图像进行多层卷积操作提取特征：
设输入图像为I(x,y)；其中，(x,y)为图像像素坐标，图像的尺寸宽度*高度为W×H；对于第l层卷积层，卷积核为Kl，大小为kl×kl×Cl‑1×Cl；其中，kl为卷积核的空间尺寸，Cl为输入通道数，Cl+1为输出通道数，则第l层卷积后的特征图Fl(x,y)表示为：
其中，(x,y)为网格单元在原始图像中的左上角坐标，s为网格单元的宽度和高度；bw和bh是以整张图片为基准归一化后的边界框宽度和高度，取值范围是[0,1]；通过以下公式转换为在原始图像中的实际宽度和高度：
Bw＝bw×W
Bh＝bh×H
采用以下公式求解置信度：
其中，P(Object)为框内有检测目标的概率，若有检测目标，则为1，否则为0， 为预测框和真实煤尘边界框的交并比；设预测框坐标为(xpred,ypred,wpred,hpred)，真实煤尘边界框坐标为(xtruth,ytruth,wtruth,htruth)，则 计算为：
其中，Area(Intersection)为预测框与真实煤尘边界框重叠部分的面积，分式下面的Area(Union)为预测框与真实煤尘边界框所覆盖的总面积；
基于预测框和真实煤尘边界框的交并比，通过边界框预测模型预测获得煤尘在图像中边界框的预测结果。
6.根据权利要求1所述的港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，所述基于不同煤尘数据类型的浓度权重和检测框总面积进行加权平均，获得煤尘浓度检测结果，包括以下步骤：
确定煤尘类型为四类，四类煤尘的检测框总面积分别为A1、A2、A3、A4，对应的权重分别为w1、w2、w3、w4，根据煤尘的粒径d、粒径分布函数 和湿度h，采用以下权重函数形式：
其中，ki和λi为根据实验确定的参数，则煤尘浓度C表示为：
其中，AT为图像总面积。
7.根据权利要求1所述的港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，还包括根据所述煤尘浓度检测结果确定污染等级，包括以下步骤：
根据煤尘浓度C，按照等级划分标准判定污染等级：若C＜C1，则判定为轻度污染，C1判定阈值；若C1≤C＜C2，则判定为中度污染；若C≥C2，则判定为重度污染。
8.根据权利要求2所述的港口煤炭堆场的煤尘浓度和位置信息检测方法，其特征在于，所述根据衍射环的识别结果以及光学几何关系，确定煤尘的位置信息，包括以下步骤：
将融合后的图像进行全息处理，通过数值反演缺陷点调剂产生衍射图像；
设原始衍射图像为D(x,y)，根据光的衍射理论，对于一个衍射系统，其光场分布U(x,y,z)满足波动方程：
2 2
▽U(x,y,z)+kU(x,y,z)＝0
其中， 为波数，λ为光的波长；
在傍轴近似下，光场分布为：
‑ikz
U(x,y,z)＝A(x,y,z)e
其中，A(x,y,z)为缓慢变化的振幅函数；
对于一个点光源产生的衍射图像，其强度分布I(x,y)与光场分布U(x,y,z)的关系为：
2
I(x,y)＝|U(x,y,z)|
通过求解上述方程，并结合已知的光源的位置和波长参数，通过数值反演算法获得轴向位置信息z；
构建训练后的用于衍射环检测的神经网络，对重叠率较高的衍射环进行识别，确定衍射环在图像平台上的坐标(xd,yd)
确定相机的内参矩阵 其中fx和fy是相机在x和y方向的焦距，(cx,cy)
是图像中心的坐标；
基于衍射环在图像平台上的坐标(xd,yd)和相机的内参矩阵，针对针孔相机模型，空间点在图像平面上的投影坐标满足以下关系：
对于衍射环所对应的煤尘点，假设其在世界坐标下的坐标为(Xw,Yw,Zw)，通过上述针孔相机模型和已识别的衍射环在图像平面上的坐标(xd,yd)，建立以下方程：
由内参矩阵得：
从上述方程中解出煤尘的位置信息(Xw,Yw,Zw)。
9.一种港口煤炭堆场的煤尘浓度和位置信息检测系统，其特征在于，所述系统包括：
处理器；
存储器，其上存储有可在所述处理器上运行的计算机程序；
其中，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的港口煤炭堆场的煤尘浓度和位置信息检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有数据处理程序，所述数据处理程序被处理器执行时实现如权利要求1至7中任一项所述的港口煤炭堆场的煤尘浓度和位置信息检测方法的步骤。