[0001] 本发明属于遗留物品检测领域，尤其涉及一种基于防爆巡检机器人的燃气分输站遗留物品检测方法。

[0002] 遗留物物品检测作为智能视频监控系统的核心功能模块，其在公共安全、生产安全和安防等领域中扮演着重要角色。例如，恐怖分子将带有危险品的包裹或箱子遗留在商场、车站、学校和地铁等人流量较大的场景中，如果不能及时发现并处理，将导致不可挽回的后果和不可估量的损失。道路遗留物作为道路上的影响道路交通的障碍物，其所引起的交通隐患和安全威胁不容小觑。工业生产现场的遗留物可能严重影响生产效率和作业安全。因此，遗留物检测的研究具有重大意义。

[0003] 燃气生产行业（如燃气分输站）对工人的作业行为和现场物品管理有着严格要求，工人遗留的工具（如防爆扳手、螺丝刀等）可能被其他人员误触或绊倒，导致人员受伤或设备损坏，疏散通道遗留的小型运输车辆在发生事故时严重影响人员撤离。

[0004] 现有技术方案大多是基于监控视频（固定摄像头）的遗留物品检测，主要算法有背景检测和基于深度学习的目标检测算法。但固定摄像头存在以下问题：1.摄像头往往挂在较高的地方对目标区域进行拍摄，遗留物在视频中所占比例较小，现有的算法对小目标的检测精度不高。

[0005] 2.摄像头监视的区域依赖于部署的摄像头数量。

[0020] 下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

[0021] 如图1所示，在本发明的一个实施例中，一种基于防爆巡检机器人的燃气分输站遗留物品检测方法，包括以下步骤：S1、设置燃气分输站内的巡检路线，并启动防爆巡检机器人；
S2、获取防爆巡检机器人收集的视频数据；
S3、使用改进后的YOLOv8网络实时处理视频数据，得到每一帧图像的预测结果；
S4、将视频数据及各帧图像的预测结果和防爆巡检机器人定位信息发送给用户；
S5、判断机器人是否回到出发点，若是，结束巡检，否则，返回步骤S2。

[0022] 本实施例中，所述S1用户标记选择巡检路线并启动巡检机器人，具体实施如下：用户在用户界面标记或选择机器人巡检遗留物品的路线。具体的，为了使本专利所发明的巡检机器人能够正确的在特定位置对遗留物品进行检测，此处采用了GPS(Global Positioning System)定位的方法，具体步骤如下：
数据采集：使用 GPS 设备，在需要绘制地图的区域（巡检机器人可行驶区域）进行数据采集。记录下 GPS 设备接收到的经纬度坐标以及相关的信息。

[0023] 数据处理：将采集到的 GPS 数据导入到地图绘制软件中，如 QGIS 或 ArcGIS。这些软件可以读取 GPS 数据文件，并将其转换为地图上的点、线和面等元素。

[0024] 地图绘制：在地图绘制软件中，根据 GPS 数据绘制地图的基本轮廓。例如，使用 QGIS 可以通过添加矢量图层来绘制道路、河流等线条，用点图层来表示地点、标志物等。同时，可以添加地图的标注、图例等信息，以增强地图的可读性。

[0025] 可视化界面：使用React、Vue.js等前端框架和Leafleft地图库构建可视化用户界地图界面。路线标记和选择：用户可根据实际需求在可视化的地图上标记出巡检路线轨迹R（p0,p1,p2,…,pi，p0），也可事先标记出并存储在数据库中待用。其中pi表示定位信息（经度，纬度）。

[0026] 实时位置更新：机器人在运动过程中，应通过 GPS 接收器实时获取自身的经度和纬度位置信息，并反馈给用户。

[0027] 启动机器人开始沿规定路线巡检并运行系统。

[0028] 所述步骤S1具体为：S101、使用GPS设备，在燃气分输站内防爆巡检机器人可行驶区域进行数据采集，得到GPS数据；
S102、在地图绘制软件中，根据GPS数据绘制地图的基本轮廓；
S103、根据地图的基本轮廓，构建可视化用户地图界面；
S104、根据实际需求在可视化用户地图界面标记出巡检路线轨迹R，得到燃气分输站内的巡检路线，并启动防爆巡检机器人。

[0029] 如图2所示，所述步骤S3中改进YOLOv8网络包括骨干网络层、Neck网络层和Head网络层；所述骨干网络层为mobilenetv4网络；所述骨干网络层的ConvNext结构和SPPF结构均与Neck网络层连接；所述Neck网络层包括分别与SPPF结构连接的upsample上采样结构和第一Concat结构、分别与ConvNext结构和upsample上采样结构连接的第二Concat结构、与第二Concat结构连接的第一IB结构、分别与第一Concat结构和第一IB结构连接的CBS结构以及与第一Concat结构连接的第二IB结构；所述第一IB结构和第二IB结构均与Head网络层连接；所述Head网络层包括分别与第一IB结构和第二IB结构连接的第一检测头和第二检测头。

[0030] 本实施例中，使用改进后的YOLOv8网络（M4‑YOLO）检测视频帧中的目标，获得目标的类别和边界框坐标，具体实施如下 ：收集以往巡检视频数据，保留含有遗留物品的数据帧，数据集如图3所示，使用标注工具标注数据中的遗留物品，标注信息包括物品在图片中的位置信息（cx，cy，w，h）和类别信息L，其中物品的类别L包括人员携带的工具箱和螺丝刀、扳手等工具，位置信息（cx，cy）表示物品的中心点坐标，（w，h）表示物品的宽高。

[0031] 考虑到防爆机器人作为移动设备并且其计算资源和存储容量受限，故①将YOLOv8的骨干网络替换为Google提出的一种适合移动设备的高效架构mobilenetv4网络，该网络在多种硬件平台上实现了最优性能。并且在防爆机器人在巡检中可以拉近镜头，或者当距离遗留物品较近时，遗留物品在视频中的比例不会很小，所以可以舍弃小目标检测层，具体做法为②利用的mobilenetv4中的IB模块，根据PAFPN的思想重构Neck，只融入两层不同尺度的特征，并将其命名为IBNeck2，检测头从原来的三个变为两个，这将会减少模型计算量、参数量，并提高检测速度，改进后的模型为M4‑YOLO，如图2所示。

[0032] 所述步骤S3中改进YOLOv8网络的损失函数为：

[0033] 其中，为了提高边界框回归精度， 为改进YOLOv8网络的损失函数；为预测框A和真实框B的面积交并比；为取值为[0,1]的聚焦系数； 为幂次正则项； 为欧式距离函数；为预测框A中心点； 为真实框B中心点；为预测框A与B最小包围框的对角线长度； 为平衡参数，当预测框A与真实框B的IoU越大时，其值越大；为预测框A与真实框B宽高比的一致性； 为预测框； 为真实框； 为反正切函数； 为圆周率； 为预测框的宽；为预测框的高； 为真实框的宽； 为真实框的高。

[0034] 其中： 的引入旨在使得模型在训练过程中更加关注高质量样本（即IoU值较高的样本），抑制低质量样本（即IoU值较低的样本）对损失函数的贡献。这种策略有助于模型在有限的数据集上更好地学习目标的特征，进一步提升检测性能。 的引入通过自适应地重新加权高和低IoU目标的损失和梯度，提高了Bbox回归精度。这种设计使得模型在训练过程中能够更加关注那些对性能提升有重要影响的样本，从而进一步提升目标检测的性能。

[0035] 所述步骤S3具体为：S301、收集历史巡检数据，并利用历史巡检数据对改进后的YOLOv8网络进行训练，得到训练完成的目标检测网络；
S302、利用训练完成的目标检测网络实时处理视频数据，得到每一帧图像的预测结果：

[0036] 其中， 为预测结果； 为训练完成的目标检测网络； 为图像帧；为检测物品的中心点横坐标； 为检测物品的中心点纵坐标； 为检测物品的宽；为检测物品的高；为检测物品的类别信息；为判断是否检测到物品的二值函数； 为空集。

[0037] 本实施例中，使用PyTorch深度学习框架搭建M4‑YOLO模型，用收集到的数据训练该模型，设置初始学习率为0.02，权重衰减系数为0.0005，图像输入的尺寸为640×640，批次大小为8，训练300轮后结束，并导出。需要说明的是，所述学习框架也可以是TensorFlow、paddle等。

[0038] 加载训练好的M4‑YOLO模型算法，处理视频中的每一帧数据 ，计算公式如下：

[0039] 其中，输出检测到的遗留物品目标信息序列O=[（cx，cy，w，h，L）,…]，其中遗留物类别为L，位置信息为（cx，cy，w，h）。如果未检测到遗留物品，则O=[ ]。

[0040] 将处理的每一帧图像和定位信息发送给用户，具体实施如下:将处理的每一帧数据I、可能存在的遗留物序列O及机器人定位信息p（经度，纬度）打包成数据包实时发送到用户端。并存储收集到的信息。

[0041] 当发现遗留物品时（当O不为空集时），利用类别L和位置信息（cx，cy，w，h），将遗留物标记在原图像上，还可以使用语音提示等功能提示用户，并利用实时定位信息标记出发现遗留物品时的路段以便用户后期清理。同时含有遗留物品的一个路段可以表示为序列Z=[(It,pt,Ot)，…，In,pn,On)]，表示连续的t到n帧的图像中发现遗留物，返回该帧图像I，遗留物序列O和机器人定位信息p。

[0042] 基于本发明所构建的系统，图4为本发明提供的面向巡检机器人的遗留物品检测系统架构图。

[0043] 具体的，本发明提供的面向巡检机器人的遗留物品检测系统，具体包括数据层、视觉计算与信息传输层和用户监控界面。

[0044] 其中，所述数据层，用于收集视频图像数据，通过GPS收集机器人定位信息，使用数据库存储历史巡检视频、机器人定位信息和遗留物品等信息，具体包括：数据采集与预处理模块，即使用巡检机器人的高清摄像头采集视频图像数据，并将所采集到的数据转换成视觉计算与信息传输层所需的格式。

[0045] 数据存储模块，存储历史检测视频、遗留物品、机器人巡检轨迹和巡检地图等。

[0046] 其中，所述视觉计算与信息传输层，即使用改进后的YOLOv8算法（M4‑YOLO）处理数据层所收集到的图像数据，并检测和标记出可能存在的遗留物品，同时将以上信息和机器人定位信息发送到用户监控界面。

[0047] 其中，所述用户监控界面，接收机器人发送的数据，并将这些信息制作成可视化界面，包括实时监控画面、机器人实时巡检轨迹和遗留物品信息提示等。

[0048] 具体地，图5展示了本发明提供的系统中用户监控界面简图。

[0049] 其中，所述用户监控界面，具体包括：实时监控视频及遗留物品告警提示模块，即接收视觉计算与信息传输层处理后的视频数据并展示给用户实时审查，并提示用户是否存在遗留物品，如果存在则在视频图像中标记出遗留物品的位置信息。

[0050] 巡检轨迹可视化模块，即巡检地图、巡检机器人在地图上的实时轨迹变化可视化图，方便用户查看巡检进度。

[0051] 路线规划模块，即用于每次巡检路线的标记选择。