技术领域
[0001] 本发明涉及建筑工程工地场景监控技术领域，具体涉及一种基于多阶段特征重建的全天候工地场景图像语义分割方法。
相关背景技术
[0002] 在建筑工地监控这个实际应用场景中，使用语义分割技术可以显著提高施工的安全性和效率。施工现场人员密集，场景复杂，同时，一些重型机械和不稳定的结构也会导致施工现场的事故。因此，对现场进行持续监测以识别潜在风险并采取预防措施至关重要。传统的监测方法如人工检查，不仅费时费力且准确率低，覆盖范围有限。使用先进的语义分割技术可以在高范围内实现对整个施工现场的精确实时理解。
[0003] 语义分割包括对图像中的物体进行逐个像素的分割，并给出每个像素的相应语义信息。这项技术可用于识别施工现场的各种元素，如工人、设备、材料和结构。通过分析分割结果，可以确定是否存在设备故障和安全违规现象。此外，语义分割可以与其他监测系统(如传感器和无人机)整合，以达到更好的安全监测效果。
[0004] 目前，建筑工地视觉理解的语义分割方法仍有改进空间，因为，大多数现有的建筑工地语义分割模型不是专门为建筑工地数据集设计的，而是从为其他自然图像数据集设计的模型迁移过来的。因此，现有模型在建筑工地数据集上的表现仍存在提升空间，尤其在面对复杂天气时，如晴天、雨天、雾天、黑夜等不同天气时，复杂天气对语义分割方法性能影响较大，导致算法对外界环境变化的鲁棒性降低，对于光照变化和天气变化适应差，对工地监控稳定性差，基于此，研究一种基于多阶段特征重建的全天候工地场景图像语义分割方法是必要的。
具体实施方式
[0034] 下面结合附图及具体实施方式对本发明作进一步详细描述：
[0035] 实施例1，本实施例旨在提供一种基于多阶段特征重建的全天候工地场景图像语义分割方法，针对工地监控中光照变化和天气变化对语义分割方法性能的影响问题主要用于适用工地场景，面对工地施工的特殊环境，在面对复杂天气时，如晴天、雨雪天、雾天、黑夜等不同天气时，复杂天气对语义分割方法性能影响较大，导致算法对外界环境变化的鲁棒性降低，对于光照变化和天气变化适应差，对工地监控稳定性差，基于此，本实施例提供了一种基于多阶段特征重建的全天候工地场景图像语义分割方法。
[0036] 如图1中展示，一种基于多阶段特征重建的全天候工地场景图像语义分割方法，包括如下步骤；
[0037] 步骤一，获取图像
[0038] 对建筑工地进行全天候监控，将收集的工地图像收录在样本数据集内；样本数据集如图1中展示的Input Argument，其内部存储多类图片，具体可以包括白天、雪天、雾天、夜晚和原始图片。
[0039] 步骤二，图像预处理
[0040] 使用卷积神经网络对从样本数据集输入的图像进行预处理，在统一的网络中实现图像增强与语义分割；本实施例中主干网络采用在ImageNet上预训练后的ResNet 50进行退化图像的特征提取。
[0041] 步骤三，特征提取
[0042] 使用预训练过的主干网络来对预处理后的图像进行特征提取，通过多个卷积层进行特征提取，将每层提取出的深层次图像特征同步在对应层的网络输出上；具体实施时，选取底层特征进行重建，使用以重建后的图像特征，辅助特征的持续编码。
[0043] 步骤四，自校准模块
[0044] 将每层的网络输出连接自校准模块，利用自校准模块对特征进行恢复并复原图像；其中自校准模块根据Retinex光照理论进行构建，逐步校正每一阶段的输入，间接地影响了每一阶段的输出，进而实现连续多个阶段间的收敛。
[0045] 具体的，本实施例使用在ImageNet上预训练后的ResNet 50进行退化图像的特征提取。由于底层特征一般涵盖了较多的空间细节，因此，本实施例选择对低层特征进行重建，从而使用以重建后的图像特征，辅助特征的持续编码。我们选择使用自校准机制进行图像的重建。通过引入Retinex光照理论，逐步校正每一阶段的输入，间接地影响了每一阶段的输出，进而实现连续多个阶段间的收敛。根据Retinex理论，低光照观测图像y等于清晰图像x与光照z的点乘。为了在同一个网络中集成图像重建与图像分割任务，选择将Retinex理论同样应用在其他情况图像的重建任务中。其中，最主要的任务就是对图像降质影响因素z的估计。本实施例首先基于Retinex理论构建特征自校准模块，具体公式如下：
[0046]
[0047] vt＝y+st,xt+1＝H(vt)+vt. (2)
[0048] 其中y表示低光照观测图像，x表示清晰图像，z表示光照，v代表影响因子，K和H代表迭代学习参数。
[0049] 在第一次迭代中，y与x相同。Kθ和H代表迭代学习参数，本文中使用3*3的卷积进行t t+1实现。v ,t∈{1,2,3}代表每个阶段估计的影响因子，进一步迭代求取输出x 。在后续的迭代过程中，首先进行三个阶段的图像重建。为了配合图像编码，在三个阶段的图像重建过程中，进行多次的特征池化，缩小重建图像的分辨率。ResNet分为5个阶段进行特征提取，同时，在前三层的编码过程中，在进行特征编码前，将重建结果与前一层的输出进行通道叠加。利用重建的结果，从退化图像中提取更有效的特征信息，从而保证分割的鲁棒性。
[0050] 步骤五，增强高层特征
[0051] 采用卷积的方式，通过对局部相邻特征的协同建模，提取特征的通道之间的关系，从高层特征中提取语义信息；首先将两个相邻高层阶段的特征进行简单的聚合，利用全局特征池化的方式，对特征进行空间维度的聚合；获得聚合的通道特征。
[0052] 在通道注意力机制中，为了在计算特征的通道间关系的同时，保持网络的运算速度。在独立地对每个通道采用全局平均池化后，通常采用多个非线性的连接层减少特征通道数，并捕捉非线性的跨通道相互作用。但是这种压缩方式会导致部分关键特征通道之间依赖关系的丢失。
[0053] 因此，本实施例选择使用卷积的方式，通过对局部相邻特征的协同建模，代替传统通道注意力机制中的全连接层。从而提取更有效的特征的通道之间的关系，从高层特征中提取更多的语义信息。为了从高层卷积特征中提取更多的语义信息，首先将第四阶段与第五阶段的特征进行简单的聚合。在此基础上，首先利用全局特征池化的方式，对特征进行空间维度的聚合。获得聚合的通道特征。进一步利用两阶段的一维卷积，聚合邻近通道特征进一步利用两阶段的一维卷积，聚合邻近通道特征：
[0054]
[0055]
[0056] 其中，fGMP(*)代表全局最大池化操作。fsigmoid代表非线性激活操作， 代表通道C×1维度的乘积。w∈R 代表计算出的线性注意力结果。
[0057] 具体的实施例方式中，本实施例首先将第四阶段与第五阶段的特征进行简单的聚合；在对高层特征进行增强后，初步融合第四和第五阶段的特征，再利用特征增强模块，以高层特征引导解码。
[0058] 步骤六，解码
[0059] 在对高层特征进行增强后，初步融合两个相邻高层阶段的特征，再利用特征增强模块，以高层特征引导解码。
[0060] 本实施例中为了在不同光照、天气等情况下实现高性能的工地场景理解，我们使用卷积神经网络(CNN)对输入图像进行预处理，在统一的网络中实现图像增强与语义分割。首先使用预训练过的主干网络提取图像特征。同步在每一层网络的输出后，连接提出的自校准模块。从而利用自校准模块对特征进行恢复并复原图像，保证对退化图像提取特征的有效性。在对高层特征进行增强后，首先初步融合第四和第五阶段的特征，在利用特征增强模块，以高层特征引导解码。从而充分利用高层特征的语义信息与底层特征中的空间细节，实现鲁棒的工地场景语义分割。
[0061] 实施例2，本实施例进一步对抱片的安装结构进一步说明。
[0062] 本实施例中，还包括监督学习；当给定输入的清晰图像Iori，利用ImageAug库人为的对数据集的可见光图像进行数据增强，从而获取原始图像在复杂天气下不同的退化图像Iaug，利用退化图像Iaug作为网络输入，复杂天气包括雨天、雾天、黑夜等；并利用原始图像Iori和分割真值GTseg进行同步的监督，从而进一步提高网络的泛化性。
[0063] 在此基础上，从多方面对提出网络的输出进行监督。首先是对于特征自校准模块的输出结果，需要利用传统图像重建的损失函数。求解输出图像与真值图像之间的误差。本文中，选择使用Mean Square Error(MSE)损失函数进行监督学习。MSE损失模型可以统计预测值与样本真实值之间距离平方的平均值，本方法将其多次应用，分别计算多阶段重建结果和原始清晰图像的重建。同时，由于数据集中各个类别的像素数量是非常不平衡的，选择使用Weighted Cross Entropy(WCE)损失函数对于网络最后输出的语义分割结果进行监督。
