[0001] 本申请涉及物联网技术领域，尤其涉及一种用于燃气监控图像的处理方法、装置、介质和设备。

[0002] 随着城市化进程的加快，燃气作为城市能源的重要组成部分，其安全监控和管理变得尤为重要。传统的燃气监控系统往往依赖于单一的数据源，如温度、压力等传感器数据，这些数据虽然能够提供一定的监控信息，但往往缺乏足够的信息量来全面评估燃气设备的运行状态。此外，传统的监控系统在数据处理和分析方面也存在局限性，难以实现大规模、高效率的监控和管理。

[0023] 应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0024] 现有技术中对设备状态的监控是人工进行的。燃气表主要是通过人工手持着，读取仪表上显示的累计立方米数，通过累计数据可以计算出仪表所在管道的燃气泄漏量。这是传统的模式，也是领域中存在的一般模式，即人工采集的模式，其本质是人工监控的作业模式的一种工业表现形式。然而，采用人工监控的主要缺点是：一是，受人工作业步骤的限制，不切实际地产生大量的中间数据，比如需要人工进行图像信息的采集、图像信息的识别等，不能一步到位实现燃气监控的目的；二是，燃气监控系统多部署在野外。燃气装置所在环境非常差，有些是高原、山洞或地下，或者是人迹罕至的地方，人工巡视的工作强度大，效率低，容易造成检测周期的延长，以至于不能实时监控等；三是，随着设备部署范围扩大，人工巡视的工作量不断增加。

[0025] 针对设备状态监控存在人工成本和操作效率的这一问题，现在需要一种用于燃气监控图像处理办法，以实现实时监控并得到设备状态，提高燃气监控的工作效率。

[0026] 本申请提供一种用于燃气监控图像的处理方法，图1为本申请实施例提供的用于燃气监控图像的处理方法的流程图，该方法可以由具备边缘计算能力的终端实现，如图1所示，该方法可以包括如下执行过程：

[0027] S10、基于燃气平台获取燃气监控设备在监控区域的多模态图像数据和监控数据；

[0028] 其中，在基于的燃气监控系统中，通过部署在关键节点的高级监控设备，可以实时获取燃气监控区域的多模态图像数据和监控数据。这些数据包括但不限于可见光图像、红外热成像图像以及压力、流量、温度等传感器收集的监控数据。这些信息对于理解燃气设备的运行状态至关重要。

[0029] 需要说明的是，除了可见光图像、红外热成像图像以外，多模态图像还可以是紫外线图像、X射线或伽马射线图像、声纳图像、激光扫描图像、无人机图像、多光谱或高光谱图像等，其中，紫外线图像可以通过紫外线相机检测到某些材料的特定荧光反应而得到，这在检测微小裂纹或特定类型的泄漏时非常有用。

[0030] X射线或伽马射线图像可以穿透物体，用于检测内部结构或隐藏的缺陷；声纳图像可以用来创建管道或其他隐蔽结构的图像，以检测腐蚀或堵塞；激光扫描图像可以使用激光雷达(LiDAR)技术捕获的图像，可以提供场景的精确距离和三维信息；无人机图像可以从高空获取的图像，可以用于监测大面积的燃气设施和管道网络；多光谱或高光谱图像可以捕获超出人眼可见光谱范围的多个波段，可以揭示材料的化学成分或生物特性。

[0031] 在本申请的实施例中，在步骤S10之后，该用于燃气监控图像的处理方法还可以包括如下图像预处理过程：

[0032] S41、尺度变换处理多模态图像数据得到第一输入图像；

[0033] 其中，处理多模态图像数据时，尺度变换是一个重要的预处理步骤。这一步骤可以涉及将不同来源或不同分辨率的图像调整到统一的尺寸，以便它们可以被神经网络处理。例如，如果监控设备捕获的图像具有不同的尺寸，尺度变换将确保所有图像都被调整到适合网络输入的大小，如256x256像素。这一步骤可以使用插值方法，如双线性插值或最近邻插值，来避免因尺寸不一致而导致的信息丢失。

[0034] S42、归一化和维度调整处理所述第一输入图像得到第二输入图像；

[0035] 具体地，归一化和维度调整是图像预处理中的两个关键步骤。归一化可以指的是将图像数据缩放到一个特定的范围，如[0,1]或[‑1,1]，这有助于神经网络更快地收敛并提高训练的稳定性。维度调整则涉及将图像数据从三维(高度、宽度、通道数)转换为神经网络所需的输入格式，例如，将图像数据从HWC(高度、宽度、通道数)格式转换为CHW(通道数、高度、宽度)格式。上述过程可以避免因尺寸不一致而导致的信息丢失，通道对齐、去除非必要数据提高算法的性能。

[0036] S43、标准化处理所述第二输入图像得到预处理后的所述多模态图像数据。

[0037] 标准化处理是图像预处理的另一个重要步骤，它涉及使用图像数据的统计特性(如均值和标准差)来调整数据分布。这个过程可以包括从每个像素值中减去平均值并除以标准差，从而使数据具有零均值和单位方差。这种处理有助于提高后续算法对输入数据的泛化能力，并减少不同特征之间的相关性，从而提高算法的性能。

[0038] 通过这些预处理步骤，多模态图像数据被转换成同一种格式，使得它们可以被神经网络有效地处理，以进行后续的特征提取和状态识别任务。这些步骤对于确保模型能够从各种图像数据中提取有用信息至关重要，并且是实现准确状态识别的基础。

[0039] S20、利用预构建的特征生成神经网络处理所述多模态图像数据，得到所述燃气监控设备的第一特征，其中，所述特征生成神经网络基于依次连接的融合生成对抗网络、特征提取网络、多尺度特征融合网络构成；

[0040] 在这一步骤中，为了从多模态图像数据中提取有用特征，本发明提供了一个特征生成神经网络，该网络首先使用融合生成对抗网络(如FusionGAN)来整合多模态图像数据，生成一张包含多种模态信息的融合图像。接着，特征提取网络对融合后的图像进行处理提取图像特征。最后，多尺度特征融合网络将不同尺度的特征图进行有效整合，以获得更丰富的第一特征集合。

[0041] 在本发明的实施例中，步骤S20可以包括如下具体执行过程：

[0042] S21、利用预构建的所述融合生成对抗网络处理所述多模态图像数据得到包含多模特特征的融合图像，其中，所述融合生成对抗网络包括生成器，所述生成器包括依次连接的全连接模块和卷积模块，其中，卷积模块包括依次连接的第一批量归一化层、第一上采样模块、第一一维卷积层、第二批量归一化层、第一激活层、第二上采样模块、第二一维卷积层、第三批量归一化层、第二激活层和第三一维卷积层；

[0043] 示例性地，全连接模块包括一全连接层，卷积模块包括依次连接的第一批量归一化层、上采样模块、第一一维卷积层、第二批量归一化层、第一激活函数、第二上采样模块、第二一维卷积层、第三批量归一化层和第二激活函数。其中，全连接层的输入节点为2输出节点为128(默认输入为2个模态)、第一批量归一化层的特征通道为128；第一上采样模块的缩放因子为2；第一一维卷积层的输入通道为128输出通道为128卷积核为3；第二批量归一化层的特征通道为128；第一激活函数的负斜率参数为0.2；第二上采样模块的缩放因子为2；第二一维卷积层的输入通道为128输出通道为64卷积核为3；第三批量归一化层的特征通道为64；第二激活函数的负斜率参数为0.2；第三一维卷积层的输入通道为64输出通道为1卷积核为3。这样可以利用UNET结构的生成网络，可以准确地分割出图像中的感兴趣区域。

[0044] S22、利用预构建的特征提取网络处理所述融合图像，得到多尺度图像特征；

[0045] 具体地，终端可以使用预构建的特征提取网络来处理融合后的图像。这个网络可以包含多个卷积层，用于提取图像中的关键视觉特征。例如，可以使用卷积神经网络(CNN)来自动学习图像中的局部特征，并逐渐构建出更加抽象的高层特征。

[0046] 示例性地，所述特征提取网络包括依次连接的第一二维卷积层、第二二维卷积层、池化层、第一全连接层和第二全连接层，其中，第一二维卷积层的输入通道可以为1输出通道为648卷积核为3；第二二维卷积层的输入通道可以为64输出通道为128卷积核为3；池化层的池化窗口为2x2；第一全连接层的输入节点数为128*6*6，输出节点数为512；第二全连接层的输入节点数为512，输出节点数为128。特征提取网络可以自动学习图像中的局部特征。

[0047] S23、利用预构建的多尺度特征融合网络处理所述多尺度图像特征，得到多尺度特征融合后的燃气监控设备的第一特征。

[0048] 在这一步中，终端可以使用多尺度特征融合网络来处理提取的多尺度图像特征。这种网络结构例如可以为Inception网络中的Inception模块，或者串行的跳层连接结构，如特征金字塔网络(FPN)。这些结构能够在不同的感受野下进行特征提取，并将不同层级的特征进行有效融合。多尺度特征融合之后，即得到了燃气监控设备的第一特征。这些特征包含了图像的丰富信息，如边缘、纹理、形状等。为了将这些图像特征与监控数据融合，通过设计一个融合层，该层可以使用简单的拼接(concatenation)或者加权平均(weighted average)等方式来合并特征向量。

[0049] 在本发明的实施例中，多尺度特征融合网络为特征金字塔网络。

[0050] 示例性地，特征金字塔网络包括上采样卷积层和横向卷积层，其中上采样卷积层包括：第一上采样卷积层～第三上采样卷积层，其中，第一上采样卷积层输入通道数为128，输出通道数为64，卷积核的大小为2x2，步长为2；第二上采样卷积层输入通道数为64，输出通道数为32，卷积核的大小为2x2，步长为2；第三上采样卷积层输入通道数为32，输出通道数为1，卷积核的大小为2x2，步长为2。横向卷积层包括第一横向卷积层～第三横向卷积层，其中，第一横向卷积层输入通道数为128，输出通道数为64，卷积核的大小为1x1；第二横向卷积层输入通道数为64，输出通道数为32，卷积核的大小为1x1，第三横向卷积层输入通道数为32，输出通道数为1，卷积核的大小为1x1。上采样卷积层可以用于将高层(语义信息丰富但分辨率低)的特征图进行上采样，以便与低层(细节信息丰富但语义信息弱)的特征图进行融合。横向卷积层则用于在融合前调整特征图的通道数，以确保不同层级的特征图可以有效地结合在一起。这样的设计使得网络能够同时利用图像的高层语义信息和低层的细节信息，从而提高对不同尺度目标的识别能力。特征金字塔网络可以将高层(语义信息丰富但分辨率低)的特征图进行上采样，以便与低层(细节信息丰富但语义信息弱)的特征图进行融合，从而提高对不同尺度目标的识别能力。

[0051] S30、利用预构建的状态识别神经网络处理所述监控数据和所述第一特征，得到燃气监控设备的状态识别结果，状态识别神经网络包括依次连接的多模数据融合网络和分类网络。

[0052] 其中，终端将融合后的特征输入到状态识别神经网络中。这个网络可以包括一个或多个全连接层，用于将融合的特征映射到设备的不同运行状态。通过训练，网络能够学习到区分正常运行状态和各种潜在故障模式的模式。最终，状态识别网络将输出设备的运行状态，这可以是一个类别标签(如“正常”、“异常”)或是一个连续的评分，表示设备状态的严重程度。

[0053] 在本发明的实施例中，步骤S30可以包括如下具体执行步骤：

[0054] S31、利用预构建的多源数据融合网络处理所述监控数据和所述第一特征，得到数据融合的第二特征；

[0055] S32、利用预构建的分类网络处理第二特征，得到燃气监控设备的状态识别结果，其中，所述燃气监控设备包括流量监控仪、阀门、燃气安全管网控制器、温湿度传感器、甲醇流量计、燃气调压阀以及消防站。

[0056] 在步骤S31和步骤S32中，模数据融合网络和分类网络均为全连接神经网络。终端通过执行步骤S31‑步骤S32，结合了多尺度特征和监控数据来进行最终的状态识别。此外，将监控数据和第一特征数据融合，可以得到信息丰富的特征数据

[0057] 可选地，在步骤S30之后，用于燃气监控图像的处理方法还可以包括如下执行过程：

[0058] S50、一旦训练完成，状态识别神经网络将部署到燃气监控平台的终端上，实时接收来自监控设备的多模态数据。状态识别神经网络将自动处理这些数据，并输出设备的状态识别结果，这样可以提供即时的决策支持。

[0059] S60、此外，系统还包括一个反馈机制，允许运维人员对状态识别结果进行验证和调整。这些人工反馈将被用来进一步微调网络，形成一个持续改进的循环，确保状态识别的准确性和可靠性随着时间的推移而提高。

[0060] 通过这些步骤，基于的燃气监控系统能够实现对燃气设备的实时、自动、准确地状态监测，从而提高燃气供应的安全性和效率。

[0061] 本申请实施例提出的用于燃气监控图像的处理方法，通过基于燃气平台获取燃气监控设备在监控区域的多模态图像数据和监控数据；利用预构建的特征生成神经网络处理多模态图像数据，得到燃气监控设备的第一特征，其中，特征生成神经网络基于依次连接的融合生成对抗网络、特征提取网络、多尺度特征融合网络构成；利用预构建的状态识别神经网络处理监控数据和第一特征，得到燃气监控设备的状态识别结果，状态识别神经网络包括依次连接的多模数据融合网络和分类网络，实现了大规模的、分散在各个空间位置的、各种监控数据和动态传感数据的统一互联、统一计算，针对上述数据进行统一数据采集、处理，自动得到燃气监控设备的状态识别结果，为智能化的燃气监控管理奠定基础。

[0062] 在上述实施例基础上，本申请提供一种用于燃气监控图像处理装置，图2为本申请实施例提供的用于燃气监控图像处理装置结构图，参考图2，用于燃气监控图像处理装置结构100可以包括获取模块101、处理模块102和输出模块103，其中，获取模块101用于基于燃气平台获取燃气监控设备在监控区域的多模态图像数据和监控数据；处理模块102用于利用预构建的特征生成神经网络处理所述多模态图像数据，得到所述燃气监控设备的第一特征，具体地，所述特征生成神经网络基于依次连接的融合生成对抗网络、特征提取网络、多尺度特征融合网络构成；输出模块103用于利用预构建的状态识别神经网络处理所述监控数据和所述第一特征，得到燃气监控设备的状态识别结果，状态识别神经网络包括依次连接的多模数据融合网络和分类网络。

[0063] 在本申请的实施例中，用于燃气监控图像处理装置结构100还可以包括预处理模块104，预处理模块104可以用于尺度变换处理原始可见光图像和原始红外光图像得到第一输入图像；归一化和维度调整处理所述第一输入图像得到第二输入图像；标准化处理所述第二输入图像得到预处理后的所述多模态图像数据。

[0064] 在本申请的实施例中，处理模块102还可以用于利用预构建的所述融合生成对抗网络处理所述多模态图像数据得到包含多模特特征的融合图像，其中，所述融合生成对抗网络包括生成器，所述生成器包括依次连接的全连接模块和卷积模块，所述卷积模块包括依次连接的第一批量归一化层、第一上采样模块、第一一维卷积层、第二批量归一化层、第一激活层、第二上采样模块、第二一维卷积层、第三批量归一化层、第二激活层和第三一维卷积层；利用预构建的特征提取网络处理所述融合图像，得到多尺度图像特征；利用预构建的多尺度特征融合网络处理所述多尺度图像特征，得到多尺度特征融合后的燃气监控设备的第一特征。

[0065] 在本申请的实施例中，处理模块102还可以用于利用依次连接的第一二维卷积层、第二二维卷积层、池化层、第一全连接层和第二全连接层处理所述融合图像，得到多尺度图像特征。

[0066] 在本申请的实施例中，输出模块103还可以用于利用特征金字塔网络处理所述多尺度图像特征，得到多尺度特征融合后的燃气监控设备的第一特征。

[0067] 在本申请的实施例中，获取模块101还可以用于获取压力参数、流量参数和温度参数的实时历史数据和/或报警数据和/或趋势数据。

[0068] 在本申请的实施例中，输出模块103还可以用于利用预构建的多源数据融合网络处理所述监控数据和所述第一特征，得到数据融合的第二特征；利用预构建的分类网络处理第二特征，得到燃气监控设备的状态识别结果，其中，所述燃气监控设备包括流量监控仪、阀门、燃气安全管网控制器、温湿度传感器、甲醇流量计、燃气调压阀以及消防站。

[0069] 述实施例的基础上，本申请实施例还提供一种计算机可读存储介质，参考图3，其示出的计算机可读存储介质为光盘50，其上存储有计算机算法即算法产品，计算机算法在被处理器运行时，会实现上述方法实施方式中所记载的各步骤，例如，基于燃气平台获取燃气监控设备在监控区域的多模态图像数据和监控数据；利用预构建的特征生成神经网络处理多模态图像数据，得到燃气监控设备的第一特征，其中，特征生成神经网络基于依次连接的融合生成对抗网络、特征提取网络、多尺度特征融合网络构成；利用预构建的状态识别神经网络处理监控数据和第一特征，得到燃气监控设备的状态识别结果，状态识别神经网络包括依次连接的多模数据融合网络和分类网络。

[0070] 需要说明的是，计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

[0071] 此外，在上述实施例的基础上，本申请实施例还提供一种终端设备，图4示出了适于用来实现本申请实施方式的示例性的终端设备60的框图，该终端设备60可以是计算机系统或服务器。图4显示的终端设备60仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

[0072] 参考图4，终端设备60的组件可以包括但不限于：一个或者多个处理器或者处理单元601，系统存储器602，连接不同系统组件(包括系统存储器602和处理单元601)的总线603。

[0073] 终端设备60典型地包括多种计算机系统可读介质。这些介质可以是任何能够被终端设备60访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

[0074] 系统存储器602可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)6021和/或高速缓存存储器6022。终端设备60可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，ROM6023可以用于读写不可移动的、非易失性磁介质(图4中未显示，通常称为“硬盘驱动器”)。尽管未在图4中示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD‑ROM，DVD‑ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与连接不同系统组件的总线603相连。系统存储器602中可以包括至少一个算法产品，该算法产品具有一组(例如至少一个)算法模块，这些算法模块被配置以执行本申请各实施例的功能。

[0075] 具有一组(至少一个)算法模块6024的算法/实用工具6025，可以存储在例如系统存储器602中，且这样的算法模块6024包括但不限于：操作系统、一个或者多个应用算法、其它算法模块以及算法数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。算法模块6024通常执行本申请所描述的实施例中的功能和/或方法。

[0076] 终端设备60也可以与一个或多个外部设备604(如键盘、指向设备、显示器等)通信。这种通信可以通过输入/输出(I/O)接口605进行。并且，终端设备60还可以通过网络适配器606与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器606通过连接不同系统组件的总线603与终端设备60的其它模块(如处理单元601等)通信。应当明白，尽管图4中未示出，可以结合终端设备60使用其它硬件和/或软件程序模块。

[0077] 处理单元601通过运行存储在系统存储器602中的算法，从而执行各种功能应用以及数据处理，例如，基于燃气平台获取燃气监控设备在监控区域的多模态图像数据和监控数据；利用预构建的特征生成神经网络处理多模态图像数据，得到燃气监控设备的第一特征，其中，特征生成神经网络基于依次连接的融合生成对抗网络、特征提取网络、多尺度特征融合网络构成；利用预构建的状态识别神经网络处理监控数据和第一特征，得到燃气监控设备的状态识别结果，状态识别神经网络包括依次连接的多模数据融合网络和分类网络，各步骤的具体实现方式在此不再重复说明。应当注意，尽管在上文详细描述中提及了用于燃气监控图像处理装置的若干单元/模块或子单元/子模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

[0078] 在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0079] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0080] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0081] 作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0082] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0083] 功能如果以软件程序功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件程序产品的形式体现出来，该计算机软件程序产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储算法代码的介质。

[0084] 最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

[0085] 此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

[0086] 以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。