[0001] 本发明涉及火灾预警技术领域，具体为一种图像识别技术、雷达技术、深度学习、热成像技术以及BIM建模技术的多源信息融合的火灾预警方法、系统及介质。

[0002] 随着城市化进程的加速推进，桥梁作为连接城市、区域的重要交通枢纽，在交通网络中的作用愈发重要。然而，桥梁发生火灾事故的风险也随之增加，由于桥梁结构的原因，发生火灾时人员无法及时掌握灾情信息，逃生难度极大，火灾也会破坏桥梁结构，影响桥梁的承载能力和稳定性，给维护公共安全和桥梁结构稳定带来了极大的挑战。

[0003] 因此需要对桥梁火灾进行监测和预警，而传统的桥梁火灾检测方法主要依赖于人工巡检和定期的维护检查，尽管该方法在一定程度上能够发现潜在的火灾隐患，但人工巡检和定期维护检查受限于人员数量、人员专业素养以及天气条件等各方面因素，存在反应速度慢、检测效率低、检测不全面等问题，无法实现对桥梁全天候、全方位的实时监测。不仅如此，传统的桥梁火灾检测方法具有很强的滞后性，当人工巡检到异常情况时，往往火势已经积累到一定的程度，无法进行火灾前期的预警，并且当火灾发生时，由于信息不互通，工作人员很难将火灾情况实时通知至桥梁上的每个人员，加大火灾的疏散和救援难度。

[0076] 为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述：

[0077] 本发明实施例提供了基于多源信息融合的火灾预警方法和系统的实施例，虽然在流程图中示出了逻辑顺序，但是在某些数据下，可以以不同于此处的顺序完成所示出或描述的步骤。

[0078] 实施例1：参照图1

[0079] 如图1的基于多源信息融合的火灾预警方法步骤图所示，本发明提供一种基于多源信息融合的火灾预警方法，本发明提供一种基于多源信息融合的火灾预警方法，包括单个车辆模型训练、模型部署、火灾风险评估、BIM建模展示以及异常信息通知。

[0080] 所述单个车辆模型训练包括：

[0081] S1、获取单个车辆的车牌和危化品标识的图像数据、车辆实时定位和速度的点云数据以及车辆的温度热成像数据，形成车辆数据；

[0082] S2、将所述车辆数据进行车辆数据预处理和初步数据融合，生成融合后的车辆监控数据；

[0083] S3、将所述融合后的车辆监控数据上传存储；

[0084] S4、通过深度学习卷积神经网络对所述车辆监控数据进行高级特征提取和深度融合，对所述深度融合卷积神经网络进行模型训练，识别火灾故障模式。

[0085] 由于需要对桥梁的火险情况进行实时监测和前期预警，将火灾抑制在发生前期，才能减少人员伤亡和降低经济损失，车辆事故、外部环境是诱发桥梁火灾的主要原因，因此通过采集车辆数据，利用深度学习卷积神经网络对桥梁上的车辆进行模型训练，利用训练好的模型来实时监测桥梁车辆情况，从而实现对桥梁火灾的预警。

[0086] 利用高清摄像头技术对单个车辆的车牌、以及危化品标识进行图像采集和识别，用于后续的车辆匹配和故障模式识别，通过激光雷达技术对该车辆进行精准定位和测速，实现在雷达测场区域内对车辆定位和速度数据的实时获取，并通过红外热成像技术进行车辆测温和伪彩色图像生成，用于发现车辆超温异常情况，获取的图像数据、点云数据以及热成像数据形成车辆数据。

[0087] 初步获取的车辆数据可能存在图像不清晰、识别模糊等情况，需要进行车辆数据预处理，车辆数据的预处理包括：对所述图像数据进行图像特征提取，识别车辆的类型，对点云数据进行滤波和点迹聚类，优化点云数据，精准识别车辆的三维位置，对热成像数据进行温度校准和图像增强，得到清晰的温度图像。

[0088] 经过预处理的车辆数据还存在数据零散的问题，这类数据无法直接输入到深度学习卷积神经网络中进行模型训练，需要对所述车辆数据进行初步数据融合，生成融合后的车辆监控数据上传存储。

[0089] 将所述车辆监控数据输入所述深度学习神经网络中，进行高级特征提取，包括：使用深度卷积神经网络从视频帧中提取车辆轮廓、车辆信息等高级视觉特征，使用Point Net点云处理算法从雷达点云数据中提取车辆的三维形态和位置特征，使用深度卷积神经网络从热成像数据中提取温度分布特征。对提取的所述高级特征进行深度融合，通过深度卷积神经网络进行模型训练，对火灾故障模式进行识别，并采用交叉熵损失函数进行模型优化，使用Adam优化算法更新模型参数，使用验证集数据评估训练好的模型的性能，包括准确率、召回率、F1得分等指标。

[0090] 对单个车辆模型训练好后，该模型可以实时、准确地识别火灾故障模式，可以进行模型部署，所述模型部署包括：

[0091] S5、将所述训练好的模型部署在深度学习处理单元中的模型中，用于对新采集的所述车辆数据进行实时火灾故障模式识别。

[0092] 所述单个车辆模型可以识别所述火灾故障模式，也可以获得该车辆的信息和实时定位，但对整个桥梁的火灾情况并没有预示性，无法获得桥梁各个位置的受灾程度，因此需要对整个桥梁系统进行火灾风险评估，所述火灾风险评估包括：

[0093] S6、采集当前桥梁环境的系统数据，通过所述系统数据和所述火灾故障模式识别结果，进行火灾风险评估和火灾风险级别划分。

[0094] 通过所述火灾风险评估，可以获得桥梁各个位置的受灾程度，为了进一步方便指挥部门、消防工作人员以及桥梁上的人员第一时间把握桥梁火灾的情况，可以通过所述BIM建模展示桥梁火灾风险地图。，所述BIM建模展示包括：

[0095] S7、根据所述系统数据与所述火灾故障模式结果进行桥梁BIM模型建模，将所述火灾风险评估结果映射到所述桥梁BIM模型上，生成桥梁火灾风险地图。

[0096] 所述桥梁火灾风险地图可以展示在监控中心的显示设备和用户终端设备，指挥部门可以根据所述桥梁火灾风险地图快速、有效地进行决策，并且方便消防工作人员和桥梁上人员了解火灾情况，减少火灾情况通知的人力成本，可以迅速展开火灾救援的工作，将灾情控制在前期，通过BIM模型展示所述桥梁火灾风险地图的同时，还需要通过桥梁情报板和喇叭再次将超温和火灾信息进行播报，确保将异常信息通知给司机。

[0097] 因此所述异常信息通知包括：

[0098] S8、根据所述桥梁火灾风险地图，通过桥梁情报板和喇叭将超温信息通知给司机。

[0099] 实施例2：参照图2

[0100] 由于所述车辆监控数据是基于多源信息融合，因此需要所述车辆监控数据中的图像数据、点云数据和热成像数据分别通过深度学习卷积神经进行特征向量提取，而提取的特征向量之间依然是分离的状态，需要进行特征向量的深度融合，进一步通过卷积和池化提取高级特征，才能通过全连接层分类识别得出所述故障模式的结果。

[0101] 因此，S4所述通过深度学习卷积神经网络对所述车辆监控数据进行高级特征提取和深度融合，对所述深度融合卷积神经网络进行模型训练，识别火灾故障模式还包括：

[0102] S41、对所述车辆监控数据进行卷积操作，提取特征向量：

[0103] FI＝CNNI(I)

[0104] FP＝CNNP(P)

[0105] FT＝CNNT(T)

[0106] 其中，CNNI、CNNP、CNNT分别表示用于处理所述图像数据、点云数据和热成像数据的第一卷积神经网络，FI、FP、FT是提取到的特征向量；

[0107] S42、将所述提取到的特征向量进行所述深度融合：

[0108] Ffused＝[FI,FP,FT]

[0109] 其中，Ffused是深度融合后的特征向量；

[0110] S43、对所述深度融合后的特征向量进行进一步的卷积和池化操作，提取高层次特征：

[0111] Fhigh＝CNNhigh(Ffused)

[0112] 其中，CNNhigh表示所述深度融合后的特征的第二卷积神经网络，Fhigh是提取的高层次特征；

[0113] 将所述高层次特征输入到全连接层进行全连接层分类，得到所述火灾故障模式识别结果：

[0114] y＝FC(high)

[0115] 其中，FC是全连接层，y是输出的火灾故障模式识别结果。

[0116] 为了提高所述单个车辆模型对所述火灾故障模式识别的准确性，需要先从所述车辆数据中提取有用特征，如温度变化速率、车辆行驶速度、环境温度等对火灾故障模式识别最有用的特征，可以有效提高模型的识别速度和准确度。

[0117] 在进行所述单个车辆模型训练时，将初步融合后的车辆监控数据集分为训练集和测试集，以8:2的比例进行分割，确保模型能够在遇到训练集之外的数据时依然能够进行有效预测，定义LSTM层、输入层、输出层以及隐藏层，设置LSTM的超参数，包括隐藏单元数、时间步长、学习率等。使用训练集对模型进行训练，调整模型参数以最小化损失函数，并在验证集对训练后的模型进行验证，调整超参数以防止过拟合，使用准确率、精确率、召回率和F1‑score等指标在测试集上评估模型性能。

[0118] 实施例3：参照图3～4

[0119] 本发明还提供一种基于多源信息融合的火灾预警系统，包括单个车辆模型训练模块、模型部署模块、火灾风险评估模块、BIM建模展示模块以及异常信息通知模块，其特征在于：

[0120] 所述单个车辆模型训练模块包括：

[0121] 获取模块：获取单个车辆的车牌和危化品标识的图像数据、车辆实时定位和速度的点云数据以及车辆的温度热成像数据，形成车辆数据；

[0122] 融合模块：将所述车辆数据进行车辆数据预处理和初步数据融合，生成融合后的车辆监控数据；

[0123] 存储模块：将所述融合后的车辆监控数据上传存储；

[0124] 深度学习模块：通过深度学习卷积神经网络对所述车辆监控数据进行高级特征提取和深度融合，对所述深度融合卷积神经网络进行模型训练，识别火灾故障模式；

[0125] 所述模型部署模块：将所述训练好的模型部署在深度学习处理单元中的模型中，用于对新采集的所述车辆数据进行实时火灾故障模式识别；

[0126] 所述火灾风险评估模块：采集当前桥梁环境的系统数据，通过所述系统数据和所述火灾故障模式识别结果，进行火灾风险评估和火灾风险级别划分；

[0127] 所述BIM建模展示模块：通过所述系统数据与所述火灾故障模式结果进行桥梁BIM模型建模，将所述火灾风险评估结果映射到所述桥梁BIM模型上，生成桥梁火灾风险地图，进行高风险区域标注；

[0128] 所述异常信息通知模块：根据所述桥梁火灾风险地图，通过桥梁情报板和喇叭将超温信息通知给司机。

[0129] 如图3与图4所示，所述获取模块中包括设置在桥梁门架上的高清摄像头1、频闪补光摄像头2、激光雷达3以及红外热成像摄像机，当车辆行驶至抓拍触发线14时，所述获取模块将获取单个车辆的车牌和危化品标识的图像数据、车辆实时定位和速度的点云数据以及车辆的温度热成像数据，形成车辆数据，所述融合模块通过边缘计算模块4对将所述车辆数据进行车辆数据预处理和初步数据融合，生成融合后的车辆监控数据，通过所述存储模块将所述车辆监控数据存储至网络交换机6，通过网络上传至区块链服务器7。

[0130] 所述深度学习模块从区块链服务器7中获取所述车辆监控数据，通过深度学习处理单元8中的深度学习卷积神经网络对所述车辆监控数据进行高级特征提取和深度融合，对所述深度融合卷积神经网络进行模型训练，识别火灾故障模式。

[0131] 所述模型部署模块将所述训练好的模型部署在深度学习处理单元中的模型中，用于对新采集的所述车辆数据进行实时火灾故障模式识别。

[0132] 所述火灾风险评估模块采集当前桥梁环境的系统数据，通过所述系统数据和所述火灾故障模式识别结果，进行火灾风险评估和火灾风险级别划分。

[0133] 所述BIM建模展示模块通过所述系统数据与所述火灾故障模式结果输入BIM建模工作站9中进行桥梁BIM模型建模，将所述火灾风险评估结果映射到所述桥梁BIM模型上，生成桥梁火灾风险地图，进行高风险区域标注，并将所述桥梁火灾风险地图通过监控中心显示设备10与用户终端设备11进行可视化展示和火灾预警。

[0134] 最后所述异常信息通知模块通过门架情报板12和定向扩音喇叭13将超温信息通知给司机。