[0001] 本发明涉及灾害防治技术领域，具体涉及一种基于实时视频信息和知识图谱的灾害识别处置方法。

[0002] 在自然灾害或突发事故发生时，准确、及时地了解受灾情况是应急响应的关键。传统的灾害评估方式主要依赖于人工实地勘察或基于静态图像的分析，这种方式不仅耗费时间，且难以及时反映灾害的动态变化。同时，近年来随着无人机、监控摄像头等设备的广泛应用，视频数据成为获取灾害现场信息的重要来源。

[0003] 目前，基于视频的灾害情况分析技术主要依赖于计算机视觉领域的目标检测和场景理解算法。然而，现有技术存在以下问题：实时性不足：现有的视频分析系统大多不能实时处理海量的视频数据，延迟较高，影响了应急响应的及时性。数据上传效率低：受灾现场的视频数据量大，现有系统在上传过程中存在带宽瓶颈，导致灾害评估信息上传不及时，影响决策。灾害情况评估精度不高：现有的视频分析算法在面对复杂的灾害场景时，识别准确率较低，尤其是在光照变化、烟雾、遮挡等复杂环境下，算法性能下降明显。应急处置专业性不足：现有的视频分析算法的系统不具备生成专业、准确的应急处置方案的能力。

[0030] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于实时视频信息和知识图谱的灾害识别处置方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

[0031] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

[0032] 下面结合附图具体的说明本发明所提供的一种基于实时视频信息和知识图谱的灾害识别处置方法的具体方案。

[0033] 实施例：

[0034] 本发明的主要应用场景为：在灾害发生后，现场情况的研判对于应急处理以及救援有着至关重要的作用，现有的对于灾害现场的研判是基于现场视频分析进行直观研判，存在着现有视频分析技术在受灾情况评估中的实时性、数据上传效率低以及评估精度不足的问题，因此，如何在灾害现场快速、准确地分析视频信息，并实时上传数据至指挥中心，生成专业处置方案成为亟需解决的问题。

[0035] 请参阅图1，其示出了本发明实施例提供的一种基于实时视频信息和知识图谱的灾害识别处置方法的方法流程图，该方法包括以下步骤：

[0036] 步骤S1，获取灾害区域的视频数据，并对视频数据进行预处理得到各时刻的灾害图像。

[0037] 本发明涉及应急管理、计算机视觉和人工智能领域，特别是通过视频信息分析受灾情况，并实时上传数据的技术，旨在提高灾害响应中的信息获取效率和准确性。同时提高视频分析系统的实时处理能力，确保能够快速评估灾害情况；优化数据上传机制，减少带宽占用，提升数据上传的效率；提高在复杂灾害场景下的识别精度，确保评估结果的准确性；结合知识图谱生成专业准确的应急处置方案。

[0038] 首先，需要确定灾害区域，进一步的采集灾害区域的视频数据，需要说明的是，可以通过无人机、监控摄像头或移动设备采集灾害区域的视频数据，能够确保视频源的多样性和覆盖范围，需要说明的是，采集视频数据的设备需要实施者根据灾害区域实际情况进行确定。

[0039] 进一步的，采集视频数据后需要进行传输，本发明采用用H.265等高效视频编码格式，降低视频数据的传输带宽需求(相比于H.264等传统视频编码格式，采用更高级的编码方法，包括更高效的帧内预测、帧间预测和熵编码，能够在保持相同视频质量的情况下，减少约50％的带宽需求)。

[0040] 进一步的，需要对视频数据进行预处理，包括降噪、去模糊、帧间差分等操作，提高视频数据的质量，以减少环境噪声对分析结果的影响。进一步的，需要将预处理后的视频数据进行裁剪，按照每秒1帧来裁剪，获得灾害图像，这样裁剪的目的是用来标注，每张灾害图像的标注信息包括视频id、帧数(第几帧)、人体框的角点坐标、标签等。同时灾害图像组成连续图像集合，集合中的图像按照时间顺序进行排列。

[0041] 步骤S2，构建第一检测模型，并对第一检测模型进行训练；将当前时刻的灾害图像输入训练完成的第一检测模型，获取第一灾害类型、人员密集程度和灾害持续时间。

[0042] 获取视频数据后，需要构建检测模型，进一步对yolov8模型进行改进，具体的，引入了特征金字塔网络(FPN)结构，能够在不同尺度上检测物体，尤其是小目标(如远处的受困人员)的检测精度显著提升；增加注意力机制：应用了注意力机制(如SE模块或CBAM模块)，使模型能够更加关注灾害场景中的显著区域，从而提高检测的准确性，进而获得第一检测模型。

[0043] 同时，为了增加后续检测的准确性，需要对灾害图像数据进行增强，其是针对灾害场景中的光照变化和遮挡问题(如烟雾遮挡)，能够增强模型在复杂场景下的鲁棒性。进一步的，获取历史灾害图像数据，进行标注形成第一训练集，利用第一训练集对第一检测模型进行训练，获得训练完成后的第一检测模型。

[0044] 进一步的，将当前时刻的灾害图像输入训练完成的第一检测模型，获取第一灾害类型、人员密集程度和灾害持续时间，其中灾害类型包括地震(房屋受损和倒塌)、火灾(火焰)、洪水，以及人员密集程度和灾害持续时间；需要说明的是，人员密集程度为灾害区域内的人员的数量和灾害区域面积的比值，灾害持续时间为开始拍摄视频数据到当前时刻的时间。

[0045] 由此可以由第一检测模型对灾害区域进行初步检测，需要说明的是，在检测的过程中，视频数据是连续采集的，其中由视频数据得到的灾害图像按照时间顺序在图像集合中排列，因此对于灾害区域的检测也是连续的，当上一帧灾害图像输入第一检测模型后，下一次输入的是下一帧灾害图像，也即是按照时间顺序将灾害图像输入到第一检测模型中，得到相应的检测结果。

[0046] 步骤S3，构建第二检测模型，并对第二检测模型进行训练；将当前时刻的灾害图像输入训练完成的第二检测模型，获取人员行为、灾害特征、灾害等级和第二灾害类型。

[0047] 在对灾害区域进行检测的过程中，仅仅依靠识别灾害区域的物体是不能够准确的描述灾害现场的情况的，因此还需要对灾害区域内人物的动作，以及灾害特征，等进行识别。因此需要构建第二检测模型。

[0048] 第二检测模型为增加了全连接层的Slowfast模型，Slowfast模型思想，由Facebook AI Research(FAIR)提出，核心思想是在处理视频时，利用两条不同时间尺度的路径来捕捉动作的不同特征。将目标与背景分离，以较高的帧率捕捉目标，以较低的帧率捕捉背景，并且侧重时间维度上的变化，采用三维卷积，将时间维度上的变化和空间维度上的变化进行了解耦。

[0049] Slowfast算法将背景和目标分离，分为快路径和慢路径，对于慢路径，采用更长的帧间隔，对于快路径，有更多的图像输入，所以采用更简单的卷积操作减少计算复杂度，因为快路径对于单张图像信息的依赖较小，更多地考虑连续序列上的变化。这样的设计可以将两条路径的处理速度对齐。其原理图如图2所示。

[0050] 其中，卷积核尺寸记作{T*S2，C}，T时序，S空间，C频道，α为速度比率，β为频道比率；

[0051] 慢路径特征矩阵为：

[0052] {T,S2,C}

[0053] 快路径特征矩阵为：

[0054] {αT,S2,βC}

[0055] 采用这种卷积方式对两条路径进行多轮卷积、池化。

[0056] 侧向连接：每轮卷积后，快路径要把提取好的动作特征融合到慢路径，采用的融合策略为对快路径的特征矩阵再次进行3d卷积，输出时间维度与慢路径一致的特征矩阵，再进行连接。最后将输出结果输入全连接层进行融合，输出结果。

[0057] 其中第二检测模型采用的是R‑CNN系列模型，包括Faster R‑CNN、Mask R‑CNN和Keypoint R‑CNN；其中Faster R‑CNN是一种基于区域提议(Region Proposal)的目标检测模型。它通过以下步骤进行目标检测：

[0058] 1.特征提取：使用卷积神经网络(如ResNet、VGG)提取输入图像的特征。

[0059] 2.区域提议网络(RPN)：在提取的特征图上生成一系列的候选区域(称为区域提议)。这些区域可能包含目标。

[0060] 3.分类和回归：对每个提议区域进行分类(识别目标类别)和边界框回归(调整边界框位置)。

[0061] Faster R‑CNN的检测精度非常高，但由于其涉及到区域提议，速度相对较慢。

[0062] Mask R‑CNN是Faster R‑CNN的扩展版本，除了执行目标检测，还能够进行实例分割；Mask R‑CNN在Faster R‑CNN的基础上增加了一个分支，用于为每个检测到的物体生成像素级的分割掩码。

[0063] 在Detectron2中，Mask R‑CNN被广泛用于实例分割任务，即区分图像中每个物体的像素级区域。这种像素级的分割可以看作是目标与背景的分离。

[0064] Detectron2的Mask R‑CNN模型能够为每个检测到的目标生成一个像素级的分割掩码。这种分割掩码将图像中的目标与背景分离开来。例如在一张包含多个人的图像中，Mask R‑CNN不仅可以检测到每个人的边界框，还可以生成每个人的精确轮廓(即实例分割)，从而将人和背景区分开来。语义分割：Detectron2还支持语义分割，即为图像中的每个像素分配一个类别标签。语义分割能够在像素级别上区分图像中的对象和背景，比如区分“道路”、“建筑”、“天空”等场景元素。

[0065] 在构建完成第二检测模型后，将历史灾害图像数据进行标注形成第二训练集，利用第二训练集对第二检测模型进行训练，得到训练完成后的第二检测模型，将当前时刻的灾害图像输入训练完成的第二检测模型，获取人员行为、灾害特征、灾害等级和第二灾害类型。

[0066] 其中人员行为指的是处在灾害区域内的人员的行为动作，如奔跑，行走，呼救等，灾害特征指的是灾害的特征，如洪水的水位、流速、覆盖区域。火焰的强度、扩散速度、烟雾的浓度，建筑物倒塌的程度等。

[0067] 其中灾害等级分为严重、较严重、一般严重、轻微和无灾害。在获取灾害等级后需要根据当前时刻的灾害等级截取高分辨率视频片段进行上传，供指挥中心进行进一步分析，灾害等级在轻微以上的，以当前时刻为截取视频片段的中间时刻进行截取获取关键视频片段，其中关键视频片段的长度为预设时长，优选的，本发明实施例中，预设时长为1分钟，也即是截取当前时刻前30秒和当前时刻后30秒的片段作为关键视频片段。截取视频片段的长度可由实施者根据实际情况进行判断。

[0068] 根据灾害等级，仅上传关键视频片段，减少原始视频数据的上传量，并通过差分编码、数据压缩等技术进一步优化传输效率。其中本发明中还采用分级上传机制，灾害等级在轻微以下，包括轻微的，上传低分辨率视频和简化的评估报告。

[0069] 由此可以获取当前时刻的人员行为、灾害特征、灾害等级和第二灾害类型，需要说明的是，由于对于灾害区域的检测是实时监测的，所以每个时刻的都会进行检测，本实施例中仅以当前时刻为例进行说明。

[0070] 步骤S4，根据第一灾害类型和第二灾害类型获得当前灾害类型；构建灾害知识图谱，根据当前灾害类型、人员密集程度、灾害持续时间、人员行为、灾害特征和灾害等级在灾害知识图谱中寻找应急响应方案。

[0071] 由于模型的误差以及现场环境造成的视频质量问题，可能会导致第一检测模型和第二检测模型对于灾害类型的检测出现误差，因此需要综合两个模型的检测结果判断检测结果，根据第一灾害类型和第二灾害类型获得当前灾害类型，具体的，当第一灾害类型和第二灾害类型相同时，当前灾害类型为第一灾害类型和第二灾害类型中任意一个；当第一灾害类型和第二灾害类型不相同时，获取两个模型预测概率进行加权平均，计算每个类别的最终概率，选择最高的类别作为当前灾害类型。其中进行加权平均时，第一检测模型和第二检测模型的权重依据两个模型在验证集上的性能进行调整。由此可以获得当前灾害类型。

[0072] 进一步的，获取灾害区域的各种信息后，需要根据这些信息获取接下来的应急处理方案，构建灾害知识图谱，具体的，采集大量与应急管理相关的灾害事故报告、应急预案、应急演练报告、应急法规等文本数据；对采集到的文本数据进行清洗、去重、格式化等预处理操作，确保数据的有效性和规范性；基于经过预处理的数据，提取与灾害事故相关的关键信息，包括但不限于事故类型、事故等级、事故责任划分、事故原因、事故影响、应急响应措施等；对提取的关键信息进行结构化处理，利用自然语言处理技术进行信息标注，建立实体(如事故类型、事故地点、事故时间)与关系(如事故原因、事故后果)的关联；生成应急领域的知识图谱，全面且系统地展示各类灾害事故的因果关系、处理流程等关键信息。最终，使用知识图谱保证问答模型内容的准确性，使用准确的数据进行问题回答产生应急处理方案。同时需要说明的是，知识图谱是实时更新的，在刚开始构建完成知识图谱后，随着时间需要对知识图谱进行实时更新。

[0073] 在灾害知识图谱中，每个历史灾害案例都有相应的索引，索引包括灾害时间、灾害地点、灾害类型、人员密集程度、灾害持续时间、人员行为、灾害特征和灾害等级，历史灾害案例的索引可以作为一个索引向量；获取当前时刻的前灾害类型、人员密集程度、灾害持续时间、人员行为、灾害特征、灾害等级、灾害时间和灾害地点，组成灾害特征向量；分别计算灾害特征向量与各索引向量的距离，获得距离最近的索引向量对应的历史灾害案例，根据历史案例的因果关系、处理流程等关键信息生成灾害评估(伤亡人数、经济损失、事故原因、事故责任方等)、应急响应方案(资源调度、人员调度等)。至此可以获取灾害现场的情况，同时得到相应的应急相响应方案，以便于对于灾害进行处置，降低灾害的危害性。

[0074] 本发明能够融合多源视频数据，全面掌握灾害现场的多角度信息，提供更为全面的灾害评估结果。通过基于应急领域的历史报告、演练数据等信息构建知识图谱，模型能够准确掌握应急管理领域的专业知识，提供更具针对性的解答，为灾害处置提供指导。

[0075] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

[0076] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

[0077] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。