[0001] 本发明涉及视频处理领域，特别是涉及一种恶劣天气下交通事故监控视频关键帧提取方法及系统。

[0002] 随着智慧交通监控系统在城市道路和高速公路等交通系统的广泛布设及应用，能够对基于监控视频的交通事故实时检测提供数据支撑。交通事故报警能够及时处理交通事故和交通违法行为，提高道路交通安全。但是目前交通安全报警机制和技术体系不够健全，目前大部分的报警还是通过人为的干预，主要依靠传统的监控设备和巡逻执法人员，对于部分交通安全隐患，报警信息的准确率和时效性不足。此外，雨雪雾等恶劣天气条件下采集的监控视频数据由于质量严重受损，导致交通事故检测精度难以保证，存在极高的误报率，严重影响交通事故信息的及时准确上报，延误救援。

[0019] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0020] 本发明的目的是提供一种恶劣天气下交通事故监控视频关键帧提取方法及系统，能够及时提供有效的交通事故报警信息，提高交通安全管理的智能化管理水平。

[0021] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0022] 实施例一

[0023] 如图1所示，本实施例提供了一种恶劣天气下交通事故监控视频关键帧提取方法，包括：

[0024] 步骤100：基于交通监控视频质量增强模型对恶劣天气下采集的监控视频进行质量增强。

[0025] 雨雪雾等恶劣天气条件下采集的监控视频的清晰度不高，会对基于监控视频的交通事故检测及关键帧提取算法的有效性造成极大负面影响，因此，本发明构建了恶劣天气条件下的交通监控视频质量增强模型，消除恶劣天气对监控视频清晰度的影响，提高监控视频的质量，进而提高后续交通事故监控视频关键帧提取的准确性。

[0026] 本实施例中，监控视频是通过摄像头采集的包含雨雪雾恶劣天气下的交通监控视频，将其传入云端，云端对传入的交通监控视频进行分帧处理。

[0027] 交通监控视频质量增强模型基于恶劣天气下雨雪雾分布特征稀疏化模型及混合专家特征补偿器构建。

[0028] 如图2所示，恶劣天气下雨雪雾分布特征稀疏化模型包括8个堆叠的稀疏Transformer模块。将分帧得到的图像送入恶劣天气下雨雪雾分布特征稀疏化模型。其中，稀疏Transformer模块是对标准的Transformer进行Top‑k稀疏注意力和混合尺度前馈稀疏过滤后得到的。稀疏Transformer降低模型的计算量，以此达到较高的实时性。本发明使用Top‑k稀疏注意力对查询和关键信息匹配进行稀疏化计算。

[0029] 每个稀疏Transformer模块均包括依次连接的第一归一化层、Top‑k选择层、第一特征拼接层、第二归一化层、混合尺度前馈网络及第二特征拼接层。

[0030] 所述第一特征拼接层用于将所述第一归一化层处输入的监控视频与所述Top‑k选择层输出的监控视频进行拼接。

[0031] 所述第二特征拼接层用于将所述第一特征拼接层输出的监控视频与所述混合尺度前馈网络输出的监控视频进行拼接。

[0032] 具体地，所述交通监控视频质量增强模型包括依次连接的卷积块、第一混合专家特征补偿器、恶劣天气下雨雪雾分布特征稀疏化模型、第二混合专家特征补偿器及反卷积块。混合专家特征补偿器包括多个并行的专家模块。每个专家模块包括一个感受野为3*3的平均池化层、4个卷积核分别为1*1、3*3、5*5和7*7的可分离卷积层以及3个卷积核分别为3*3、5*5和7*7的膨胀卷积层。步骤100具体包括：

[0033] 步骤101：通过所述卷积块对恶劣天气下采集的监控视频进行特征降维。所述卷积块包括1*1的卷积核和3*3的卷积核；1*1的卷积核用于对恶劣天气下采集的监控视频的通道数量进行降维，3*3的卷积核用于对恶劣天气下采集的监控视频的宽和高进行降维。

[0034] 步骤102：通过所述第一混合专家特征补偿器对所述卷积块输出的监控视频进行特征补偿。

[0035] 步骤103：通过所述恶劣天气下雨雪雾分布特征稀疏化模型对所述第一混合专家特征补偿器输出的监控视频进行特征提取。

[0036] 步骤104：通过所述第二混合专家特征补偿器对所述恶劣天气下雨雪雾分布特征稀疏化模型输出的监控视频进行特征补偿。

[0037] 步骤105：通过所述第二混合专家特征补偿器和所述反卷积块对监控视频进行特征提取和上采样。所述反卷积块包括1*1的反卷积核和3*3的反卷积核。

[0038] 步骤106：将恶劣天气下采集的监控视频与所述反卷积块输出的监控视频进行特征拼接，得到质量增强后的监控视频。

[0039] 具体来说，首先使用1*1和3*3的卷积对输入的视频帧提取特征和降维，之后在通道维度应用自注意力模型减少时间复杂度。然后通过余弦相似度函数计算所有查询和键之间的相似度，得到注意力矩阵。之后设定阈值(如0.8)消除注意力矩阵中注意力权重较低的元素。在自注意力机制中，注意力矩阵用来计算每个位置对其他所有位置的注意力权重，以便对序列中不同位置的信息进行加权组合。每一行或每一列的元素表示当前位置与其他所有位置的注意力权重，因此注意力矩阵可以描述序列中各个位置之间的关系和重要性。而每个输入元素都会被用于计算三个线性变换：查询(Query)、键(Key)。这三个变换是通过对输入元素进行权重矩阵乘法实现的，即查询向量Qi＝xi×Wq，键向量Ki＝xi×Wk，其中，xi表示输入的元素，Wq和Wk为权重矩阵，在训练过程中，权重矩阵中的数值会通过反向传播算法自动调整更新，以使得模型能够更好地捕捉输入序列中的信息和关系。得到注意力矩阵之后使用Top‑k规则进行自适应选择，以保留重要的部分，滤除无关的部分。其中，k是能够动态调整的变量，通过调整k的值可以控制注意力矩阵的稀疏程度。

[0040] 例如，来自注意力矩阵中每一行的值只有在[Δ1,Δ2]范围内的前k个值，才会被进行归一化操作，而注意力矩阵中不在此范围内的值则会被赋予0值。Δ1和Δ2分别为预先设定的上下限阈值。具体的计算如下：

[0041]

[0042]

[0043] 其中，SparseAtt(·)是稀疏注意力的符号，以此来区分普通注意力，Q为查询向量，K为键值向量，V为值向量，λ为缩放因子，用来控制数值范围，一般是查询或键的维度的平方根，T为转置运算，Ψk(·)表示Top‑k选择，i和j表示注意力矩阵中的元素位置，S是进行Top‑k选择的阈值，通过实验验证本发明中S＝0.8。

[0044] 最后考虑到视频帧中雨雪雾形状大小不一，在网络的前馈过程中采用了3*3和5*5的卷积核对不同的雨雪雾进行特征提取，由于卷积核的大小不同即感受野不同，不同大小的卷积核所关注到的特征尺度也不同，经过特征拼接后能提取到不同采样尺度下的雨迹特征的关联关系，以此来丰富不同尺度上的局部信息以实现更好的图像恢复。

[0045] 为了增强稀疏Transformer模块整合雨雪雾分布特征的能力，本发明进一步引入了混合专家特征补偿器。具体而言，聚合多个并行的卷积神经网络层作为专家。并将专家模块放到主干网络的最后，以丰富不同尺度上的局部信息，促进图像的恢复效果。

[0046] 交通监控视频质量增强模型能够很大程度上提高异常事件的识别精度：高速路段大多都处于环境恶劣的地段，而遇到雨雪雾等恶劣天气时监控视频的清晰度首当其冲受到影响。如果直接使用雨雪雾视频进行检测就会对检测结果产生较大的影响，因为雨、雪和雾气的产生就相当于给视频引入了噪声，给特征提取过程造成了较大的影响。本发明通过步骤100对监控视频进行了预处理增强操作，能够显著提升视频数据的质量。

[0047] 步骤200：提取质量增强后的监控视频中的车辆运行特征，并根据所述车辆运行特征，采用视频帧特征重建模型进行视频特征重建。

[0048] 其中，车辆运行特征是由光流特征、车辆运行轨迹特征及车辆外观特征共同构成的。视频帧特征重建模型包括依次连接的编码器、记忆模块及解码器。步骤200中，通过基于监控视频的车辆运行特征提取模型提取质量增强后的监控视频中的车辆运行特征，具体包括：

[0049] 步骤201：采用多帧光流估计模型VideoFlow提取质量增强后的监控视频的光流特征。

[0050] 步骤202：采用DeepSort模型提取质量增强后的监控视频的车辆运行轨迹特征。

[0051] 步骤203：采用YOLOv8和FasterNet模型提取质量增强后的监控视频的车辆外观特征。

[0052] 步骤204：将所述光流特征、所述车辆运行轨迹特征及所述车辆外观特征沿张量的通道维度进行拼接，得到车辆运行特征。

[0053] 本发明通过三个并行的特征编码器同时提取监控视频的光流特征、车辆运行轨迹特征和车辆外观特征。然后进行特征拼接，得到车辆运行特征，传入基于记忆模块的视频帧特征重建模型进行特征解码重构。将时空线索做了有机的整合利用，相比较于传统的只对视频帧做特征提取的方法，本发明在整个编码解码过程中更好的利用了视频中运动车辆的时空信息，能够快速检测出交通视频的异常，作为交通事故判别及关键帧自动提取模型的有效输入。

[0054] 考虑到视频帧特征重建模型训练过程中正常事件的多样性以及为了削弱卷积神经网络的表征能力，本发明在解码器和编码器之间引入一个记忆模块，其作用一是存储记录下整个训练过程中各类正常视频的特征，二是在解码器重构时直接从该记忆模块中取出特征，而不是用编码器的输出特征，这在一定程度上能够削弱卷积神经网络的表征能力，能够更好地识别出异常事件。

[0055] 具体地，记忆模块由更新和读取两个步骤交替作用实现。将解码器输出的四维张量转变成二维张量后直接输入到记忆模块中。其中，四维张量的第一维表示批次大小batchsize，第二维表示通道C，第三维表示视频帧的宽W，第四维表示视频帧的高H，转换成二维张量后的维度为[batchsize，C*W*H]。

[0056] 记忆模块的更新步骤即往记忆模块中写入新的正常视频特征模式，经过编码后得到的拼接特征送入到记忆力模块中。更新过程的数学解释即是矩阵加法。记忆模块以特征矩阵形式进行表征，矩阵的每一行定义为一个item，记忆模块训练完成后每一个item里面存储一种正常视频特征。记忆模块中包含M个item来记录所有的正常视频的数据特征，其中M＝batch_size，batch_size是在实验中设置的数据批次大小。则记忆模块的更新过程如下：

[0057]

[0058]

[0059] 其中，pm为第m个item，f(·)为L2距离函数，由于多个查询可以对应一个item，所以 表示第t帧图像中与第m个item相关的所有查询的索引集合， 为更新过程中第tk,m帧图像中第k个查询与第m个item的匹配概率，vt' 为归一化后的 为第t帧图像中第k个查询，item和查询均由输入的二维张量和权重矩阵计算得到。

[0060] 记忆模块的读取过程如下：为了读出item用来解码重建，首先计算每一个查询和所有item的余弦相似度，得到一个M*A的二维关系映射矩阵，其中，A＝c*H*W，c表示输入视频帧的颜色通道，H和W分别表示视频帧的高和宽。之后沿着竖直方向使用softmax函数通过以下公式计算读取过程中第t帧图像中第k个查询与第m个item的匹配概率[0061]

[0062] 对于每一个查询 通过对其对应的所有item进行求加权和，得到第t帧图像中第k个查询的原型特征

[0063] 将第t帧图像中第k个查询的原型特征 馈入到解码器中实现最终的解码重建，此时视频帧特征重建模型输出一个重建的视频帧。

[0064] 本申请采用的是无监督学习方式，在正常数据集上训练，所以整个视频帧特征重建模型也只能重建出正常事件的帧，所以遇到交通事故发生时就不能很好的重建出当前帧，此时将重建出来的视频帧和实际的帧做对比就会产生较大的重建误差，以此来定位到监控视频中异常事件的发生。

[0065] 步骤300：根据质量增强后的监控视频及重建后的监控视频，确定异常帧，并采用交通事故识别模型，从所述异常帧中识别出交通事故类型以此提取出交通事故关键帧。

[0066] 其中，交通事故识别模型包括依次连接的卷积神经网络、时空Transformer模块及线性层。

[0067] 具体地，步骤300中，根据质量增强后的监控视频及重建后的监控视频，确定异常帧，具体包括：计算质量增强后的监控视频中每一帧图像与重建后的监控视频中对应帧图像的异常得分。重建后的监控视频中异常得分大于异常阈值的图像为异常帧。即当异常得分较高时将此帧图像定义为异常，将该帧图像的路径索引返回到列表中，之后通过遍历改列表即能够得到所有异常帧。重复此过程，就得到了一系列得异常帧。

[0068] 其中，异常阈值的设定是动态的，在实际中可以根据场景和计算出来的异常得分进行人为设定。

[0069] 本发明中，异常得分的计算由两部分构成：一部分是记忆模块中的查询和item的L2距离，另一部分是重建帧和实际帧(质量增强后的监控视频中的图像)的峰值信噪比。首先假设从正常视频帧中获得的所有查询和item相似，因为所有items记录了正常数据的原始特征。L2距离通过以下公式计算：

[0070]

[0071] 其中，D(qt,p)为重建后的监控视频中第t帧图像在记忆模块中查询和item的L2距离，qt为重建后的监控视频中第t帧图像在记忆模块中的查询，p为重建后的监控视频中第t帧图像在记忆模块中的item，K为重建后的监控视频中t时刻图像的高与宽的乘积， 为第t帧图像在记忆模块中的第k个查询，pp为第t帧图像中 对应的item，||·||2表示二范数。

[0072] 采用以下公式计算质量增强后的监控视频中第t帧图像与重建后的监控视频中第t帧图像的峰值信噪比：

[0073]

[0074] 其中， 为质量增强后的监控视频中第t帧图像与重建后的监控视频中第t帧图像的峰值信噪比， 为重建后的监控视频中的第t帧图像，It为质量增强后的监控视频中的第t帧图像，N为第t帧图像的像素数。

[0075] 当发生异常时就会产生一个较小得峰值信噪比。最后的异常得分由以上两部分构成，计算公式为：

[0076]

[0077] 其中，εt为第t帧图像的异常得分，α为峰值信噪比的权重，g(·)为归一化处理，用来避免异常得分受到 和D(qt,p)的较大扰动，

[0078] 本发明在计算异常得分时并没有单纯的使用峰值信噪比，而是使用了峰值信噪比和记忆模块中的查询和items的L2距离的加权和，对异常判别更全面，不仅仅局限于重构出的帧和实际帧，还考虑到了原型特征层面。

[0079] 进一步地，步骤300中，采用交通事故识别模型，从所述异常帧中识别出交通事故类型以此提取出交通事故关键帧，具体包括：

[0080] 步骤301：针对任一异常帧，通过卷积神经网络对所述异常帧进行特征提取，得到所述异常帧的初步特征。

[0081] 步骤302：基于所述异常帧的初步特征，通过时空Transformer模块捕捉所述异常帧的特征。

[0082] 步骤303：基于所述异常帧的特征，通过线性层确定所述异常帧对应各交通事故类型的概率值。线性层在交通事故识别模型的训练阶段会根据交通事故类型的标签和输入的数据特征做拟合输出，即对每一个类输出一个概率值。

[0083] 步骤304：根据各异常帧对应各交通事故类型的概率值，确定交通事故类型以此提取出关键帧。本发明取概率值最高的交通事故类型作为最后的识别结果。其中，交通事故类型包括侧翻、追尾、自燃、撞击隔离栏等。将所识别出的交通事故类型和对应的交通事故关键帧的路径分别存入到列表中，实现交通事故关键帧的自动提取。

[0084] 本发明在步骤300中，首先对重建后的每一帧图像进行异常得分计算，计算异常得分与异常阈值的差值，抽取出异常得分超出异常阈值的视频帧作为异常帧；然后设计了基于时空Transformer模块的交通事故识别模型，从已检测出的异常帧中自动提取出交通事故关键帧。通过交通视频异常帧自动提取和基于交通事故识别的关键帧自动提取两阶段能够更加准确地提取交通事故关键帧。

[0085] 进一步地，在提取到交通事故关键帧之后，将其发送云存储服务平台，在手机端APP中集成推送通知功能。根据手机平台，例如iOS或Android，选择合适的推送通知服务，如Apple Push Notification Service(APNS)或Firebase CloudMessaging(FCM)。在后端服务器上，编写逻辑来监测云端存储中图像的变化。当有新图像上传到云端时，后端逻辑会触发推送通知的发送。将其推送到手机端APP实现报警功能，一是能够方便交管部门及时做出相关反应去处理交通突发事件，最低程度降低损失。二是广大市民出行时可以通过APP查看道路交通报警信息，进而合理规划出行计划。

[0086] 综上，本发明首先对恶劣天气下采集的监控视频进行质量增强，提供高质量的视频输入数据，然后，通过三个并行的特征编码器同时提取监控视频的光流特征、车辆运行轨迹特征和车辆外观特征，接着将进行拼接后的特征传入基于记忆模块的视频帧特征重建模型进行特征解码重构。接着通过交通视频异常帧自动提取和基于交通事故识别的关键帧自动提取两阶段抽取更加准确的交通事故关键帧。最后将交通事故关键帧发布给交通安全管理部分和出行者。提高了恶劣天气下的交通事故识别精度。

[0087] 实施例二

[0088] 为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种恶劣天气下交通事故监控视频关键帧提取系统。

[0089] 如图3所示，本实施例提供的恶劣天气下交通事故监控视频关键帧提取系统包括：监控视频质量增强模块21、视频特征重建模块22及关键帧提取模块23。

[0090] 监控视频质量增强模块21用于基于交通监控视频质量增强模型对恶劣天气下采集的监控视频进行质量增强；所述交通监控视频质量增强模型基于恶劣天气下雨雪雾分布特征稀疏化模型及混合专家特征补偿器构建，所述恶劣天气下雨雪雾分布特征稀疏化模型包括8个堆叠的稀疏Transformer模块。

[0091] 视频特征重建模块22用于提取质量增强后的监控视频中的车辆运行特征，并根据所述车辆运行特征，采用视频帧特征重建模型进行视频特征重建；所述车辆运行特征是由光流特征、车辆运行轨迹特征及车辆外观特征共同构成的；所述视频帧特征重建模型包括依次连接的编码器、记忆模块及解码器。

[0092] 关键帧提取模块23用于根据质量增强后的监控视频及重建后的监控视频，确定异常帧，并采用交通事故识别模型，从所述异常帧中识别出交通事故类型以此提取出交通事故关键帧；所述交通事故识别模型包括依次连接的卷积神经网络、时空Transformer模块及线性层。

[0093] 相对于现有技术，本实施例提供的恶劣天气下交通事故监控视频关键帧提取系统与实施例一提供的恶劣天气下交通事故监控视频关键帧提取方法的有益效果相同，在此不再赘述。

[0094] 实施例三

[0095] 本实施例提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行实施例一的恶劣天气下交通事故监控视频关键帧提取方法。

[0096] 可选地，上述电子设备可以是服务器。

[0097] 另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的恶劣天气下交通事故监控视频关键帧提取方法。

[0098] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

[0099] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。