具体技术细节
[0004] 针对现有技术的缺陷，本申请的目的在于提供一种基于多模态图像融合技术的车辆定位和识别方法，旨在解决现有车辆的定位和识别技术在夜间环境下准确性较差的问题。
[0005] 为实现上述目的，第一方面，本申请提供了一种基于多模态图像融合技术的车辆定位和识别方法，包括以下步骤：步骤S101，获取目标车辆在当前环境下红外图像和对应的可见光图像；
步骤S102，判断当前环境是否为暗光环境，若为暗光环境，则将所述红外图像和可见光图像输入至融合生成模型，获得所述融合生成模型输出的增强可见光图像，否则，将所述可见光图像作为增强可见光图像；
所述融合生成模型是基于第一样本红外图像和第一样本可见光图像，结合判别模型进行生成对抗训练得到的，所述判别模型用于判别融合生成模型生成的样本增强可见光图像的真伪；
步骤S103，将所述红外图像和所述增强可见光图像输入至车辆检测模型，获得所述车辆检测模型输出的所述目标车辆的位置和型号；
所述车辆检测模型是基于第二样本红外图像和第二样本可见光图像及其对应车
辆的位置标签和型号标签训练得到的。
[0006] 在一个可选的示例中，将所述红外图像和可见光图像输入至融合生成模型，获得所述融合生成模型输出的增强可见光图像，具体包括：将所述红外图像和可见光图像输入至融合生成模型，由所述融合生成模型首先对所述红外图像和可见光图像分别作卷积处理，将卷积处理获得的特征在特征通道上进行拼接处理，再将拼接处理获得的特征输入至所述融合生成模型中的pix2pix生成器，获得所述增强可见光图像；
或者，由所述融合生成模型首先对所述红外图像和可见光图像分别作卷积处理，将卷积处理获得的特征在特征通道上进行拼接处理，将拼接处理获得的特征输入至所述融合生成模型中的SE注意力模块，再将SE注意力模块的输出结果输入至所述融合生成模型中的pix2pix生成器，获得所述增强可见光图像。
[0007] 在一个可选的示例中，所述融合生成模型具体是以样本增强可见光图像与第一样本可见光图像之间的一致性为约束进行训练的；所述样本增强可见光图像是训练过程中的融合生成模型基于模拟可见光图像和第一样本红外图像进行融合生成的；所述模拟可见光图像是对第一样本可见光图像进行随机遮挡和暗化处理得到的。
[0008] 在一个可选的示例中，将所述红外图像和所述增强可见光图像输入至车辆检测模型，获得所述车辆检测模型输出的所述目标车辆的位置和型号，具体包括：将所述红外图像和所述增强可见光图像输入至车辆检测模型，由所述车辆检测模型先采用双分支分别提取红外图像特征和可见光图像特征，再分别提取所述红外图像特征和可见光图像特征的多尺度特征，利用SE注意力机制计算红外图像特征和可见光图像特征的多尺度特征之间的注意力权重，以分别生成红外增强特征和可见光增强特征，接着对红外增强特征和可见光增强特征进行shuffle操作获得混合特征，最后基于混合特征进行车辆定位和型号分类，获得所述目标车辆的位置和型号。
[0009] 在一个可选的示例中，所述车辆检测模型的损失函数包括红外增强特征与可见光增强特征之间的交叉熵损失，针对车辆定位任务的CIOU损失以及针对车辆型号分类任务的Focal损失。
[0010] 在一个可选的示例中，步骤S103之后还包括：基于红外图像对应摄像机的内参矩阵，将目标车辆的位置转换为目标车辆在相机坐标系下的位置；
基于摄像机的外参矩阵，将目标车辆在相机坐标系下的位置转换为目标车辆在世界坐标系下的位置。
[0011] 第二方面，本申请提供一种基于多模态图像融合技术的车辆定位和识别系统，包括：图像获取模块，用于获取目标车辆在当前环境下红外图像和对应的可见光图像；
融合生成模块，用于判断当前环境是否为暗光环境，若为暗光环境，则将所述红外图像和可见光图像输入至融合生成模型，获得所述融合生成模型输出的增强可见光图像，否则，将所述可见光图像作为增强可见光图像；所述融合生成模型是基于第一样本红外图像和第一样本可见光图像，结合判别模型进行生成对抗训练得到的，所述判别模型用于判别融合生成模型生成的样本增强可见光图像的真伪；
车辆检测模块，用于将所述红外图像和所述增强可见光图像输入至车辆检测模
型，获得所述车辆检测模型输出的所述目标车辆的位置和型号；所述车辆检测模型是基于第二样本红外图像和第二样本可见光图像及其对应车辆的位置标签和型号标签训练得到的。
[0012] 第三方面，本申请提供一种电子设备，包括：至少一个存储器，用于存储程序；至少一个处理器，用于执行存储器存储的程序，当存储器存储的程序被执行时，处理器用于执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
[0013] 第四方面，本申请提供一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，当计算机程序在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
[0014] 第五方面，本申请提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行第一方面或第一方面的任一种可能的实现方式所描述的方法。
[0015] 可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
[0016] 总体而言，通过本申请所构思的以上技术方案与现有技术相比，具有以下有益效果：本申请提供一种基于多模态图像融合技术的车辆定位和识别方法，通过获取目标车辆在当前环境下红外图像和对应的可见光图像，并判断当前环境是否为暗光环境，若为暗光环境，融合生成模型对输入的红外图像与光线不足的可见光图像进行融合生成，获得高质量的可见光图像，再由车辆检测模型综合红外图像和高质量的可见光图像的有用信息进行联合目标检测，充分利用了两种模态的图像信息，实现了对目标车辆的被动定位和车型识别，保证了不同光照情况下都可以获取较为准确的车辆定位和识别结果。
法律保护范围
涉及权利要求数量10：其中独权5项，从权-5项
1.一种基于多模态图像融合技术的车辆定位和识别方法，其特征在于，包括以下步骤：
步骤S101，获取目标车辆在当前环境下红外图像和对应的可见光图像；
步骤S102，判断当前环境是否为暗光环境，若为暗光环境，则将所述红外图像和可见光图像输入至融合生成模型，获得所述融合生成模型输出的增强可见光图像，否则，将所述可见光图像作为增强可见光图像；
所述融合生成模型是基于第一样本红外图像和第一样本可见光图像，结合判别模型进行生成对抗训练得到的，所述判别模型用于判别融合生成模型生成的样本增强可见光图像的真伪；
步骤S103，将所述红外图像和所述增强可见光图像输入至车辆检测模型，获得所述车辆检测模型输出的所述目标车辆的位置和型号；
所述车辆检测模型是基于第二样本红外图像和第二样本可见光图像及其对应车辆的位置标签和型号标签训练得到的。
2.根据权利要求1所述的方法，其特征在于，将所述红外图像和可见光图像输入至融合生成模型，获得所述融合生成模型输出的增强可见光图像，具体包括：
将所述红外图像和可见光图像输入至融合生成模型，由所述融合生成模型首先对所述红外图像和可见光图像分别作卷积处理，将卷积处理获得的特征在特征通道上进行拼接处理，再将拼接处理获得的特征输入至所述融合生成模型中的pix2pix生成器，获得所述增强可见光图像；
或者，由所述融合生成模型首先对所述红外图像和可见光图像分别作卷积处理，将卷积处理获得的特征在特征通道上进行拼接处理，将拼接处理获得的特征输入至所述融合生成模型中的SE注意力模块，再将SE注意力模块的输出结果输入至所述融合生成模型中的pix2pix生成器，获得所述增强可见光图像。
3.根据权利要求1所述的方法，其特征在于，所述融合生成模型具体是以样本增强可见光图像与第一样本可见光图像之间的一致性为约束进行训练的；所述样本增强可见光图像是训练过程中的融合生成模型基于模拟可见光图像和第一样本红外图像进行融合生成的；
所述模拟可见光图像是对第一样本可见光图像进行随机遮挡和暗化处理得到的。
4.根据权利要求1所述的方法，其特征在于，将所述红外图像和所述增强可见光图像输入至车辆检测模型，获得所述车辆检测模型输出的所述目标车辆的位置和型号，具体包括：
将所述红外图像和所述增强可见光图像输入至车辆检测模型，由所述车辆检测模型先采用双分支分别提取红外图像特征和可见光图像特征，再分别提取所述红外图像特征和可见光图像特征的多尺度特征，利用SE注意力机制计算红外图像特征和可见光图像特征的多尺度特征之间的注意力权重，以分别生成红外增强特征和可见光增强特征，接着对红外增强特征和可见光增强特征进行shuffle操作获得混合特征，最后基于混合特征进行车辆定位和型号分类，获得所述目标车辆的位置和型号。
5.根据权利要求4所述的方法，其特征在于，所述车辆检测模型的损失函数包括红外增强特征与可见光增强特征之间的交叉熵损失，针对车辆定位任务的CIOU损失以及针对车辆型号分类任务的Focal损失。
6.根据权利要求1所述的方法，其特征在于，步骤S103之后还包括：
基于红外图像对应摄像机的内参矩阵，将目标车辆的位置转换为目标车辆在相机坐标系下的位置；
基于摄像机的外参矩阵，将目标车辆在相机坐标系下的位置转换为目标车辆在世界坐标系下的位置。
7.一种基于多模态图像融合技术的车辆定位和识别系统，其特征在于，包括：
图像获取模块，用于获取目标车辆在当前环境下红外图像和对应的可见光图像；
融合生成模块，用于判断当前环境是否为暗光环境，若为暗光环境，则将所述红外图像和可见光图像输入至融合生成模型，获得所述融合生成模型输出的增强可见光图像，否则，将所述可见光图像作为增强可见光图像；所述融合生成模型是基于第一样本红外图像和第一样本可见光图像，结合判别模型进行生成对抗训练得到的，所述判别模型用于判别融合生成模型生成的样本增强可见光图像的真伪；
车辆检测模块，用于将所述红外图像和所述增强可见光图像输入至车辆检测模型，获得所述车辆检测模型输出的所述目标车辆的位置和型号；所述车辆检测模型是基于第二样本红外图像和第二样本可见光图像及其对应车辆的位置标签和型号标签训练得到的。
8.一种电子设备，其特征在于，包括：
至少一个存储器，用于存储计算机程序；
至少一个处理器，用于执行所述存储器存储的程序，当所述存储器存储的程序被执行时，所述处理器用于执行如权利要求1‑6任一所述的方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，当所述计算机程序在处理器上运行时，使得所述处理器执行如权利要求1‑6任一所述的方法。
10.一种计算机程序产品，其特征在于，当所述计算机程序产品在处理器上运行时，使得所述处理器执行如权利要求1‑6任一所述的方法。
