技术领域
[0001] 本公开涉及计算机视觉的卫星遥感影像特征匹配技术领域，尤其涉及一种对遥感影像进行兴趣点匹配的方法、装置、电子设备、非暂态计算机可读存储介质以及计算机程序产品。
相关背景技术
[0002] 随着遥感技术的快速发展，遥感影像获取技术也越来越先进，目前可获取到更高空间、更高光谱分辨率的遥感影像；并且当前关于多平台、多层面、多传感器、多时相、多光谱、多角度以及多空间分辨率的融合与复合应用，成为遥感技术的重要发展方向。
[0003] 在所述融合与复合应用场景下的遥感影响处理中，影像匹配是一个重要环节。所述影像匹配是指通过对两幅或多幅影像进行比较和分析，找到图像之间兴趣点(例如，共同点或特征点)的过程，其目的是为了建立两幅或多幅影像之间的对应关系，并以此为基础执行进一步的测量与分析。由于匹配的影像多来源于不同的传感器，存在视角、光照、尺度等多方面的差异，因此对准确、高效、鲁棒性强的特征匹配技术的研究仍是遥感领域研究的重点，可以作为图像配准、图像拼接、图像融合、变化检测、目标识别与目标跟踪、三维重建等应用的基础研究，推动相关技术的进步和发展。
[0004] 目前，现有技术关于对遥感影像的兴趣点匹配的方案，主要包括基于稀疏特征点匹配的方案以及基于稠密特征点匹配的方案。但是，基于稀疏特征点匹配的方案存在鲁棒性较差的问题；而基于稠密特征点匹配的方案，至少存在匹配困难、误匹配、匹配效率较低以及计算复杂度较高的问题。
具体实施方式
[0027] 为使本公开的目的、技术方案和优点更加清楚，下面将结合本公开中的附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
[0028] 发明构思概述：
[0029] 本公开发明人经过反复研究发现，导致现有技术问题的原因在于：
[0030] 第一，对于基于稀疏特征点匹配的方案，由于遥感图像经常存在纹理缺乏、光照变化和视角变化等情况，因此导致该方案所得匹配结果鲁棒性较差。
[0031] 第二，对于基于稠密特征点匹配的方案：一方面，由于遥感影像中经常存在单一均质影像区域(例如，沙漠、水面等)，因此会导致匹配困难的问题；由于遥感影像中可能存在重复纹理的区域(例如，农田，林地等地物)，因此会导致误匹配的问题；由于遥感影像中存在遮挡情况，因此会导致无法匹配的问题；由于针对遥感影像的稠密特征点匹配的匹配视察逐步增大，导致计算复杂度往往以指数级增长；即，导致计算复杂度较高的问题。另一方面，由于遥感影像(特别是卫星影像)的成像模式往往是线阵的，并不能满足核线关系，当进行多视立体重构时，需要进行大范围的搜索，从而会导致效率低下；并且由于遥感影像图幅尺寸比普通相机拍摄影像要大得多，也会造成匹配效率不高的问题。最后，由于遥感影像的波段数往往不同于普通RGB相机或黑白相机，不同波段间的分辨率也不尽相同；另外，利用遥感卫星进行立体观测时，有可能是同轨立体成像，也有可能是异轨立体成像，还有可能是不同的卫星传感器成像，这些都可以进一步导致匹配实现上的难度加大。
[0032] 有鉴于此，本公开发明人进一步研究发现，目前随着深度学习枝术的不断发展，可以考虑将深度学习方法与遥感影像的兴趣点匹配相结合，从而可提供一种基于深度学习的遥感影像匹配方案(具体可参照下文实施例)，可用于至少解决上述现有技术问题之一。
[0033] 实施例：
[0034] 下面结合附图，对本公开的对遥感影像进行兴趣点匹配的方案进行说明。
[0035] 图1是本公开一示例性实施例提供的对遥感影像进行兴趣点匹配的方法流程示意图。本实施例可应用在电子设备(例如，服务器或者云计算平台)上，如图1所示，对遥感影像进行兴趣点匹配的方法包括如下步骤：
[0036] S110、获取待处理的目标遥感影像对。
[0037] 其中，所述目标遥感影像对包括参考遥感影像和待匹配遥感影像。
[0038] 其中，本公开对“获取”的具体方式不作限定。例如，可以是作为步骤S110执行主体的电子设备(例如，服务器或者云计算平台)与存储所述“待处理的目标遥感影像对”的存储服务器通信，以获取该“待处理的目标遥感影像对”。
[0039] 其中，遥感影像(Remote Sensing Image，RS)是指记录各种地物电磁波大小的胶片或照片，主要可包括航空像片和卫星相片。
[0040] S120、将所述目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经所述预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点。
[0041] 其中，所述预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，所述至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。
[0042] 其中，预训练遥感影像兴趣点匹配模型，可包括能够实现多尺度特征提取与高尺度约束下的计算量优化、位置编码机制下的抗重匹配、空间注意力机制下低纹理/无纹理点匹配、自注意力与互注意力机制的相关网络/单元结构。具体实施方式将在下文中描述，这里先不赘述。
[0043] 如上所述，本公开实施例提供的对遥感影像进行兴趣点匹配的方法，作为第一方面，首先通过多尺度特征提取，不仅可捕获到遥感影像中的局部细节特征，还能获取到全局的上下文信息，这种多层次的特征表达为后续的匹配提供了更丰富的选择；其次采用逐层下采样的方式，使得在处理高分辨率的遥感影像时能够显著降低数据的维度，从而减少计算量；另外通过高尺度约束的匹配策略，使得每一层级的匹配都能在前一层的基础上进行，也极大降低计算量，进而提高匹配效率。作为第二方面，通过引入位置编码机制，可在面对具有相似纹理的场景(如外形相似的不同建筑物)时基于位置信息对特征进行区分，从而避免重匹配和误匹配的发生；并且通过引入位置信息，还能在特征匹配时考虑更多的上下文信息，从而使匹配结果加准确。作为第三方面，通过引入空间注意力机制，可在面对稀疏纹理场景(如沙漠、海洋等)时能够聚焦于关键区域提取更深层次的特征，从而显著提升低纹理点和/或无纹理点的匹配准确率，进而在稀疏纹理场景下也能获得良好的匹配效果。作为第四方面，通过引入自注意力机制，可确保所述预训练遥感影像兴趣点匹配模型在处理特征时能够考虑到特征之间的依赖关系，从而生成更加丰富的特征表示。通过引入互注意力机制，可优化特征相似度计算，从而进一步提升匹配精度。另外，针对遥感影像中密集纹理区域(特征点众多且纹理复杂)，通过如上所述自注意力以及互注意力机制，能够增加预训练遥感影像兴趣点匹配模型在这种复杂场景下的鲁棒性。
[0044] 综上所述，本公开通过多尺度特征提取、位置编码机制、空间注意力机制以及自注意力和互注意力机制的引入，不仅能够有效地处理遥感影像兴趣点匹配任务，而且在各种复杂场景下都能表现出优异的性能。
[0045] 在图1实施例基础上，作为一可选实施方式，参照图2，所述预训练遥感影像兴趣点匹配模型以具有孪生编码器结构的U型网络作为主体网络。具体的，所述预训练遥感影像兴趣点匹配模型包括编码器和解码器。
[0046] 所述孪生编码器(Encoder)包括并联的第一网络分支(即图2中，参考图像Xref作为输入对应的网络)和第二网络分支(待匹配图像Xmatch作为输入对应的网络)。其中，所述第一网络分支包括级联的第一多尺度特征提取单元和第一融合位置编码单元；所述第二网络分支包括级联的第二多尺度特征提取单元和第二融合位置编码单元。
[0047] 需要说明的是，所述第一多尺度特征提取单元或第二多尺度特征提取单元，均包括低、中、高三阶特征提取。具体地，参照图2，第一网络分支的三阶特征提取对应输出为分别为F_ref1、F_ref2、F_ref3；第二网络分支的三阶特征提取对应输出为分别为F_match1、F_match2、F_match3。低阶特征提取对应Low‑csale，高阶特征提取对应Medium‑scale，高阶特征提取对应High‑scale。
[0048] 其中，多尺度特征提取最主要的作用是通过下采样达到匹配结果的精细化，同时在解码器中配合上采样约束减少计算量；并且这三个尺度基本上计算流程相同。
[0049] 所述解码器(Decoder)包括第三网络分支(即，图2中，输出Output对应的网络)。其中，所述第三网络分支包括级联的第一匹配子单元(即，图2所示Decoder网络中按照数据流向自下而上，第一个Match Module)、第一重塑子单元(即，图2所示Decoder网络中按照数据流向自下而上，第一个Reshape)、第一空间注意力匹配单元以及第二空间注意力匹配单元。
[0050] 在上述图实施方式基础上，作为一可选示例，继续参照图2，所述第一多尺度特征提取单元包括级联(按照输入的参考图像Xref的数据流向)的第一图像分块子单元(即图2所示Patch Partition)、第一线性嵌入子单元(即图2所示Linear Embedding)、第一图像块下采样子单元(即，图2中按照输入的参考图像Xref的数据流向，第一个Patch Merging)、第一归一化子单元(即，图2中按照输入的参考图像Xref的数据流向，第一个Layer Norm)、第二图像块下采样子单元(即，图2中按照输入的参考图像Xref的数据流向，第二个Patch Merging)以及第二归一化子单元(即，图2中按照输入的参考图像Xref的数据流向，第二个Layer Norm)。
[0051] 在上述实施方式基础上，作为一可选示例，继续参照图2，所述第一融合位置编码单元包括级联的第一展平子单元(即，图2中按照输入的参考图像Xref的数据流向，第一个Flatten)和第一位置编码子单元(即，图2中按照输入的参考图像Xref的数据流向，第一个Positional Encoding)。
[0052] 在上述实施方式基础上，作为一可选示例，继续参照图2，所述第二多尺度特征提取单元包括级联((按照输入的待匹配图像Xmatch的数据流向))的第二图像分块子单元(即图2所示Patch Partition)、第二线性嵌入子单元(即图2所示Linear Embedding)、第三图像块下采样子单元(即，图2中按照输入的待匹配图像Xmatch的数据流向，第一个Patch Merging)、第三归一化子单元(即，图2中按照输入的待匹配图像Xmutch的数据流向，第一个Layer Norm)、第四图像块下采样子单元(即，图2中按照输入的待匹配图像Xmatch的数据流向，第二个Patch Merging)以及第四归一化子单元(即，图2中按照输入的待匹配图像Xmatch的数据流向，第二个Layer Norm)。
[0053] 在上述实施方式基础上，作为一可选示例，继续参照图2，所述第二融合位置编码单元包括级联的第二展平子单元(即，图2中按照输入的待匹配图像Xmatch的数据流向，第一个Flatten)和第二位置编码子单元(即，图2中按照输入的待匹配图像Xmatch的数据流向，第一个Positional Encoding)。
[0054] 所述第一空间注意力匹配单元包括级联的(即，图2所示Decoder网络中按照数据流向自下而上)第一上采样子单元(即，图2所示Decoder网络中按照数据流向自下而上，第一个Up Sampling)、第一空间注意力子单元(即，图2所示Decoder网络中按照数据流向自下而上，第一个Spatial Attention)、第三展平子单元(即，图2所示Decoder网络中按照数据流向自下而上，第一个Flatten)、第二匹配子单元(即，图2所示Decoder网络中按照数据流向自下而上，第二个Match Module)以及第二重塑子单元(即，图2所示Decoder网络中按照数据流向自下而上，第二个Reshape)。
[0055] 其中，所述第一归一化子单元((即，图2中按照输入的参考图像Xref的数据流向，第一个Layer Norm))输出端与所述第一空间注意力子单元(即，图2所示Decoder网络中按照数据流向自下而上，第一个Spatial Attention)输入端连接；所述第三归一化子单元(即，图2中按照输入的待匹配图像Xmatch的数据流向，第一个Layer Norm)输出端与所述第一空间注意力子单元(即，图2所示Decoder网络中按照数据流向自下而上，第一个Spatial Attention)输入端连接。
[0056] 所述第二空间注意力匹配单元包括级联的(即，图2所示Decoder网络中按照数据流向自下而上)第二上采样子单元(即，图2所示Decoder网络中按照数据流向自下而上，第二个Up Sampling)、第二空间注意力子单元(即，图2所示Decoder网络中按照数据流向自下而上，第二个Spatial Attention)、第四展平子单元(即，图2所示Decoder网络中按照数据流向自下而上，第二个Flatten)、第三匹配子单元(即，图2所示Decoder网络中按照数据流向自下而上，第三个Match Module)以及第三重塑子单元(即，图2所示Decoder网络中按照数据流向自下而上，第三个Reshape)。
[0057] 其中，所述第一线性嵌入子单元(即图2所示输入的参考图像Xref的网络中的Linear Embedding)输出端与所述第二空间注意力子单元(即，图2所示Decoder网络中按照数据流向自下而上，第二个Spatial Attention)输入端连接；所述第二线性嵌入子单元(即图2所示输入的待匹配图像Xmatch的网络中的Linear Embedding)输出端与所述第二空间注意力子单元(即，图2所示Decoder网络中按照数据流向自下而上，第二个Spatial Attention)输入端连接。
[0058] 在上述图1、2实施例基础上，作为一可选实施方式，参照图3，所述第一空间注意力子单元(即，图3所示Spatial Attention Module)和第二空间注意力子单元包括级联的最大池化层(即图3所示MaxPool)、平局池化层(即图3所示AvgPool)、第一卷积层、激活函数层；其中，第一卷积层的通道数为1。
[0059] 在上述图1、2实施例基础上，作为一可选实施方式，参照图4所述第一匹配子单元(即，图4所示Match Module)、第二匹配子单元以及第三匹配子单元包括自注意力层(即，图4所示Self‑Attention)和互注意力层(即，图4所示Cross‑Attention)。
[0060] 下面，参照上述图2～图4，对本公开实施例提供的预训练遥感影像兴趣点匹配模型中涉及的各个具体网络单元的工作机理进行简要说明：
[0061] l、关于编码器
[0062] l1)Patch Partition单元，主要用于对遥感影像进行分块并在通道上进行展平。
[0063] 作为一可选示例，可将4*4大小的相邻像素作为一个Patch。具体地，以三通道RGB图像为例，经过展平操作后，每个Patch由原来的16像素3通道48个值(4*4*3)变成单像素48通道48个值(1*1*48)。对于W*H大小的C通道(即，图2所示的H×W×C)的参考图像Xref和待匹配图像Xmatch，经过Patch Partition模块后，变为W/4*H/4＊16C大小，在这一步总像素值的个数并没有发生变化，只是图像结构发生了改变，用增加通道的方式减小图像尺寸，数据量并没有损失。
[0064] I2)Linear Embedding单元，主要用于数据降维。
[0065] 具体地，将展平后的数据送入Linear Embedding单元进行通道上的线性变换，指定输出通道大小为C′，影像最终变为W/4*H/4*C′。其中，需要说明的是，虽然Patch Partition和Linear Embedding属于不同网络单元，但具体实现中可通过一个全卷积层实现。
[0066] I3)Patch Merging单元，主要用于对特征图进行下采样，按照图2所示数据处理流向划分，除了第一阶段后续三个阶段都需要进行下采样。
[0067] 具体地，Patch Merging单元中使用大小为2*2、步长为2的卷积核进行卷积操作。对于输入大小为4*4的特征图，Patch Merging单元会将其划分为2*2的四个区域，将每个区域中相同位置的像素重新进行拼接，原特征图变成了4张2*2的特征图。之后，对生成的四张特征图在通道上进行拼接，输入全连接层在通道上进行线性变化，最终特征图通道变为2。
[0068] I4)Layer Norm单元，主要通过将每一层的激活值归一化到均值为零、标准差为一的分布，从而可以减少内部协变量偏移，有助于加速训练过程。
[0069] 基于上述1)～4)的单元，对输入的参考图像Xref和待匹配图像Xmatch，通过多阶段的处理，可提取出图像尺寸为原尺寸1/4、1/8、1/16三个不同尺度的特征图F_ref1和F_match1、F_ref2和F_match2、F_ref3和F_match3。
[0070] I5)Flatten单元与Positional Encoding单元，主要作用是剔除相似背景干扰减少误匹配。
[0071] 其中，Flatten单元主要用于将最后一次提取的特征图F_ref3和F_match3进行展平处理，使得特征图转换为可编码的序列向量F_refflatten和F_matchflatten，然后将可编码的序列向量F_refflatten和F_matchflatten输入Positional Encoding单元。
[0072] Positional Encoding单元，可采用正余弦位置编码方式对展平后的特征序列(即，序列向量F_refflatten和F_matchflatten)进行位置编码，得到位置编码后的特征F‑refpos和F_matchpos。具体地，可采用如下计算式(1)～(2)执行：
[0073]
[0074] 其中，PE(pos,i)表示位置编码矩阵中第pos个位置，第i个维度的值，dmodel表示模型嵌入向量的维度。这种编码方式使得特征向量具有位置唯一性，对于剔除相似背景导致的误匹配极为有效。
[0075] 进一步地，在编码器Encoder还包括输出层，用于将Flatten单元与Positional Encoding单元各自的输出对应相加后输出。具体地，可利用如下计算式(3)～(4)表示：
[0076]
[0077] 其中， 表示矩阵加法；F_refout表示参考影像经过编码器Encoder处理后的输出特征F_matchout表示待匹配影像经过编码器Encoder处理后的输出特征。
[0078] II、关于解码器，主要介绍Spatial Attention和Match Module两个单元。
[0079] II1)Spatial Attention单元，会对输入进来的特征层，在每一个特征点的通道上取最大值和平均值，之后将这两个结果进行堆叠，利用一次通道数为1的卷积调整通道数，然后取一个激活函数sigmoid，此时获得输入特征层每一个特征点的权值(该权值介于0‑1之间)，完成对空间权重的训练。在获得这个权值后，将这个权值乘上原输入特征层即可。
[0080] 参照图2可知，除了第三阶段的特征图F_ref3和F_match3，第二、第一阶段提取的特征图F_ref2和F_match2、F_ref1和F_match1都要在解码阶段，先进入对应的Spatial Attention单元进行匹配。
[0081] II2)Match Module单元，主要用于执行相似度匹配计算。具体地，可采用自注意力和互注意力两种机制并行计算的方式。执行阶段，解码器中最后一层级的特征图，可基于所述“自注意力和互注意力两种机制”进行N次注意力计算，然后输出高尺度的特征匹配结果。
[0082] 需要说明的是，进行自注意力计算的目的是通过计算影像内部像素点特征描述子之间的关系，增强全局表征能力，确保不存在参考图像中多个点与待匹配影像中一个点进行匹配的情况。进行互注意力计算的目的是通过计算两幅影像间像素点特征描述子之间的关系，为参考影响的描述子选择一个最佳匹配点。
[0083] 作为一可选示例，可利用如下计算式(5)～(14)，执行自注意力以及互注意力计算：
[0084]
[0085]
[0086] 其中，d表示Match Module单元中各网络层级的通道数；x，y表示特征描述子；Ahw×C表示所述特征描述子中所有像素拼接在一起得到的矩阵； 表示将特征描述子x中像素生成对应的query向量所需的变换矩阵； 表示将特征描述子y中像素生成对应的query向量所需的变换矩阵； 表示将特征描述子x中像素生成对应的key向量所需的变换矩阵； 表示将特征描述子y中像素生成对应的key向量所需的变换矩阵； 表示将特征描述子x中像素生成对应的value向量所需的变换矩阵； 表示将特征描述子y中像素生成对应的value向量所需的变换矩阵；SelfAttentionx表示对应特征描述子x的自注意力估计值；SelfAttentiony表示对应特征描述子y的自注意力估计值；CrossAttentionx表示对应特征描述子x的互注意力估计值；CrossAttentiony表示对应特征描述子y的互注意力估计值。
[0087] 下面对解码器Encoder实现的“基于高尺度约束的匹配优化”的过程进行概述：
[0088] 参考图像Xref和待匹配图像Xmatch通过编码器处理后，可分别产生三个不同尺度的特征图(即，特征图F_ref1和F_match1、F_ref2和F_match2、F_ref3和F_match3)。其中，高尺度的特征图(即，F_ref3和F_match3)先后经过位置编码、空间注意力机制的相似度匹配后，可输出高尺度的匹配结果(即，F_refout和F_matchout)，此时匹配结果仍然为展平的序列向量。
[0089] 接着，在解码器中所述展平的序列向量经过Match Module单元处理后，可进一步利用Reshape单元，将展平序列向量重塑为与特征图一致大小的二维特征图M_ref3和M_match3；其中，二维特征图中匹配到的高尺度像素为M_ref3(x，y)、M_match3(x，y)；这里可只保留置信度高的匹配像素的特征向量，其余向量做归零处理，从而减少后续处理步骤的计算量。
[0090] 在本公开实施例中，仅对高尺度结果中两幅影像已匹配的区域进行上采样，并与上一层级的中尺度特征图相加，进行匹配区域的约束。附有高尺度约束的特征图课通过下一空间注意力匹配单元中匹配子单元(即，图2所示的Match Module)进行相似度匹配得到匹配结果M_ref2和M_match2并进行上采样，对于上一层级的特征图也是采用此方法，直到上采样的分辨率与原始影像一致，输出最终的匹配结果M_ref1和M_match1。
[0091] 在上述实施例基础上，作为一可选实施方式，参照图5，所述预训练遥感影像兴趣点匹配模型的训练过程，包括：
[0092] S510、获取所述至少一组训练数据对。
[0093] 其中，作为一可选示例，S510可包括如下步骤：
[0094] 1)、准备大量的同一区域不同视角的卫星遥感影像；
[0095] 2)、从卫星遥感影像中，按照预设标准筛选多个匹配的卫星遥感影像对，每个卫星遥感影像对记作一组训练数据对，其中包括一张待匹配遥感样本影像以及对应的一张参考遥感样本影像。预设标准为：每个卫星遥感影像对中的两张图像具有一定重叠度。
[0096] 可选地，多个匹配的卫星遥感影像对，可以按照9：1的比例划分为训练数据集和测试数据集。其中，测试数据集可用于在利用训练数据集训练得到“遥感影像兴趣点匹配模型”后，对该“遥感影像兴趣点匹配模型”进行测试，以进一步优化模型参数。
[0097] S520、分别将所述每组训练数据对中的参考遥感样本影像和待匹配遥感样本影像输入待训练遥感影像兴趣点匹配模型，经所述待训练遥感影像兴趣点匹配模型输出对应的至少一组预测匹配兴趣点。
[0098] 其中，所述至少一组预测匹配兴趣点中的每组预测匹配兴趣点，包括一个属于参考遥感样本影像的兴趣点和一个属于所述待匹配遥感样本影像的兴趣点。
[0099] S530、利用预设损失函数，基于所述至少一组预测匹配兴趣点，获取所述损失函数的函数值。
[0100] 作为一可选示例，可基于每组预测匹配兴趣点，计算属于参考遥感样本影像的兴趣点与属于所述待匹配遥感样本影像的兴趣点之间的欧式几何距离，作为所述损失函数的函数值。
[0101] 具体地，可利用如下计算式(15)～(16)，计算所述损失函数的函数值：
[0102]
[0103] 其中，L3表示所述损失函数的函数值；d(i，j)表示属于参考遥感样本影像的兴趣点与属于所述待匹配遥感样本影像的兴趣点之间的欧式几何距离；Mg表示基于采集所述待匹配图像的相机的相机位姿确定的真实匹配空间；(i，j)表示预测匹配兴趣点对应的位置序号。
[0104] 其中，(X_refi，Y_refj)表示根据严密位姿估计，得到的属于参考遥感样本影像的兴趣点在真实世界的二维坐标。
[0105] 其中，(X_matchi，Y_matchj)表示根据严密位姿估计，得到的属于所述待匹配遥感样本影像的兴趣点在真实世界的二维坐标。
[0106] S540、基于所述损失函数的函数值，对所述待训练遥感影像兴趣点匹配模型进行训练，直至满足预设训练完成条件，由所述待训练遥感影像兴趣点匹配模型得到所述预训练遥感影像兴趣点匹配模型。
[0107] 作为一可选示例，步骤S540可通过如下方式实现：将所述损失函数的函数值反传给所述待训练遥感影像兴趣点匹配模型；所述待训练遥感影像兴趣点匹配模型根据所述损失函数的函数值，调整各网络层的网络参数；迭代执行所述获取所述损失函数的函数值的步骤至所述调整各网络层的网络参数的步骤，直至满足预设训练完成条件。
[0108] 其中，预设训练完成条件可以为迭代训练次数大于预设次数阈值；或者，损失函数的函数值小于预设损失阈值。
[0109] 如上所述，本公开实施例提供的对遥感影像进行兴趣点匹配的方法，作为第一方面，首先通过多尺度特征提取，不仅可捕获到遥感影像中的局部细节特征，还能获取到全局的上下文信息，这种多层次的特征表达为后续的匹配提供了更丰富的选择；其次采用逐层下采样的方式，使得在处理高分辨率的遥感影像时能够显著降低数据的维度，从而减少计算量；另外通过高尺度约束的匹配策略，使得每一层级的匹配都能在前一层的基础上进行，也极大降低计算量，进而提高匹配效率。作为第二方面，通过引入位置编码机制，可在面对具有相似纹理的场景(如外形相似的不同建筑物)时基于位置信息对特征进行区分，从而避免重匹配和误匹配的发生；并且通过引入位置信息，还能在特征匹配时考虑更多的上下文信息，从而使匹配结果加准确。作为第三方面，通过引入空间注意力机制，可在面对稀疏纹理场景(如沙漠、海洋等)时能够聚焦于关键区域提取更深层次的特征，从而显著提升低纹理点和/或无纹理点的匹配准确率，进而在稀疏纹理场景下也能获得良好的匹配效果。作为第四方面，通过引入自注意力机制，可确保所述预训练遥感影像兴趣点匹配模型在处理特征时能够考虑到特征之间的依赖关系，从而生成更加丰富的特征表示。通过引入互注意力机制，可优化特征相似度计算，从而进一步提升匹配精度。另外，针对遥感影像中密集纹理区域(特征点众多且纹理复杂)，通过如上所述自注意力以及互注意力机制，能够增加预训练遥感影像兴趣点匹配模型在这种复杂场景下的鲁棒性。
[0110] 综上所述，本公开通过多尺度特征提取、位置编码机制、空间注意力机制以及自注意力和互注意力机制的引入，不仅能够有效地处理遥感影像兴趣点匹配任务，而且在各种复杂场景下都能表现出优异的性能。
[0111] 下面对本公开提供的对遥感影像进行兴趣点匹配的装置进行描述，下文描述的对遥感影像进行兴趣点匹配的装置与上文描述的对遥感影像进行兴趣点匹配的方法可相互对应参照。
[0112] 图6是本公开一示例性实施例提供的对遥感影像进行兴趣点匹配的装置的结构示意图。如图6所示，对遥感影像进行兴趣点匹配的装置，包括：
[0113] 数据获取模块610，被配置为：获取待处理的目标遥感影像对；其中，所述目标遥感影像对包括参考遥感影像和待匹配遥感影像；匹配推理模块620，被配置为：将所述目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经所述预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点；其中，所述预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，所述至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。
[0114] 图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行对遥感影像进行兴趣点匹配的方法，该方法包括：获取待处理的目标遥感影像对；其中，所述目标遥感影像对包括参考遥感影像和待匹配遥感影像；将所述目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经所述预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点；其中，所述预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，所述至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。
[0115] 此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0116] 另一方面，本公开还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的对遥感影像进行兴趣点匹配的方法，该方法包括：获取待处理的目标遥感影像对；其中，所述目标遥感影像对包括参考遥感影像和待匹配遥感影像；将所述目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经所述预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点；其中，所述预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，所述至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。
[0117] 又一方面，本公开还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的对遥感影像进行兴趣点匹配的方法，该方法包括：获取待处理的目标遥感影像对；其中，所述目标遥感影像对包括参考遥感影像和待匹配遥感影像；将所述目标遥感影像对输入预训练遥感影像兴趣点匹配模型，经所述预训练遥感影像兴趣点匹配模型输出至少一组匹配兴趣点；其中，所述预训练遥感影像兴趣点匹配模型基于至少一组训练数据对训练得到，所述至少一组训练数据对中的每组训练数据对包括一张参考遥感样本影像和一张待匹配遥感样本影像。
[0118] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0119] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0120] 最后应说明的是：以上实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围。
