技术领域
[0001] 本发明涉及图像数据处理技术领域，具体涉及基于北斗时空数据融合与AI技术的结构物变形监测方法。
相关背景技术
[0002] 遥感卫星可提供空间信息的采集和数据获取，同时结合北斗导航卫星的高精度定位技术和授时可对遥感图像显示的信息和内容进行准确的定位，在此基础上结合北斗导航卫星对遥感卫星采集数据的加持可以有效地检测和分析结构物随时间的微小变化。
[0003] 但是在检测比较规程的结构体时，现有的方法都是假设结构物为矩形或者矩形的组合，由于获取的图像可能由于阴影遮挡等情况，或者结构物顶端的形态特征由于遥感图像的误差发生了偏差和畸变等，使用矩形难以直接获取结构体的区域位置。因此在后期利用遥感图像时，无法精准监测建筑物或者其他结构体是否发生变形。
[0004] 故，现在亟须一种能有效利用北斗时空数据对结构物进行变形监测的方法。
具体实施方式
[0028] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于北斗时空数据融合与AI技术的结构物变形监测方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
[0029] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0030] 实施例：
[0031] 下面结合附图具体地说明本发明所提供的一种基于北斗时空数据融合与AI技术的结构物变形监测方法的具体方案。
[0032] 请参阅图1，其示出了本发明一个实施例提供的基于北斗时空数据融合与AI技术的结构物变形监测方法的流程示意图，其包括步骤S1－步骤S7。
[0033] S1、获取结构物在北斗卫星时间定位和经纬度定位下的遥感影像集合，所述遥感影像集合包括当前时间节点和多个历史时间节点对应的遥感图像。
[0034] 其中需要说明的是，本实施例中所提及结构物包括但不限于建筑物、桥梁、水利设施或者其他构筑物。进一步地，在本实施例中将结构物中的构成部分称为结构体。例如建筑物顶部的排气口、电梯井以及其他构筑体。同时，在本实施例中历史时间节点之间的间隔优选为半年或者一年，同理当前时间节点和最近一次历史时间节点的时间间隔同历史时间节点的获取间隔。
[0035] S2、对每张所述遥感图像进行轮廓边缘预处理，得到每张所述遥感图像对应的结构物轮廓图。
[0036] 其中，在本实施中对遥感图像的进行边缘提取可以采用Canny算子边缘检测算法。但是，在本实施例中考虑到Canny算子边缘检测得到轮廓边缘可能会存在部分边缘为噪音以及云层影响造成边缘扭曲的现象。故，参见图2。在本实施例中步骤S2还可具体包括步骤S21‑步骤S25以单条轮廓边缘线段作为最基础的识别单元，优化识别被扭曲轮廓边缘线段。
[0037] 首先，在本实施例中还是以Canny算子边缘检测算法作为预设的轮廓提取算法进行轮廓提取，然后再采用轮廓链码跟踪算法去除噪音或者非结构体边缘影响，详见步骤S21。
[0038] S21、基于预设的轮廓提取算法对所述遥感图像进行轮廓提取以及预处理，得到所述遥感图像内结构物的轮廓。
[0039] 具体而言，轮廓链码跟踪算法可以是任明武轮廓链码跟踪算法，任明武轮廓链码跟踪算法的链码选择8邻域的链码结构。
[0040] S22、对所述遥感图像内结构物的轮廓进行拐点识别得到多个结构特征点。
[0041] 即，在本实施例中以拐点作为分割轮廓的特征点。具体而言，关于拐点识别可以通过角点检测算法识别得到，其为现有技术，本实施例中不再赘述。
[0042] S23、基于所述结构特征点对所述轮廓进行分割得到多个轮廓边缘线段。
[0043] S24、分别对每个所述轮廓边缘线段进行直线分析，并基于直线分析结果判断得到该轮廓边缘线段是否为结构体边缘线。
[0044] 在本实施例中考虑到由于结构体边缘线一般为直线的拼接而成。故，在本实施例中可直接判断分析轮廓边缘线段是否为直线以达到判断该线条是否为结构体边缘线。其中关于直线的判断分析可采用图像处理中的直线检测算法，如霍夫变换(Hough Transform)或拉东变换(Radon Transform)。这些算法能够有效识别图像中的直线特征，即便在存在噪声或轻微扭曲的情况下也能保持较高的准确率。其具体实现过程为现有技术，本实施例中不再赘述。
[0045] 同时，由于在遥感图像中由于云层遮挡造成部分轮廓边缘线段被扭曲，使得原本应该呈现为直线的边缘线段可能会被错误地识别为多个直线段和曲线段的组合，如图3所示的轮廓边缘线段的部分识别结果，其左右两侧为直线，两直线之间为曲线状态。故，为了解决上述现象，在本实施例中还包括步骤S241至步骤S244以针对性解决上述现象。
[0046] S241、基于预设的直线识别算法对所述轮廓边缘线段进行直线识别，得到直线识别结果，所述直线识别结果包括多个直线段和多个曲线段。
[0047] 具体而言，在本实施例中预设的直线识别算法为霍夫变换(Hough Transform)或拉东变换(Radon Transform)。
[0048] S242、分别计算每个所述曲线段与其相邻的两个所述直线段的斜率相似性。
[0049] 在本实施例中考虑曲线段可能是由于云层的动态漂移造成本身为直线部分被扭曲为曲线。故，为了精确识别并处理这些由遮挡引起的曲线段，本实施例提出了一种斜率相似性计算式：
[0050]
[0051] 其中，pu,v表示第u个直线段和第v个直线段之间的曲线段对应的斜率相似性；ku表示第u个直线段的斜率；kv表示第v个直线段的斜率；ku,v表示第u个直线段和第v个直线段之间的曲线段的两端点之间的斜率；ε表示防止分母为零的常数，本领域技术人员可根据实际情况选择，本实施例中优选为0.01。
[0052] 在上述计算式中，|ku‑kv|表示第u个直线段和第v个直线段之间的斜率差异；表示曲线段两侧直线段的斜率与曲线段端点连线的斜率差异，该差异越大，说明该曲线段是由于遮挡而造成扭曲的直线区域。
[0053] S243、基于每个所述曲线段对应的斜率相似性和所有所述曲线段所在轮廓边缘线段占比计算得到边缘线被遮挡可能性评估值。
[0054] 具体而言，本实施例中边缘线被遮挡可能性评估值计算式如下：
[0055]
[0056] 其中，n表示一条轮廓边缘线段内直线段的总数；li表示第i个直线段的长度；L表示当前轮廓整体轮廓边缘线段长度；pj‑1,j表示第j‑1个直线段和第j个直线段之间的曲线段对应的斜率相似性；softmax()表示激活函数。
[0057] 在上述计算式中， 表示直线占比情况，并将其作为权重系数。以此达到直线段比重占比越高，可信度越高。直线段比重占比越低，可信度越低以此达到较为准确识别结构体边缘线目的。
[0058] S244、基于所述边缘线被遮挡可能性评估值和预设第一阈值判断得到该轮廓边缘线段是否为结构体边缘线。
[0059] 具体而言，在本实施例中预设第一阈值为0.8。即，当边缘线被遮挡可能性评估值大于0.8时，该轮廓边缘线段实际为结构体边缘线。
[0060] 综上所述，本实施例通过引入分析一个曲线段与其相邻直线段之间的斜率关系的方式，有效地解决了部分扭曲的轮廓边缘线段在结构体边缘线识别过程中产生的问题。
[0061] 同时，由于在实际之中角点检测算法只能检测得到显著变化的点。即，可能会出现一个轮廓边缘线段的一个端部或者两个端部均为曲线的状态。针对于这种情况，本领域技术人员可抛弃这部分曲线段即可。
[0062] S25、基于所有所述结构体边缘线构成结构物轮廓图。
[0063] 进一步地，在本实施例中还考虑到基于建筑设计的基本原则与物理结构的稳定性需求，一般结构物中结构体的轮廓大部分相邻的线条都是相互垂直的状态，只有极少部分可能由于设计因素或者其他因素线条之间夹角为其他角度。故，在本实施例中认为大部分相邻的线条在遥感图像中呈现不同角度一般不是结构物的轮廓。故，在本实施例中还依据利用了结构体中相邻的轮廓边缘线段的垂直关系，作为构建结构物轮廓图的重要依据。即，在本实施例中步骤S25中还可以包括步骤S251－步骤S254。
[0064] S251、分别统计每个所述轮廓边缘线段内直线段的斜率，并进行均值计算得到每个所述轮廓边缘线段对应的直线斜率均值。
[0065] S252、基于每个所述结构体内每对拐点边缘线段之间的垂直度计算得到每个所述结构体的真实性评估值，一对所述拐点边缘线段为与一个结构特征点连接的两条轮廓边缘线段。
[0066] 具体而言，在本实施例中真实性评估值的计算式如下：
[0067]
[0068] 其中，y表示真实性评估值， 表示结构体内第i个轮廓边缘线段的直线斜率均值对应的角度值； 表示结构体内第i+1个轮廓边缘线段的直线斜率均值对应的角度值；m表示结构体被结构特征点划分的轮廓边缘线数量。
[0069] 在上述计算式中， 表示两条轮廓边缘线段的夹角是否为90度，若为90度，则sin值为1，所近似为90度，那么sin值也接近1。
[0070] S253、基于每个所述结构体的真实性评估值和预设第二阈值判断得到所述结构体对应的轮廓边缘线段是否为结构物轮廓线。
[0071] 具体而言，在本实施例中预设第二阈值为0.7。即，当结构体的真实性评估值大于0.8时，该结构体对应的轮廓边缘线段实际为结构物轮廓线。
[0072] S254、基于所有所述结构物轮廓线构成结构物轮廓图。
[0073] 即，通过上述方式逐一对每个结构体进行分析判断。最终再由多个结构体对应的轮廓边缘线段构成结构物轮廓图。以此减弱遥感图像扭曲带来的影响。
[0074] 通过上述步骤，本实施例在进行提取不受植被影响的结构物轮廓图时，首先提取结构体的轮廓，然后确定结构体内轮廓边缘线的直线情况以及直线之间的位置关系确定真实的结构体轮廓。
[0075] S3、基于时序上相邻的所述结构物轮廓图之间的边缘变化确认得到每张所述结构物轮廓图内关键区域，所述关键区域为不被植被影响而随时间变化的轮廓所在区域。
[0076] 在本实施例中考虑到伴随着时间节点变化，不同时间节点之间的差异不仅仅只有结构物发生形变带来的结果，还包括了植被伴随生长带来的影响。故，在本实施例中包括进一步识别关键区域的方法。具体可参见图4，其中示出了步骤S3中包括步骤S31‑步骤S35。
[0077] S31、基于时序变化在所述结构物轮廓图中确认得到至少一个植被影响候选边缘。
[0078] 在本实施例中植被影响候选边缘确认的方式即为逐个比对相同位置在不同时间节点轮廓边缘线段是否发生变化，若存在变化其即为植被影响候选边缘。
[0079] S32、统计每个植被影响候选边缘在时序中的长度和该植被影响候选边缘的最大切线斜率。
[0080] 需要说明的是，在本步骤中所提及每个植被影响候选边缘在时序中的长度即指的是每个植被影响候选边缘在每个历史时间节点上的长度。与此同时，植被影响候选边缘的最大切线斜率指的是植被影响候选边缘曲线部分的切线斜率最大值。
[0081] S33、基于每个所述植被影响候选边缘在时序中的长度和植被影响候选边缘的切线斜率计算得到每个植被影响候选边缘的评价指数。
[0082] 需要说明的是，评价指数计算式如下：
[0083]
[0084] 其中，w表示评价指数；s表示时间节点的总数；lq,q+#表示第q个历史时间节点到第q+1个历史时间节点时所变化的植被影响候选边缘的长度；θq,q+#表示第q个历史时间点对应的最大切线斜率与第q+1个历史时间点对应的最大切线斜率对应的角度差，亦可称为第q个历史时间点到第q+1个历史时间点所变化的角度差；表示该边缘多个相邻差异的最大切线斜率对应的角度平均值， 越小，则表示植被影响候选边缘变化在一条线上扩展。ε表示防止分母为零的常数，本领域技术人员可根据实际情况选择，本实施例中优选为0.01。
[0085] S34、分别基于每个所述评价指数判断和第三阈值判断得到至少一个形变边缘，所述形变边缘对应的所述评价指数判断小于所述第三阈值。
[0086] 需要说明的是，在本实施例中第三阈值优选为0.8。
[0087] S35、分别基于每个所述形变边缘构建一个关键区域。
[0088] 需要说明的是，本步骤所提及的关键区域即为由若干个小方框围合而成，其中每个关键区域均包括一个关键区域，每个小方框的大小根据遥感图像的比例尺所决定，本实施例中不做出具体的限制。
[0089] S4、获取每个所述历史时间节点对应关键区域的形变原因。
[0090] 具体而言，在本实施例中形变原因由人工进行标记。形变原因可以是位移、沉降、倾斜、未发生变化等。
[0091] S5、基于每张所述遥感图像对应的所述结构物轮廓图和所述关键区域进行划分得到训练组和预测组。
[0092] S6、基于训练组训练预设神经网络模型得到结构物变形神经网络。
[0093] 具体而言，在本实施例中，预设神经网络模型为卷积神经网络模型，同时对于本领域技术人员还可以选用其他网络模型，本实施例中不做出具体限制。
[0094] 同时，关于本步骤中所提及的训练过程即将训练组进行按照7：3或者8：2比例分为训练样本和验证样本分别对预设神经网络模型进行训练以及验证流程。并且在实施例中，所述预测组内是包含当前时间节点和至少一个历史时间节点对应的结构物轮廓图和关键区域。其预测组内包含的时间节点的数目由本领域技术人员根据方式实施载体的逻辑计算能力所决定，本实施例中不做出具体限制。与之相对应的，训练样本和验证样本中每个样本均是由与预测组内时间节点数目相同的结构物轮廓图和关键区域构成，并且每个样本内的时间节点以此相邻。
[0095] S7、将所述预测组输入至所述结构物变形神经网络得到结构物的变形监测结果。
[0096] 在本实施例中，首先通过Canny算子边缘检测提取结构体的轮廓，接着根据轮廓的直线情况以及直线段之间的曲线段变化状态确定真实的结构物轮廓图，能有效降低云层遮蔽的动态影响。最后通过对比在不同的历史时间节点上结构物轮廓图的变化，并基于植被的随时间生长情况对结构物轮廓图中存在变化的区域进行植被区域筛除，以此确定由于形变发生的结构物的关键区域。最终输入至结构物变形神经网络有效提升预测准确率。
[0097] 需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0098] 本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
