[0001] 本发明涉及无人机技术领域，尤其涉及无人机巡视航线规划方法、装置、设备及存储介质。

[0002] 目前无人机自动巡视在输电、配电领域已有广泛应用，在变电领域的应用尚在起步阶段，巡视方面以人工巡视为主。人工巡视难以保持高度专注力且存在巡视死角，无人机代替变电站运行人员进行巡视工作，可以解决以上问题。

[0003] 目前基于点云模型进行无人机自动驾驶航线规划的方法较为普及。由于变电站内设备分布比较密集，变电站的点云模型难以呈现出表计的确切位置及其朝向，且变电站点云模型存在噪点，不利于航线的安全距离检查，使用中发现难以做到完美地去噪。基于上述的现有技术方案，现有无人机巡视航线规划方法规划的航线存在无人机巡视效果较差的问题。

[0023] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

[0024] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0025] 实施例一

[0026] 图1是根据本发明实施例一提供的一种无人机巡视航线规划方法的流程图，本实施例可适用确定变电站无人机巡视作业的巡视航线，该方法可以由一种无人机巡视航线规划装置来执行，该无人机巡视航线规划装置可以采用硬件和/或软件的形式实现，该无人机巡视航线规划装置可以配置于电子设备中。如图1所示，该方法包括：

[0027] S110、获取目标区域的三维实景模型与航线规划参数。

[0028] 其中，目标区域为无人机进行巡视作业的区域，比如变电站。

[0029] 其中，航线规划参数是规划无人机目标航线需要获取的参数，航线规划参数可以包括航向角、云台角度和拍摄距离等。

[0030] 目标航线包括上跨型航线和/或下穿型航线。其中，上跨型航线指整条航线上方无设备的航线，下穿型航线指整条航线下方没有设备的航线，而且不允许航线任一点的上方和下方同时存在带电设备。

[0031] 三维实景模型基于RTK(real‑time kinematic，实时动态)创建。RTK的组成包括基准站和流动站。RTK原理是在地面已知位置安装一个基准站，基准站就是建立在某个地方之后不再移动的站点，是对卫星导航信号进行长期连续观测，并由通信设施将观测数据实时或定时传送至地面固定观测站。基准站在接收到卫星信号后就会开始将卫星传递的位置信号与自己的实际位置信息进行比较，找到传递过程的定位误差，然后将误差发送给随待测点不断移动的流动站，流动站根据实时接收到的卫星信号，对误差进行修正，由此得到自身的精确位置。通过搭载RTK模块的无人机进行变电站倾斜摄影可以拍摄出带有高精度经纬度等地理信息的图像。

[0032] 其中，倾斜摄影技术是通过无人机从一个垂直、四个倾斜等五个不同的角度采集影像，获取到物体表面及侧视的高分辨率纹理。传统的竖直摄影只能获取物体顶部信息，对于物体侧面信息则无法获得，可以从多个角度观察目标区域，更加真实地反映变电站的实际情况。获取包括高度、长度、面积、角度、坡度等属性的量测。

[0033] 进一步的，搭载RTK模块的无人机完成变电站倾斜摄影，得到大量多角度、带有高精度地理信息的图像，再使用专业软件，例如EFS软件、Change Finder软件，该专业软件集成了多角度倾斜影像浏览、量测、查询等功能，对数据进行融合、重建，可以是高度、长度、面积、角度、坡度等的量测，可以得到真实、高精度的变电站三维实景模型。其中，三维实景模型中设备各表计，例如变电站各油位计、气压计、动作次数表等表计，外观完整、朝向可辨别，设备标示牌上的文字显示清楚。变电站三维实景模型作为无人机自动驾驶航线的高精度三维地图，是无人机巡视航线规划的基础条件。

[0034] 其中，航线规划参数是用于规划无人机巡视航线的参数，包括第一航线规划参数或第二航线规划参数。其中，第一航线规划参数包括航拍点，第二航线规划参数包括坐标、航向角和云台角度。

[0035] 在一个实施例中，为了得到目标航线，需要获取基于三维实景模型确定的包含航拍点的第一航线规划参数，然后将航拍点逐点相连形成巡视航线。其中航拍点的绘制方法可以包括：

[0036] a1、三点定位画法：在航拍点选择时，特别是用于拍摄表计的航拍点，需要调整屏幕视角使航拍点尽可能处于显示界面中间。实际使用时，可在预览模式下进行航拍点选择。

[0037] a2、先定点，再拍照画法：先竖直对地取点以确定无人机的位置，此时拍摄距离即为无人机离地高度，再修改/增加拍照动作。该方法适合于在通道中进行日常巡视的航拍点规划。

[0038] a3、在检测到两个航拍点之间存在障碍物时，在该两个航拍点之间增加设定数量的辅助航点。其中，障碍物可以是设备等物体，设定数量可基于在避开障碍物的情况下，从一个航拍点到另一个航拍点之间的路程确定，辅助航点仅用于巡视航线规划，无人机飞行至辅助航点时不执行拍照操作。

[0039] S120、根据航线规划参数在三维实景模型中进行航线规划以得到目标航线。

[0040] 目标航线优选横平竖直，以避免无人机斜飞情况的出现。相较于平行飞行，无人机斜飞出现故障的概率更高。

[0041] 进一步的，根据航线规划参数在三维实景模型中进行航线规划以得到目标航线之后，还包括以下步骤：

[0042] 步骤b1、获取目标区域的点云模型以及目标航线在点云模型中的空间分布。

[0043] 其中，点云模型是基于目标区域的雷达扫描数据确定的，其可以清楚地显示线型物体，比如导线、框架等。

[0044] 变电站三维实景模型常出现导线部分缺失的情况，因此基于三维实景模型规划航线时，难以判断导线位置，本实施例借助点云模型对航线的导线附近部分进行检查，优选采用软件算法自动安全距离检查。

[0045] 步骤b2、在点云模型中，确定目标航线第一设定邻域范围内是否存在第一类目标物体，第一设定邻域范围大于或等于第一类目标物体对应的安全距离，第一类目标物体为线型障碍物。

[0046] 其中，第一设定邻域范围为第一类目标物体禁止出现的区域。第一类目标物体可以是导线和设备周围的框架等线型障碍物。第一类目标物体对应的安全距离为预先为第一类目标物体创建的安全距离。当第一类目标物体与目标航线之间的距离大于或等于该安全距离时，无人机通常会保持正常状态飞行，当第一类目标物体与目标航线之间的距离小于该安全距离，无人机会出现飞行异常。

[0047] 步骤b3、如果存在第一类目标物体，则根据第一类目标物体与目标航线之间的位置关系对目标航线进行优化以更新目标航线。

[0048] 如果目标航线的第一邻域范围内存在第一类目标物体，则需要在点云模型中，根据第一类目标物体与目标航线之间的位置关系，对目标航线进行优化以更新目标航线。其中，位置关系包括但不限于平行、交叉、重叠等。

[0049] 进一步的，在步骤b1之前，还包括以下步骤：

[0050] 步骤c1、在三维实景模型中，确定目标航线第二设定邻域范围内是否存在第二类目标物体，第二设定邻域范围大于或等于第二类目标物体对应的安全距离，第二类目标物体为非线型障碍物。

[0051] 其中，第二设定邻域范围为第二类目标物体禁止出现的区域。第二类目标物体为非线性障碍物，可以是设备、建筑物等。第二类目标物体对应的安全距离为预先为第二类目标物体创建的安全距离。当第二类目标物体与目标航线之间的距离大于或等于该安全距离时，无人机通常会保持正常状态飞行，当第二类目标物体与目标航线之间的距离小于该安全距离，无人机会出现飞行异常。

[0052] 步骤c2、如果存在第二类目标物体，则根据第二类目标物体与目标航线之间的位置关系对目标航线再次进行优化以再次更新目标航线。

[0053] 如果目标航线的第二邻域范围内存在第二类目标物体，则需要在点云模型中，根据第二类目标物体与目标航线之间的位置关系，对目标航线进行优化以更新目标航线。其中，位置关系包括但不限于交叉、重叠等。

[0054] 进一步的，步骤c2之后，还包括以下步骤：

[0055] 步骤d1、获取无人机沿目标航线试飞的实时飞行数据，实时飞行数据包括RTK信号和实时航线数据。

[0056] 实时飞行数据为无人机沿目标航线飞行过程中产生的实时数据，包括但不限于RTK信号和实时航线数据。

[0057] 无人机试飞时，其硬件各部分需正常、完好，比如无人机外观完好无破损、镜头镜面无划痕破损；云台的保护罩已拆下，云台完好；螺旋桨安装牢固；电池和遥控器电池的电量为满电、电池无异常发热、鼓包，电池安装到位；模式切换键、滚轮、快捷键灵敏度正常；SD卡容量足够且安装正确等；无人机遥控参数已正确设置，如返航高度，确保无人机返航高度高于待巡视变电站的最高设备高度。飞行模式被设置为RTK模式。关于RTK模式，因为在变电站设备数量庞大且分布密集的环境下，无人机必须在RTK信号良好和RTK信号处于固定解的情况下方可进行自动巡视作业。无人机试飞时，还需无设定异常信息，比如指南针校准异常和RTK信号差。“允许切换飞行模式”已打开，视觉避障功能已关闭。关闭视觉避障功能，由于变电站设备分布密集，经常需要无人机近距离完成拍摄，若打开视觉避障功能，无人机一旦距离设备2米左右就会自动悬停，无法顺利完成航线任务。

[0058] 步骤d2、在检测到实时飞行数据存在异常数据时，根据异常数据停止无人机的试飞操作，同时根据异常数据的发生区域对目标航线再次进行优化以再次更新目标航线，异常数据包括RTK信号异常数据或实时航线数据对应的实时航线偏离目标航线的偏离数据。

[0059] 进一步的，步骤d1之后还包括以下步骤：

[0060] 步骤e1、如果实时飞行数据中无异常数据，则再次获取无人机沿目标航线试飞设定次数的实时飞行数据。

[0061] 无人机飞行数据出现异常可能因为无人机与遥控器断联、断网导致无人机失去位置信号等。

[0062] 可以理解的是，如果实时飞行数据中无异常数据，则表示无人机当前次的试飞顺利。为了保证无人机沿目标航线飞行的拍摄效果，本实施例再次获取无人机沿目标航线试飞设定次数的实时飞行数据，比如再获取无人机沿目标航线试飞两次的实时飞行数据。

[0063] 步骤e2、如果设定次数的实时飞行数据中均无异常数据，则输出航线规划成功标识。

[0064] 其中，如果无人机连续设定次数(比如三次)试飞产生的实时飞行数据均无异常数据，则判定目标航线符合设定需求，并输出航线规划成功标识。

[0065] 通过无人机设定试飞次数产生的实时飞行数据是否存在异常数据，可以在实际飞行环境中验证前述目标航线是否能够用于无人机巡航，简单、直接且有效。

[0066] 为了应对无人机飞行数据异常，可以事先设置好失控应对策略，避免无人机碰撞站内设备。比如，当航线为上跨型时，失控应对策略应事先设置为返航(包括返航高度和返航点等)，当无人机检测到遭遇紧急情况时，无人机会竖直往上飞，直到设置的返航高度，水平飞到返航点，最后竖直下降降落到返航点上。当航线为上跨型时，整个无人机路径正上方无设备，但下方可能存在设备，因此失控应对策略不能采用降落或悬停。同理，当航线为下穿型时，下穿型航线整个无人机路径正下方无设备，但上方可能有金属构架、带点的高压跨线等，因此失控应对策略不能采用返航，失控应对策略应事先设置为降落，当无人机检测到遭遇紧急情况时，无人机竖直降落。

[0067] 本发明实施例的技术方案，通过获取目标区域的三维实景模型与航线规划参数，根据航线规划参数在三维实景模型中进行航线规划，可使无人机沿规划出的航线进行巡视时，既能拍摄到目标物体的期望图像，又能有效避开周围障碍物，因此可以提高无人机巡视的安全性和有效性。

[0068] 实施例二

[0069] 图2是根据本发明实施例二提供的一种无人机巡视航线规划装置的结构框图。本实施例可适用于在无人机巡视过程中，进行获取航线规划参数并进行航线规划得到目标航线的情况。

[0070] 如图2所示，本实施例公开的无人机巡视航线规划装置具体结构如下：

[0071] 获取模块201，用于获取目标区域的三维实景模型与航线规划参数。

[0072] 航线规划模块202，用于根据航线规划参数在三维实景模型中进行航线规划以得到目标航线。

[0073] 可选地，如图3所示，该装置还包括优化模块203，该优化模块用于获取目标区域的点云模型以及目标航线在点云模型中的空间分布；

[0074] 在点云模型中，确定目标航线第一设定邻域范围内是否存在第一类目标物体，所述第一设定邻域范围大于或等于第一类目标物体对应的安全距离，第一类目标物体为线型障碍物；

[0075] 如果存在第一类目标物体，则根据第一类目标物体与目标航线之间的位置关系对目标航线进行优化以更新目标航线。

[0076] 可选地，优化模块203还用于在三维实景模型中，确定目标航线第二设定邻域范围内是否存在第二类目标物体，第二设定邻域范围大于或等于第二类目标物体对应的安全距离，第二类目标物体为非线型障碍物。

[0077] 如果存在第二类目标物体，则根据第二类目标物体与目标航线之间的位置关系对目标航线再次进行优化以再次更新目标航线。

[0078] 可选地，优化模块203还用于获取无人机沿目标航线试飞的实时飞行数据，实时飞行数据包括RTK信号和实时航线数据。在检测到实时飞行数据存在异常数据时，根据异常数据停止无人机的试飞操作，同时根据异常数据的发生区域对目标航线再次进行优化以再次更新目标航线，异常数据包括RTK信号异常数据或实时航线数据对应的实时航线偏离目标航线的偏离数据。

[0079] 可选地，优化模块203还可以用于获取无人机沿目标航线试飞的实时飞行数据之后，如果实时飞行数据中无异常数据，则再次获取无人机沿目标航线试飞设定次数的实时飞行数据；如果设定次数的实时飞行数据中均无异常数据，则输出航线规划成功标识。

[0080] 本实施例的技术方案，通过各个模块之间的相互配合，实现获取目标区域的三维实景模型与航线规划参数，以及根据航线规划参数在三维实景模型中进行航线规划的操作，可使无人机沿规划出的航线进行巡视时，既能拍摄到目标物体的期望图像，又能有效避开周围障碍物，因此可以提高无人机巡视的安全性和有效性。

[0081] 本发明实施例所提供的一种无人机巡视航线规划装置可执行本发明任意实施例所提供的一种无人机巡视航线规划方法，具备执行方法相应的功能模块和有益效果。

[0082] 实施例三

[0083] 图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

[0084] 如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

[0085] 电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0086] 处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如一种无人机巡视航线规划方法。

[0087] 在一些实施例中，一种无人机巡视航线规划方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行一种无人机巡视航线规划方法。

[0088] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0089] 用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0090] 在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0091] 为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

[0092] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

[0093] 计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

[0094] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

[0095] 上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。