技术领域
[0001] 本发明涉及无人机控制技术领域，具体为一种基于无人机视觉的对中导线投架的控制方法及系统。
相关背景技术
[0002] 随着科技的不断进步，无人机和机器人技术在各个领域得到了广泛应用。其中，在电力巡检和维护方面，无人机和机器人协同作业的技术显得尤为重要。
[0003] 作业机器人上线前需要使用无人机进行辅助放吊绳支架，然而采用传统人工操作的方式，即通过摄像头观察进行对准输电导线投架控制，难度较高且效率低下。
[0004] 为此，基于视觉的无人机自动控制技术成为研究的重点，通过引入先进的图像处理算法和控制策略，实现无人机在复杂环境下的精确导航和定位。
具体实施方式
[0106] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0107] 实施例1，参照图1‑图9，为本发明的一个实施例，提供了一种基于无人机视觉的对中导线投架的控制方法，包括：
[0108] S1：利用无人机对输电导线的图像进行采集。利用DeepLabV3+语义分割算法对图像进行分割，并进行二值化处理。
[0109] 所述利用DeepLabV3+语义分割算法对图像进行分割包括，利用标注工具Labelme对输电导线图片进行标注，得到输电导线数据集，将其输入到DeepLabV3+网络进行训练，得到输电导线分割模型。
[0110] 利用得到的模型对无人机采集的输电导线图片进行处理。
[0111] 将DeepLabV3+分割出来的特征图灰度处理后进行自适应阈值二值化；二值化处理后的图像分为白色区域和黑色区域，将白色区域作为图像的前景，将黑色区域作为图像的背景。
[0112] 要说的是，DeepLabV3+的网络主要分为两个部分，即编码器部分和解码器部分。编码器部分主要是提取图像特征，由Xception模块和ASPP模块构成。首先为了减少模型的参数，在Xception网络中加入深度可分离卷积，然后将最开始提取到的特征输入到ASPP模块中。ASPP模块包含一个1×1的卷积，三个空洞率为6、12和18的空洞卷积，以及一个全局池化层，它们作为五个并行的分支对输入的特征进一步提取，得到多尺度的特征信息并将它们融合拼接，最后再通过一个1×1的卷积输出。
[0113] 解码器部分主要将底层特征和编码器输出的高层特征逐步还原，将多种特征信息还原成原始图像大小。在编码器中，Xception网络输出的底层特征进入解码器，经过一个1×1的卷积，与编码器输出的高层特征经过4倍的上采样处理后融合在一起，最后通过一个3×3的卷积以及4倍上采样处理后，输出最终的预测图。
[0114] 与常规的卷积相比，深度可分离卷积的参数数量减少且计算效率有显著提高。深度可分离卷积主要由两部分组成，分别为逐通道卷积和逐点卷积。逐通道卷积运算即每个通道由一个卷积负责，由于卷积核的数量与上一个通道相比并没有发生变化，所以输出的首次卷积运算的特征图的通道数不变，加之每个通道都是独立运算，并不能将不同通道上的相同空间信息进行有效的运用。为此，引入逐点卷积将这些特征信息进行加权组合，从而得到新的特征图。
[0115] 语义分割网络没有全连接层，主要是由卷积构成，DeepLabV3+的语义分割网络中采用的就是空洞卷积。在DeepLabV3+网络结构中，由于池化层的减少，使得特征信息无法得到很好的汇聚，感受野的范围较小，为此引入空洞卷积层来在有效减小信息丢失的情况下提高感受野的范围。空洞卷积层也可以减少模型的训练量，因为它的参数量和计算量不会因为训练时使用输出步幅的不同而改变。空洞卷积输入的特征图的像素点之间会有一定的间隔，并不是紧密的排列在一起，这些间隔的大小称之为空洞率或是膨胀系数。
[0116] 利用标注工具Labelme对输电导线图片进行标注，得到输电导线数据集，将其输入到DeepLabV3+网络进行训练，得到输电导线分割模型。利用得到的模型对无人机采集的输电导线图片进行处理，处理结果如图2所示，其中图(a)是原图，而(b)则为处理后的分割处理结果。
[0117] 为了进一步提取输电线路的特征，需要将DeepLabV3+分割出来的特征图灰度处理后进行二值化。二值化处理后的图像分为白色区域和黑色区域，本文将白色区域称为图像的前景，将黑色区域称为图像的背景，而无人机对中控制的依据便是由前景所决定的。由于无人机在对中控制的过程中，画面是动态且连续的，而且画面中的背景也是不断变化的，加上不同环境，不同天气，以及不同的光照强度，用于判断的阈值也是不同的。为了达到更好的提取效果，采用自适应阈值对特征图进行二值化处理。
[0118] 自适应阈值二值化又叫最大间方差法二值化，它能根据图片的当前特征信息选出一个最佳的阈值，即计算出一个能使前景的平均灰度值与图像全局的平均灰度值，以及背景的平均灰度值与图像全局的平均灰度值的方差达到最大的阈值，来保证图像的区分效果最好。
[0119] 自适应阈值二值化的计算过程：
[0120] 取待处理图像的尺寸为m×n，分别计算出背景像素点占比和前景像素点占比：
[0121]
[0122] 其中，na为属于背景的像素点数量，nb为属于前景的像素点数量。
[0123] 根据pa，pb分别求取背景的平均灰度值μa，前景的灰度值μb以及图像全局的平均灰度值μc。
[0124]
[0125] μc＝paμa+pbμb
[0126] 根据方差的概念，间类方差σ2(t)的表达式表示为：
[0127]
[0128] 化简得：
[0129]
[0130] 其中，t为划分前景和背景的阈值，L为灰度级总数，i为灰度级的索引值，i＝0、1、……、255；pi表示像素值为i的点在图像中的出现次数除以所有像素出现次数之和。选择最佳阈值T，使图像二值化的分割效果最佳。
[0131] σ2(T)＝max[σ2(t)]
[0132] 得出自适应阈值二值化的判别式：
[0133]
[0134] 其中，f(x,y)为灰度值，(x,y)为像素点。
[0135] 为了提高无人机对中控制的实时性，加快图像特征的处理速度，需要对自适应阈值二值化算法的相关参数进行调整。量化直方图的处理：为减小运算量，选取灰度值的步长a a为：2 ,灰度图像的灰度级为L,即量化后直方图的灰度级数目变为了ΔL＝L/2 ,数目有了明显的减小。为保障在提高运算速度的同时保证特征信息的完整性，选取a＝2,即最后的灰度级数目为ΔL＝L/4。
[0136] 灰度图跳跃计算的处理：在二值化对图处理的过程中，一般都通过给定的阈值对图像上的每一个像素点进行归类判断，这样非常的耗费时间。为此，需要进行跳跃处理，即每隔b个像素点处理一次，那么当处理一个尺寸为m×n的灰度图时，选取行列的步长b为2，那么最后处理完总的运算次数变为了原来的1/4倍，并且最后输出的判断结果也不会受到影响。区间约束的处理：在进行二值化处理之前，图片的特征已经被分割的比较明显了，即阈值的范围也会在一个比较固定的区间中，通过相应环境下大量的实验测试，阈值的范围一般在[90,160]，考虑到处理结果的准确性以及处理速度的快速性，将阈值的选取范围限制在[55,205]。自适应阈值二值化处理结果如图3。
[0137] S2：对二值化处理后的图像进行直线拟合，并通过无人机中线与输电导线中线之间的位置关系，计算中线偏移量.
[0138] 所述对二值化处理后的图像进行直线拟合包括，通过提取二值化后特征图中输电导线每一行的中心点，使用基于RANSAC估计的直线拟合算法，通过反复的选择数据去估算模型，不断的迭代并估算出最优的模型，从而剔除特征图像中的噪声数据。
[0139] 算法的具体过程包括：
[0140] 步骤一：在二值化处理后的图像中，找到导线位置，并在导线位置处随机选出两点来确定一条直线l，即选出最小数据集。
[0141] 步骤二：根据阈值t来确定与直线l的几何距离小于阈值t的数据点集S(l)，表示直线l的一致集。
[0142] 步骤三：重复步骤一、步骤二，经过A次的随机抽样，得到直线l1,l2,.....,la以及相应的一致集S(l1),S(l2),......,S(la)。
[0143] 步骤四：通过不断的迭代计算，求解出最大一致集的最佳拟合直线，作为数据点的最佳匹配直线。
[0144] 设一致集占整个数据集的比例为e，那么在每次计算选取点数为2的情况下，选择2
到非一致集的概率为1‑e。
[0145] 在迭代次数为A时，在A次迭代模型中，选取到的非一致集的概率为(1‑e2)A，则选择到准确的2个点计算出正确的模型的概率E为：
[0146] E＝1‑(1‑e2)A
[0147] 通过整理可得迭代次数m为：
[0148]
[0149] 其中，A表示抽样次数，a表示抽样得到的一致集数量，A≥a。
[0150] 通过提取二值化后特征图中输电导线每一行的中心点，使用基于RANSAC估计的直线拟合后的图像如图4所示。
[0151] 无人机对中的目的是为了将吊绳支架精准的投放在输电线路上，为了实现这一操作，需要拟合出两根输电导线的中心线，并通过无人机中线与输电导线中线之间的位置关系，计算出偏移量。所述中线偏移量包括，以图像中点f0(0.5m,0.5n)为原点建立坐标轴，设两条输电导线拟合后的中线表达式为：
[0152]
[0153] 经过公式推导得出两条输电导线的中心线表达式为：
[0154]
[0155] 得到的两条输电导线的中心线y3作为无人机对中偏差量的参考线，得到的两根拟合后直线的中线图如图5所示。
[0156] 尽管，输电导线图片经过了一系列的特征提取，在背景区域依旧会出现噪声，如果不经处理就直接采用图像的中心点与导线的中心线进行偏移量的计算，会使无人机对中控制的效果大打折扣，为了降低这种误差的出现，在偏移量的计算中，采用基于全局的中线像素偏移量计算方法。
[0157] 偏移量的计算示意图如图6所示。取中线y3在图像第y行中x轴上的平均坐标点为计算CI点距离C0点的加权平均偏移量d为：
[0158]
[0159] 偏移角θ的表达式为：
[0160]
[0161] 综上所述，当偏移量小于零时，无人机位于输电导线中线的右侧，且偏移角为负值；当偏移量大于零时，无人机位于输电导线中线的左侧，且偏移角为正值。偏移量的绝对值反应了无人机偏移的长度，通过将偏移量和偏移角输入给控制器，为接下来的无人机对中控制做基础。
[0162] S3：根据所述偏移量，控制无人机对准导线中线，并在安全距离投放吊线支架。
[0163] 无人机与两导线之间中线的对中控制的相对位置，主要靠机载摄像头来进行数据的采集，而在实际环境中，输电导线到摄像头光心的距离一定会远于像头的焦距，所以需要通过小孔成像的原理进行相对位置的分析，小孔成像原理图如图7所示。
[0164] o‑xyz为摄像头坐标系，单位为mm，oc‑xcyc为平行于摄像头坐标系o‑xy并且与图像像素坐标系共平面的二维坐标系，单位为mm，像平面中点，o为摄像头中点，oco为摄像头的焦距f。假设目标点在摄像头坐标系的位置为Q，则Qc为目标点在图像上的位置。做Qc、Q两点分别垂直于ocz轴并交于Pc、P点的辅助线，计算得到图像‑摄像头坐标系转换的表达式为：
[0165]
[0166] 为了进一步得到无人机于导线中线的相对位置，需要将图像坐标系上的点转换到像素平面坐标系oi‑uv上，图像‑像素坐标系如图8所示。
[0167] 设像素平面坐标系oi‑uv单位为Pixel，u轴对应图像的宽度，ν轴对应图像的高度，u0和v0表示像素坐标系原点和图像坐标系原点之间在u轴和ν轴上的像素差值；像素‑图像坐标系的转换表达式为：
[0168]
[0169] 其中，a和b分别为xc轴和yc轴的尺度因子。
[0170] 实际空间上的三维点映射到图像像素上的二维点的表达式为：
[0171]
[0172] 图像的点在实际中的位置为：
[0173]
[0174] 输电导线与无人机中心点之间的实际偏移量D为：
[0175]
[0176] 由于选取的无人机的机载摄像头并不具备防抖云台，所以在实际的飞行过程中摄像机的视角变化会随着无人机的姿态角变换而改变，由此造成图像中心点并不是对着无人机的正下方，会产生一定偏差，同时摄像头的安装也并不是在机体的中心线位置，所以考虑到这两个误差的存在，需要对偏移量进行补偿处理。假设此时无人机的横滚角为β，偏移量的补偿分析如图9所示。
[0177] 根据偏移量的补偿分析图可得出，偏差补偿距离l为：
[0178] l＝Ztanβ
[0179] 为了消除摄像头不在无人机中心线位置所产生的偏差，引入摄像头位置补偿量x0。通过修正补偿后的偏移量D0表示为：
[0180]
[0181] 其中，X、Y、Z分别未图像中的点在实际空间中横纵竖轴的坐标，U表示u轴上的坐标，V表示在v轴上的坐标。
[0182] 由于采用传统的手动操作进行对中控制中的话，对无人机操作手的要求很高，而且对中的率低下，严重影响的作业效率，为此本文采用基于视觉的无人机自动对中控制，即无人机悬停于导线附近时自主找线并进行调整控制。控制主要分为如下步骤：
[0183] (1)带有吊绳支架和绝缘牵引绳的无人机飞至导线上方，将无人机转向按靠近输电导线的方向水平旋转，直到两根导线完全出现在镜头画面中。
[0184] (2)无人机将图像进行处理，使用DeepLabV3+算法对输电导线进行分割，然后通过自适应阈值二值化算法，有效地实现了前景和背景的分离，最后将两条导线的中心点拟合成两条中心直线，并由此得出两条导线的中线。
[0185] (3)通过比较图像中得到的两根导线的中心线与图像的中心线之间的位置关系，求解出无人机与导线中线的偏差距离以及偏差角度。
[0186] (4)通过偏差距离和偏差角度控制无人机旋转并且水平移动，直到偏差量到达可允许的误差范围内，即完成对中控制。
[0187] 控制无人机的中线lθ重合于两根导线的中线l1，通过平移，使得lθ与l1之间的偏差量为零。将无人机逆时针旋转θ角度，使得无人机中线与输电导线平行，计算出两线之间的偏移量D，控制无人机向左移动，直到偏移量D变为0，完成对中控制。
[0188] 在进行无人机中线与两根导线中线的平移对中位置控制，即需要设计偏航轴视觉角度控制器和计横滚轴视觉位置控制器，控制器都采用PID控制。
[0189] 偏航轴视觉角度控制器以视觉定位系统得出的偏差角视觉作为外环PID，角速度作为内环PID，二者通过串级进行对无人机偏航角的控制。
[0190] 期望的旋转角度与当前视觉定位系统计算出的角度作差得到误差角e1，作为外环输入，通过角度P控制器计算输出内环的期望值，再与视觉定位系统得到的当前偏差角速度进行比较后得到误差e2，输入内环角速度PID控制器进行计算，输出电机速度控制值，通过对无人机电机的控制达到无人机偏航角度的改变。
[0191] 横滚轴视觉位置控制器以视觉定位系统得出的偏距离视觉作为外环PID，偏差变化速率作为内环PID，二者通过串级进行对无人机偏航角的控制。
[0192] 期望的偏差值与当前视觉定位系统计算出的偏差距离作差得到误差值e1，作为外环输入，通过位置P控制器计算输出内环的期望值，再与视觉定位系统得到的当前偏差变化速率度进行比较后得到误差e2，输入内环速率PID控制器进行计算，输出电机速度控制值，通过对无人机电机的控制达到无人机横滚轴位置的控制。
[0193] 无人机对中导线后需要进行投架操作，但因为无人机在接近带电输电导线过程中产生尖端放电，对无人机内部电子元件造成影响，阻碍无人机的对中投架控制，需要对无人机悬停于输电导线上投架的安全距离进行分析。通过ansys电磁仿真软件模拟带电作业机器人上下线过程，得出电容参数与机器人距离之间的关系。从而得到安全距离d，控制无人机在安全距离对输电线投放吊线支架。
[0194] 另一方面，本实施例还提供了基于无人机视觉的对中导线投架的控制系统，其包括：
[0195] 采集单元，利用无人机对输电导线的图像进行采集；
[0196] 处理单元，利用DeepLabV3+语义分割算法对图像进行分割，并进行二值化处理。
[0197] 拟合单元，对二值化处理后的图像进行直线拟合，并通过无人机中线与输电导线中线之间的位置关系，计算中线偏移量。
[0198] 控制单元，根据所述偏移量，控制无人机对准导线中线，并在安全距离投放吊线支架。
[0199] 以上功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0200] 在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0201] 计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编辑只读存储器(EPROM或闪速存储器)、光纤装置以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0202] 应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
[0203] 实施例2，参照图10‑图14，为本发明的一个实施例，提供了一种基于无人机视觉的对中导线投架的控制方法，为了验证本发明的有益效果，通过经济效益计算和仿真实验进行科学论证。
[0204] 无人机对中导线后需要进行投架操作，但因为无人机在接近带电输电导线过程中产生尖端放电，对无人机内部电子元件造成影响，阻碍无人机的对中投架控制，需要对无人机悬停于输电导线上投架的安全距离进行分析。
[0205] 针对500kV输电线路，对A，B，C相输电线路进行分析，三相电位转移前的等效电路分别如图10所示。
[0206] 以C相电路为例，当作业电路为C相输电线路时，C相的输电线路上的点Q3依次通过电容Cc1、电容CC2接地，电容Cc1、电容Cc2之间的点O3为带电作业机器人的位置，电容CC1为带电作业机器人与C相的输电线路之间的电容，电容Cc2为带电作业机器人的对地电容，C相的相电压UC作为点Q3和地之间的等效电源。通过ansys电磁仿真软件模拟带电作业机器人上下线过程，可以得出电容Ccl和电容 的电容参数与机器人距离之间的关系，关系图分别如图11、图12所示。
[0207] 通过对数据的拟合得出相应的拟合函数表达式为：
[0208] CC1＝257.6d‑0.406‑3.109
[0209] CC2＝283.1d‑0.435‑5.632
[0210] 根据棒板间隙的平均击穿场强公式：
[0211]
[0212] 其中r为单根导线到四根导线中性线的距离，d为输电导线与无人机之间的距离。整理可得到安全距离d的表达式为：
[0213]
[0214] 在实际情况下，棒板间隙不均匀电场平均击穿场强取5kV/cm,r取20cm,通过计算得出的安全距离理论值为59cm,以击穿场强5kV/cm为限值，使用ansys对无人机与输电线路接近过程中电场的变化进行模拟，最后得到的安全距离为68cm。C相输电线电场强度与间距的关系曲线图如图13所示。
[0215] 通过理论公式验证，理论计算的数值比仿真数值略小，考虑复杂电磁环境，以较大值为准。考虑实际中的安全余量，C相的投架安全距离取80cm，仿真图如图14所示。当无人机与输电导线距离为80cm时，无人机表面并没有发生。尖端放电，没有对无人机产生影响。同理可得A相和B相投架的安全距离为80cm和90cm。
[0216] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
