技术领域
[0001] 本发明属于茶叶智能采摘技术领域，涉及一种基于多阶段融合检测和姿态分析的智能机器人名优茶采摘方法。
相关背景技术
[0002] 随着大众对于健康生活方式和天然产品的追求日益增加，茶叶作为一种受欢迎的天然饮品，其需求量也在不断增加，名优茶以更佳的口感远胜于其他类型的茶叶，更受世人喜爱。然而，名优茶需求量增加的同时也伴随者大量的生产，在名优茶的生产中，茶叶采摘作业的劳动力约占整个茶园管理用工的60％以上，是整个茶叶生产劳动中作业次数最多、劳动力消耗最大、劳动强度最大的作业任务，采摘茶叶的质量直接影响了茶叶的品质与价值。随着劳动力成本的增加、专家的缺乏和茶叶质量要求的提高，单纯的人工采茶方式已经难以满足需求。所以茶叶产业对革新采摘方式的需求也日益迫切，推行机械化、智能化采摘已经成为名优茶可持续发展的必然选择。
[0003] 近年来，随着计算机视觉、机器学习和机器人技术的快速发展，智能农业领域也取得了长足的进步。通过深度学习进行嫩芽检测的方法也得到了广泛研究，通过YOLO、Faster RCNN等深度学习模型可以准确的检测出茶叶检测框位置，为智能采摘奠定了基础。对于采摘点位置的确定，目前大多通过阈值分割、关键点检测、点云处理等方法大致获取采摘点位置。但茶园环境复杂，茶叶与杂叶相似度高且相互遮挡，这些干扰因素容易导致由算法得到的采摘位置模糊，此外，目前大多算法仍停留在采摘位置的确定上，而不关心名优茶的生长姿态，所以常常导致采摘方式错误。故目前对于名优茶精确采摘方法仍有待研究。
具体实施方式
[0110] 以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0111] 其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0112] 本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0113] 请参阅图1～图5，为一种基于多阶段融合检测和姿态分析的智能机器人名优茶采摘方法。
[0114] 实施例
[0115] 本实施例提出了一种基于多阶段融合检测和姿态分析的智能机器人名优茶采摘方法，如图1所示，其至少包括将RGB‑D相机和激光雷达搭载于智能机器人，根据RGB‑D相机和激光雷达获取的茶叶信息数据计算采摘位置和角度，其包括以下步骤：
[0116] S1、采用GB‑D双分量联合预处理方法对获取的茶叶的RGB‑D图像和三维点云进行背景点滤除；
[0117] S2、建立茶叶二维图像目标检测模型从RGB‑D图像中获取茶叶二维检测框，并采用点云区域候选网络算法从三维点云中获取茶叶三维检测框；
[0118] S3、采用语义和空间多约束的自适应交叉非极大值抑制方法对二维检测框和三维检测框进行匹配，得到一一对应的茶叶二维检测结果和茶叶三维检测结果；
[0119] S4、采用茶叶关键点检测模型从茶叶二维检测结果中提取若干个茶叶二维关键点的位置，并将二维关键点融合至对应的茶叶三维检测点云中指导三维点云聚类，输出茶叶三维点云聚类结果；
[0120] S5、从茶叶三维点云聚类结果中分离出茎秆的局部点云，再通过茎秆姿态分析法获取茎秆的姿态和长度，最终得到茶叶在茎秆上的采摘位置和采摘角度。
[0121] 步骤S1：智能机器人利用RGB‑D相机和激光雷达获取茶叶的RGB‑D图像和三维点云，根据RGB‑D图像数据提出GB‑D双分量联合预处理方法：首先利用GB分量图和D分量图构建方差联合估计函数，然后利用该函数获取最佳的分割阈值，最终通过该阈值同时滤除RGB‑D图像和三维点云中的大部分背景点，具体步骤包括：
[0122] 101：如图2所示，将RGB‑D相机安装在智能机器人的机械臂末端，采集前方茶叶的RGB‑D图像；将激光雷达安装在智能机器人的顶部，采集周围茶叶的三维点云数据。
[0123] 102：提出GB‑D双分量联合预处理方法对RGB‑D图像和点云数据同时滤除背景点。首先提取出RGB‑D图像数据中的GB分量图和深度D分量图，然后依据两种分量图构建方差联合估计函数，如式(1)所示，以这两种分量图联合估计在不同阈值下图像中像素点的方差值，接着利用方差联合估计函数获取最佳的分割阈值 如式(2)所示，最后利用式(3)进行分割，进而作用在原RGB‑D图上以滤除大部分背景点。
[0124]
[0125]
[0126] 其中λgb、λd分别表示G‑B分量图和D分量图的权重系数， 分别表示G‑B分量图在阈值为t时像素点为前景和背景的概率， 分别表示G‑B分量图在阈值为t
时像素点为前景和背景的均值， 分别表示D分量图在阈值为t时像素点为前景
和背景的概率， 分别表示D分量图在阈值为t时像素点为前景和背景的均值，L(t)表
示阈值为t时的方差值，f(i,j)表示像素点(i,j)处的像素值，表示得到的最佳分割阈值。
[0127] 103：对于102通过式(3)得到的像素值为0的像素点(i,j)，其表示为背景点，利用式(4)将其变换到激光雷达坐标系下的三维点坐标，并利用式(5)作为判据：若dism,n小于预设的阈值d，则表明101的三维点云中的点m为背景点，选择滤除，反之即保留，进而从茶叶三维点云中滤除大部分背景点。
[0128]
[0129] 其中 分别表示背景点(i,j)在图像坐标系下的二维点坐标和在激光雷达坐标系下的三维点坐标，depthi,j表示像素点坐标(i,j)在D分量图中的深度值，fX、fY分别表示相机坐标系中X和Y方向上的等效焦距，u0、v0表示图像平面中心点坐标，R、t表示激光雷达坐标系到相机坐标系的旋转矩阵和平移向量，(xm,ym,zm)、(xn,yn,zn)分别表示101中点云的第m个点的三维坐标和由图像背景像素点进行投影变换后的点云的第n个点的三维坐标，两种点云中点的总个数分别为M和N，dism,n表示点m和点n之间的距离，d表示预设的最小距离阈值。
[0130] 步骤S2：第一阶段检测：搭建茶叶检测模型对茶叶进行目标检测。一方面，构建RGB茶叶图像检测模型TNet。如图3所示，在TNet中提出形状自适应卷积和小目标检测头以构建茶叶小目标特征聚合模型，接着提出类属性感知增强损失函数以增强类属性，最终有效获取到RGB‑D图像中的茶叶二维检测框；另一方面，对于预处理后的三维点云数据，利用Point R‑CNN算法获取点云中的茶叶三维检测框，具体步骤包括：
[0131] 201：第一阶段检测：目标检测。搭建目标检测模型对茶叶进行目标检测，分别为二维图像目标检测模型和三维点云目标检测模型。对于经步骤S1预处理后的RGB‑D图像，搭建茶叶二维图像目标检测模型TNet，获取茶叶在图像坐标系下的二维检测结果I2d。TNet包含主干网络、特征融合网络以及预测层。主干网络提取初步特征，然后在特征融合网络中提出形状自适应卷积以聚合加强特征。通过为卷积核学习不同的形状卷积参数以适应茶叶茎秆和芽叶的生长方向，如式(6)所示。形状自适应卷积采用3x3标准大小卷积核，在特征图上将当前点位置p0周围9个采样点利用卷积系数w(pn)进行卷积操作，并为每个采样点学习自适应系数v(p0+pn)以适应当前形状，若当前点位置p0的卷积系数w(pn)有效，则v(p0+pn)的值为1，反之则为0。接着将形状自适应卷积嵌入到Bottleneck模型中聚合特征，从而提出
SAConv‑Bottleneck网络模块。该网络模块存在两个分支，一个分支为主干支路，包含了残差结构Bottleneck的N次堆叠；另外一个支路为残差边支路，仅进行简单的形状自适应卷积操作，最后将主干支路和残差边支路连接起来进行输出，从而实现茶叶小目标特征聚合，有效适应不规则形状的茶叶的特征提取。
[0132]
[0133] 其中v(p0+pn)表示在p0+pn位置上的形状自适应系数，w(pn)表示在pn方向的卷积系数，x(p0+pn)表示在特征图p0+pn位置上的特征值，y(p0)表示在p0位置上周围9个点的特征提取结果，R表示周围九个点的坐标方向集合。
[0134] 202：在TNet的预测层上，设计了不同尺度的检测头来获取二维检测结果I2d，I2d包含了每个二维检测框的位置坐标和语义得分。由于茶叶为小目标，为了降低最终输出特征图的感受野，提出了更大尺度的160×160像素大小的检测头，160×160像素映射到原图能够包含32×32像素的小目标的全部信息，有效输出茶叶小目标的检测框。
[0135] 203：在TNet中提出茶叶类属性感知增强损失函数。首先构造如式(7)所示的类属性感知增强函数fconfidence，通过设计尺度参数μ、聚焦参数α以及调整因子τ应对IOU为0.5附近时的茶叶类属性在复杂环境下的不确定性。然后采用交叉熵损失构造最终的茶叶类属性感知增强损失函数LConfidence，如式(8)所示：
[0136] fconfidence＝μ|IOU‑0.5|α+τ (7)
[0137]
[0138] 其中IOU代表了每个预测框样本与对应标注框的交并比， 和 均代表指示变量，当单元格i的第j个边界框负责预测物体时， 的值为1， 的值为0，反之则
的值为0， 的值为1，ci代表单元格i的置信度标签值，代表单元格i的预测框与标注框最大IOU值所对应的置信度预测得分，λ表示类属性的尺度参数，其值为负，ε表示类属性的调整因子，γp、γn分别为正负样本的聚焦参数，S表示特征图划分网格的总个数，B表示每个网格单元生成的边界框数量。
[0139] 204：对于经步骤S1预处理后的茶叶三维点云数据，利用Point R‑CNN算法获取其在雷达坐标系下的三维检测结果J3d：首先通过一个固定大小的滑动窗口对输入的茶叶三维点云数据进行分块处理，然后将不规则的点云数据转化为规则体素表示，方便后续提取点云特征，接着生成可能存在目标的区域候选框，通过池化和卷积操作，提取每个点云区域候选框的特征，最后对每个候选区域进行目标检测和分类，预测得到最终的茶叶三维检测结果。
[0140] 步骤S3：提出语义和空间多约束的自适应交叉非极大值抑制方法，从而对步骤S2获取到的两种检测结果进行匹配，筛选错误多余的检测结果，最终获取到一一对应的茶叶二维检测结果和茶叶三维检测结果，具体步骤包括：
[0141] 301：提出语义和空间多约束的自适应交叉非极大值抑制方法，从而对步骤S2得到的茶叶二维检测结果I2d和茶叶三维检测结果J3d有效匹配，其中I2d和J3d分别表示茶叶二维检测框和三维检测框的集合，每个检测框由框的坐标位置和语义得分S表示。首先将茶叶三维检测结果利用式(4)反投影到图像平面得到二维检测框J2d，然后进行成对框的表征，二维检测框I2d的第i个框和二维检测框J2d中第j个框的成对框表征函数Fi,j如式(9)所示，其中IOUi,j≤0，或Si≤Ts，或Sj≤Ts的框将被过滤：
[0142] Fi,j＝{IOUi,j,Si,Sj},IOUi,j＞0,Si,Sj＞Ts,i＝1,2,...,I,j＝1,2,...,J(9)其中IOUi,j表示二维检测框J2d中的第j个框相对于二维检测框I2d中的第i个框的交并比，Si、Sj分别表示二维检测框I2d中的第i个框和二维检测框J2d中的第j个框的语义得分，Ts表示预设的语义得分阈值，I、J分别表示I2d和J2d的总个数。
[0143] 302：利用式(10)自适应重构二维检测框J2d的语义得分值。首先由IOUi,j作为空间约束因子来进行条件判断，若IOUi,j小于阈值T或等于IOUmax，则二维检测框J2d中的第j个框的语义得分Sj将被二维检测框I2d中的第i个框的语义得分Si所约束：若Si‑Tc＞0，表明二维检测框J2d中的第j个框为正样本，其语义得分Sj则通过正向权重进行增强，反之，则被判别为负样本，其语义得分Sj通过反向权重加以抑制；若IOUi,j大于或等于阈值T，则二维检测框J2d中的第j个框的语义得分Sj直接通过反向权重加以抑制。
[0144]
[0145] 其中λ、ε分别表示尺度参数和调整因子，Si表示二维检测框I2d的第i个框的语义得分，IOUmax表示I2d的所有框与J2d中第j个框的IOU的最大值，S′j表示自适应调整之后J2d中第j个框的语义得分，T表示IOU阈值，Tc表示正负样本阈值。
[0146] 303：利用302得到自适应调整后的S′j之后，利用式(9)再次表征I2d和J2d中的成对框，从而滤除掉J2d中Sj≤Ts的框，便得到更新后的J′2d，然后依此表征集合重新计算二维检测框I2d中的第i个框相对于二维检测框J′2d中的第j个框的交并比，接着利用S′j和式(10)对I2d中的每个框的语义得分Si进行自适应调整，从而实现交叉抑制，然后再由式(9)重新一一表征，滤除掉I2d中Si≤Ts的框，便得到更新后的I′2d，再选取最大交并比的两个框作为两两对应的有效框，便得到更新后的正确且一一对应的I″2d和J″2d，最后将J″2d和J3d利用反投影进行对应处理，滤除掉J3d中错误和多余的框，最终实现二维检测结果和三维检测结果的有效匹配。
[0147] 步骤S4：第二阶段检测：在第一阶段获取到目标融合检测结果的基础上，搭建茶叶关键点检测模型TKPNet，对步骤S3的茶叶二维框内的图像进行关键点检测。在TKPNet中提出概率+偏移的关键点表征模型，有效获取三个茶叶二维关键点的位置，然后将二维关键点融合进步骤S3相应的茶叶三维点云中，以二维关键点指导三维点云聚类，从而得到融合关键点后的茶叶三维点云聚类结果，具体步骤包括：
[0148] 401：第二阶段检测：关键点检测。搭建茶叶关键点检测模型TKPNet对步骤S3中融合后的茶叶二维框进行关键点检测，最终获取茶叶目标上的三个关键点二维坐标。如图4所示，TKPNet以编码器‑解码器的形式进行构建，并提出概率和偏移的表征模型来描述标注的茶叶关键点的位置坐标。其中的概率表示如式(11)所示：概率图中，若第i个像素点坐标xi对应于第k个关键点坐标lk的距离小于或等于R，则值f(xi)为1，反之则为0，其中k∈{1,2,3}，三个关键点位置分别是1：左叶子尖处，2：右叶子尖处，3：根茎交叉处。偏移则表示成在概率图中第i个像素点坐标xi对应于第k个关键点坐标lk之间的二维偏移向量Dk(xi)，如式(12)所示。最终以此描述为概率和偏移的形式，如式(13)所示：
[0149]
[0150] Dk(xi)＝lk‑xi (12)
[0151]
[0152] 其中P(·)是双线性插值函数，R表示预设的圆半径大小，xi,j表示以xi为圆心，R为半径的圆内的第j个像素点的坐标，R表示预设的圆半径大小，Q表示以xi为圆心，R为半径的圆内的像素总个数，Fk(xi)表示当前第i个像素点坐标xi对应于第k个关键点的概率+偏移的描述值。
[0153] 402：提出TKPNet的概率+偏移形式的损失函数，其损失函数由两部分构成，分别是基于关键点的二分类交叉熵损失和偏移回归损失，如式(14)所示：
[0154] L＝λfLf+λdLd (14)
[0155] 其中λf、λd分别为
二分类交叉熵损失Lf和偏移回归损失Ld的权重参数，L表示TKPNet的概率+偏移形式的损失函数，N表示像素点总数，f(xi)、 分别表示坐标xi的真实概率值和预测概率值，S(·)表示Smooth平滑损失，xi、lk分别表示第i个像素点坐标和第k个关键点坐标，K表示关键点总个数，为3。
[0156] 403：将二维关键点与步骤S3中匹配后的三维点云检测结果进行融合，利用关键点指导三维点云聚类，去除离群点。首先将402获取到的三个二维关键点利用式(4)投影到雷达坐标系中，其次将该三个关键点定为初始簇中心，为聚类提供准确的先验信息。然后利用欧式聚类算法将点云划分为多个簇，最后提取出同时包含该三个关键点的点云簇作为最终的茶叶点云聚类结果。
[0157] 步骤S5：将步骤S4中的茎秆交叉关键点坐标利用空间变换投影到步骤S4聚类后的茶叶三维点云中，以该点位置向下截断，分离出茎秆的局部点云。然后通过茎秆姿态分析法获取茎秆的姿态和长度，最终得到名优茶在茎秆上的采摘位置和采摘角度，从而实现智能采摘，如图5所示，具体步骤包括：
[0158] 501：利用式(4)对步骤S3得到的第三个关键点即茶叶茎秆交叉点进行投影，得到该点在雷达坐标系下的三维坐标 然后以该点位置在步骤S4获取到的茶叶点云聚类结果中按雷达坐标系的Z轴方向向下截断，仅得到茶叶茎秆的局部点云p。
[0159] 502：利用茶叶茎秆姿态分析法获取茎秆点云p的姿态。首先，利用式(15)计算茶叶茎秆点云的三维坐标的协方差矩阵C，然后对协方差矩阵进行特征值分解，得到特征值λ1、λ2、λ3，其中λ1≥λ2≥λ3，获取到λ1对应的特征向量 即为茎秆的生长方向。
[0160]
[0161] 其中 xi、yi、zi分别表示点i的三个维度的坐标值， 分别表示点云在三个维度下的坐标均值，n表示点云总个数，C为点
云的协方差矩阵。
[0162] 503：确定茎秆生长方向的原点。首先利用茎秆交叉点的三维坐标点k和茎秆的生长方向η确定在交叉点处的法平面，平面方程如式(16)所示，然后取落在该法平面上的茶叶茎秆点云的坐标均值作为茶叶生长方向的原点O＝(xo,yo,zo)。
[0163] δ1x+δ2y+δ3z‑(δ1μ1+δ2μ2+δ3μ3)＝0 (16)
[0164] 其中(x,y,z)表示该平面上的任意一点， 表示茎秆交叉关键点的三维坐标， 表示茎秆生长方向。
[0165] 504：获取最终的采摘位置和采摘角度。首先通过式(17)获取茎秆长度h，然后在原点O＝(xo,yo,zo)沿茶叶茎秆生长方向η的反方向移动λh长度，其中λ为比例系数，即可获得在雷达坐标系下的三维采摘点坐标 最后通过式(18)即可得到准确的采摘角度θ。
[0166]
[0167]
[0168] 其中(xo,yo,zo)，(xl,yl,zl)分别表示茎秆点云的原点和茎秆点云的最低点坐标，h表示茎秆长度，是水平面的法向量 θ表示获取到的采摘角度。
[0169] 最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
