[0001] 本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的茶园病虫害识别方法和系统。

[0002] 随着茶产业日益繁盛，茶园病虫害问题也愈发凸显，病虫害问题一直是影响茶叶产量和质量的重要因素，不仅会导致茶叶产量下降，还可能影响茶叶的外观、风味和品质；甚至在严重情况下，将导致茶树的死亡。病虫害的早期检测和准确识别对于茶园的健康管理和防治措施的及时实施至关重要。

[0003] 目前，茶园病虫害的监测主要依赖于人工观察和简单的传统监测设备。人工观察方式不仅费时费力，而且由于观察者的经验水平不同，病虫害识别的准确性和及时性难以保证。传统的监测设备往往只能覆盖茶园的一部分区域，无法实现对茶园全域的实时监测，病虫害的分布情况无法及时反馈，导致防治措施滞后。此外，传统方法难以提供精细的病虫害分布图，缺乏对病虫害具体分布区域和严重程度的准确分析，管理人员容易出现决策失误。

[0043] 下面结合附图与实施例对本发明作进一步说明。

[0044] 实施例一

[0045] 如图1所示，本实施例公开了一种基于深度学习的茶园病虫害识别方法，包括以下步骤：

[0046] S1：获取茶园茶叶图像和环境信息；对茶园茶叶图像进行预处理；

[0047] S2：利用病虫害目标检测模型对预处理后的茶园茶叶图像进行初步病虫害识别，得到病虫害集中区域图像和病虫害类型；

[0048] S3：将病虫害集中区域图像和病虫害类型，输入至区域分布分析模型，进行深度病虫害识别，得到病虫害目标图像，并生成病虫害分布图；

[0049] S4：结合环境信息、病虫害集中区域图像、病虫害类型和病虫害分布图，制定防治建议。

[0050] 接下来，结合图2，对本实施例公开的一种基于深度学习的茶园病虫害识别方法进行详细说明。

[0051] S1中，通过在茶园多个位置设置360度高清摄像头，对茶园茶叶作物区域进行图像采集，得到茶园茶叶图像。

[0052] 作为一种具体的实施方式，采集茶园茶叶图像的目的是获取适合训练的茶芽图像，拍摄角度需要尽量贴近俯视图，摄像头水平夹角大于45度为宜，每个摄像头对应采集一部分茶园区域。如某块茶园过大，拟采用多个摄像头划分区域分工采集。

[0053] 其中，由于在不同的光照条件下，图像的亮度会发生变化，导致难以分辨图像细节。因此，本实施例利用光照传感器反馈的当前环境光照亮度，对图像进行亮度校正、直方图均衡化、图像尺寸调整和归一化处理，以保证图像的有效性。

[0054] 在茶园多个位置布设温湿度传感器、土壤传感器、风速风向传感器，采集茶园的温度、湿度、土壤PH值、风速、风向等环境信息。

[0055] 作为一种具体的实施方式，由于实际茶园中，茶田按块分布，地形错综复杂，故温湿度传感器、风速风向传感器安装在摄像头所在立杆上，立杆足够高，风速风向传感器安装在立杆较高位置，避免受地形阻拦影响；温湿度传感器安装在较低位置，并加装不透明外壳遮挡，避免阳光直射，更准确测得所在茶田区域的温湿度；土壤传感器则以茶田为单位随机分布和安放，增加土壤PH值检测的鲁棒性。应理解的，具体的安装方式及位置可由本领域技术人员根据实际情况自行设置。

[0056] 作为可选择的实施方式，本实施例将预处理后的茶园茶叶图像制作成目标检测样本数据集，用于茶园病虫害目标检测模型的搭建；对采集到的6000余张样本进行人为选择与调整，从中选择3600张特征明显的优越样本，使用Labelme软件对茶园图像样本进行各种茶芽常见病虫害类型的矩形框标注，使用几何变换(包括翻转、缩放、平移)、注入噪声(包括高斯噪声、椒盐噪声)、仿射变换、模糊和锐化(包括高斯模糊、运动模糊、图像锐化)操作进行数据增强，增强目标检测数据集至7800余张，提高数据集的泛化能力；对上述步骤获得的数据集按照8:1:1的比例划分为训练集、验证集和测试集，输入至病虫害目标检测模型进行充分训练，获得病虫害目标检测模型。

[0057] S2中，利用病虫害目标检测模型对预处理后的茶园茶叶图像进行初步病虫害识别，得到病虫害集中区域图像和病虫害类型。

[0058] 如图3所示，病虫害目标检测模型主要由CSPDarknet网络、多尺度特征融合网络和基于Anchor‑free的预测模块组成。

[0059] CSPDarknet网络包括多个卷积模块、C2F模块和一个SPPF模块。

[0060] 卷积模块用于提取图像的低层次特征，如边缘、纹理等。卷积模块包括卷积层、批归一化层和激活函数层。

[0061] 其中，卷积层通过在输入图像上滑动滤波器，从而生成一系列特征图；批归一化层对特征图进行标准化，使其均值为0，方差为1，从而加速训练过程；激活函数层对特征图应用非线性函数，增强模型的表达能力。

[0062] 多个卷积模块用于进一步提取细粒度的特征信息，增强模型的细节捕捉能力。

[0063] C2F模块是核心组件，用于实现更深层次的特征提取和特征融合。C2F模块由卷积模块和若干个残差单元组成，残差单元通过正常卷积和短路连接直接传递输入信息两条路径，缓解深层网络中的梯度消失问题，提高训练稳定性和模型精度；C2F模块通过部分卷积和残差单元的跳跃连接方式，将不同路径的低层次特征进行融合，得到融合特征，以此减少计算成本和参数量，同时保持模型的表示能力，这种结构有助于提高特征的多样性和表达能力。

[0064] SPPF模块由卷积模块、连接层和最大池化层组成。最大池化是一种下采样操作，用于缩减特征图的尺寸，同时保留重要信息；它通过在特征图上应用一个固定大小的滑动窗口，并在每个窗口内取最大值作为输出，从而减少特征图的分辨率和计算量；最大池化有助于提取图像中的显著特征，增强模型的平移不变性，并减少过拟合风险。连接层用于在不同尺度之间传递和融合特征信息，通过跳跃连接和横向连接实现特征的多层次交互，确保信息在网络中充分传播。

[0065] 在SPPF模块中，融合特征经过卷积后，连接层和最大池化层通过对输入特征图进行多尺度池化操作，并将结果拼接在一起，从而获得多尺度的上下文信息，实现多层次交互。这种方式能够提升模型对不同大小目标的识别能力，同时保持较高的效率。

[0066] 多尺度特征融合网络由特征金字塔网络和路径聚合网络组成。特征金字塔网络FPN由上采样模块、连接层、C2F模块组成。路径聚合网络PAN由卷积模块、C2F模块、连接层组成。其中，上采样模块用于将低分辨率的特征图恢复到更高的分辨率，从而使高层语义特征能够与低层次的细节特征进行融合，增强对小目标的检测能力；连接层、C2F模块和卷积模块的作用已经说明，不再赘述。FPN和PAN共同形成了一个多尺度特征融合网络，提高了模型多尺度特征信息的学习能力。

[0067] Anchor‑free方法是指模型直接预测目标的中心点和边界框的尺寸，而无需预定义锚框，减少超参数的依赖，简化网络结构。基于Anchor‑free的预测模块由三个预测模块分别从三个尺度的特征输出检测结果，预测模块由卷积模块和卷积层组成，接收融合后的多尺度特征，并通过回归和分类头输出目标的类别损失和预测框损失，量化训练模型的优劣。

[0068] 本实施例中的CSPDarknet网络属于一种网络结构设计方法，通过将网络分成多个阶段部分，并在每个阶段中只部分连接，从而提高网络的效率和性能。CSPDarknet是基于CSPNet结构的Darknet变体。它在Darknet的基础上使用了CSPNet的设计思想，以改善特征提取能力和网络性能，尤其是在处理复杂目标检测任务时。

[0069] 本实施例中，多尺度特征融合网络采用了特征金字塔网络(FPN)和路径聚合网络(PAN)的组合结构，在不同尺度上进一步融合和增强特征，提高对不同大小的病虫害区域的检测能力，最后通过Anchor‑free机制生成最终的目标检测结果，输出病虫害检测图像，获得病虫害集中区域和类型。

[0070] 本实施例中，特征金字塔网络(FPN)与路径聚合网络(PAN)的组合中，FPN结构将不同尺度的特征图融合在一起，而PAN网络则通过路径聚合进一步增强了特征融合的效果。这种组合结构在不同尺度上充分融合了不同层次的特征信息，提高了网络对不同大小病虫害区域的检测能力，特别是对于小目标和远距离目标的检测效果显著提升。

[0071] 本实施例中，传统的基于Anchor的检测方法需要预设一组先验框，而Anchor‑free机制则直接预测目标的边界框，减少了预设框对检测结果的影响，提高了检测的精度和鲁棒性。同时，该机制也更适应于复杂多变的茶园环境，能够更好地应对不同形状、大小和颜色的病虫害区域。

[0072] 作为一种具体的实施方式，病虫害目标检测模型学习病虫害的浅层特征，主要是为了对病虫害进行区域定位和识别病虫害的类型，由于该模型不需确定病虫害所在的精确位置，只需要能够预测出大致所在区域即可，所以该模型学习偏向于病虫害大尺度上的特征信息。将茶园茶叶图像送入病虫害目标检测模型实际可以得到经过模型预测出的病虫害区域，即，将各类病虫害用矩形框标注出来；将这些若干个矩形框裁剪得到病虫害集中区域图像，基于预设标签得到病虫害类型。所述病虫害类型包括“茶赤叶斑病”、“茶树炭疽病”、“茶饼病”、“茶白星病”四类病害和“茶短须螨”、“小绿叶蝉”、“茶毒蛾”、“黑刺粉虱”四类虫害。

[0073] S3中，将病虫害集中区域图像和病虫害类型，输入至区域分布分析模型，进行深度病虫害识别，得到病虫害目标图像。如图4所示，包括下采样操作和上采样操作；具体为：

[0074] S301：所述下采样操作包括：对病虫害集中区域图像通过连续的卷积层和激活层，提取初始特征图；

[0075] S302：对初始特征图通过最大池化层提取高层次特征图；

[0076] S303：所述上采样操作包括：将高层次特征图逐步恢复到原始图像的分辨率，得到恢复图像，通过跳跃连接将恢复图像进行拼接融合。

[0077] 根据病虫害类型，调用基于所述病虫害类型对应的病虫害数据库训练的分类器对拼接融合后的特征进行分类，提取病虫害目标前景，得到像素级别的病虫害目标图像。

[0078] 本实施例中，区域分布分析模型学习病虫害的深层特征，相对来说该模型学习偏向于病虫害小尺度上的特征信息，将上一步得到的病虫害集中区域图像和病虫害类型输入至区域分布分析模型，模型会根据病虫害类型调用经该类型的病虫害数据库训练生成的分类器(Softmax多分类激活函数)对病虫害集中区域图像进行像素级别的语义分割，提取病虫害目标前景，得到病虫害目标图像。

[0079] 应理解的，所述病虫害数据库包含各类常见病虫害类型和相应的病虫害特征，是本领域技术人员根据实际情况可自行设置的。

[0080] 将获取的茶园内所有茶园茶叶图像进行拼接，基于病虫害目标图像的位置，为同属于一种病虫害类型的病虫害目标图像标记相同的颜色，不同病虫害类型标记不同的颜色，背景的像素则不做处理，得到病虫害分布图。

[0081] 本实施例中，下采样过程通过连续的卷积层和激活层，模型能够学习到病虫害图像的深层次特征，这些特征比原始像素值更能代表病虫害的本质属性。最大池化层进一步提取了这些特征中的关键信息，去除了冗余和噪声，从而提高了识别的精度；上采样过程模型不仅恢复了图像的分辨率，还通过跳跃连接将不同层次的特征图进行拼接融合。这种多尺度特征融合的方式使得模型能够同时捕捉到病虫害的局部细节和全局结构，增强了模型对不同类型、不同严重程度病虫害的识别能力，提高了模型的泛化性能。

[0082] 作为可选择的实施方式，本实施例从采集的茶园图像中人为筛选和收集病虫害数量和类型较多的图像1200张，对图像中的病虫害区域进行手动标注，创建带有像素级标签的训练数据集，同样使用上述的数据增强技术进行数据集扩充，最终得到2600张图像的语义分割数据集；使用基于U‑Net的语义分割网络进行数据集的训练，调整超参数优化模型性能，获得区域分布分析模型。

[0083] S4中，结合环境信息、病虫害集中区域图像、病虫害类型和病虫害分布图，制定防治建议。

[0084] 本实施例中，环境信息、病虫害集中区域图像、病虫害类型和病虫害分布图构成反馈报告，管理人员根据反馈报告进行针对性防治。

[0085] 作为一种具体的实施方式，根据病虫害分布图，通过计算各类病虫害所在病虫害集中区域图像的面积，得到各类病虫害的分布占比，通过病虫害集中区域的面积估算严重程度，病虫害面积占比分别为0％‑10％、10％‑25％、25％‑50％、50％以上时，划分为：轻微、中等、严重、极严重的等级。

[0086] 根据病虫害类型，通过农业病虫害数据库，检索病虫害类型对应的防治措施，所述防治建议包括用药类型、施药量和施药时间。

[0087] 管理人员可根据防治措施针对性地进行施药或其他防治，并根据病虫害严重程度确定施药量，结合环境数据对防治措施进行调整。

[0088] 作为可选择的实施方式，一份反馈报告中，病虫害集中区域图像，在5号茶田的第4行茶垄一部分存在小绿叶蝉虫害，病虫害分布图上更具体显示了在第4行茶垄上小绿叶蝉的具体位置和分布，通过像素占比计算显示小绿叶蝉虫害严重程度为中等，自动从农业病虫害数据库中检索得到小绿叶蝉的防治建议，并调用小绿叶蝉所在茶田的传感器，显示当前茶田温湿度、土壤PH、风速风向。

[0089] 管理人员对这些信息和建议进行判断分析，假设农业病虫害数据库的防治建议中用药建议为针对小绿叶蝉需要使用A农药，因为严重程度为中等，施药量也应匹配，假设A农药高温下易挥发，管理人员根据温度确定施药时间，根据风速风向确定是否适合施药，风速过大时不宜施药，假设人工施药，施药人员应处于茶田上风向，最终管理人员综合这些信息下达或实施防治的具体措施。

[0090] 应理解的，所述农业病虫害数据库为关系型数据库，包含常见的病虫害类型和相对应的防治措施，比如用药类型、施药量和施药时间。

[0091] 本具体实施例通过360度摄像头获取茶园茶叶图像信息，通过环境传感器获得茶园的环境信息；利用光照传感器反馈的光照强度，对采集到的图像进行统一亮度校正和直方图均衡化，保证图像的有效性；利用病虫害目标识别网络对茶园图像进行病虫害识别，快速定位病虫害区域及其类型；将病虫害区域图像输入至区域分布分析模型中，识别出茶园内病虫害分布的区域及程度；结合环境信息和病虫害分布结果，生成病虫害分布图和反馈报告，并根据相应的防治办法给予决策建议。通过所述方法，不仅可以实时监测茶园病虫害，提升信息反馈速度，还能精确控制防治措施，有效保障茶园产量和质量，有效解决了茶园内病虫害信息反馈不及时、病虫害分布不明确的问题。

[0092] 实施例二

[0093] 本实施例提供一种基于深度学习的茶园病虫害识别系统，包括：

[0094] 数据获取模块，被配置为，获取茶园茶叶图像和环境信息；对茶园茶叶图像进行预处理；

[0095] 初步识别模块，被配置为，利用病虫害目标检测模型对预处理后的茶园茶叶图像进行初步病虫害识别，得到病虫害集中区域图像和病虫害类型；

[0096] 深度识别模块，被配置为，将病虫害集中区域图像和病虫害类型，输入至区域分布分析模型，进行深度病虫害识别，得到病虫害目标图像，并生成病虫害分布图；

[0097] 分析反馈模块，被配置为，结合环境信息、病虫害集中区域图像、病虫害类型和病虫害分布图，制定防治建议。

[0098] 实施例三

[0099] 本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种基于深度学习的茶园病虫害识别方法中的步骤。

[0100] 实施例四

[0101] 本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种基于深度学习的茶园病虫害识别方法中的步骤。

[0102] 以上实施例二至四中涉及的各步骤或模块与实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本发明中的任一方法。

[0103] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。