具体技术细节
[0004] 为了解决现有技术中的问题，本发明提供一种基于改进的U‑net苹果图像分割方法和装置，以实现对真实场景下拍摄的苹果图像的快速和准确的分割。
[0005] 第一方面，本发明提供了一种基于改进的U‑net苹果图像分割方法，包括：
[0006] S1、获取真实场景下的苹果图像并进行预处理，将预处理后的苹果图像数据作为数据集；
[0007] S2、通过所述数据集对苹果图像分割网络进行训练，以得到训练好的苹果图像分割网络；所述苹果图像分割网络为改进的U‑net网络；
[0008] S3、通过训练好的苹果图像分割网络对苹果图像进行分割，以得到苹果图像的分割结果。
[0009] 可选的，所述S1具体包括：
[0010] S11：根据苹果园的环境以及苹果的成熟度，在不同的时间段对成熟度不同的苹果分别进行拍摄，从而获得原始的苹果图像；
[0011] S12：对原始的苹果图像进行标注；
[0012] S13：对标注后的苹果图像进行水平翻转和垂直翻以得到增强后的数据集；
[0013] S14：把数据集按照比例划分为训练集，验证集和测试集。
[0014] 可选的，所述苹果图像分割网络以U‑net网络为基础，包括依次连接的编码部分、跳跃连接、解码部分；
[0015] 其中，编码部分的主干网络为ResnNet50网络并通过迁移学习将训练好的权重加到ResNet50网络上、跳跃连接处为改进的语义对齐结构、解码部分包括残差网络和上采样模块。
[0016] 可选的，所述改进的语义对齐结构引入了CBAM注意力机制，改进了局部通道的高斯函数并在其全局通道中加入残差网络。
[0017] 可选的，所述S2具体包括：
[0018] 通过编码部分对数据集进行初步特征提取，以得到初步特征；
[0019] 将所述初步特征送入改进的语义对齐结构中进行信息重构，以得到重构后的特征图；
[0020] 将所述初步特征和重构后特征图传输至解码部分，以供解码部分进行网络训练。
[0021] 可选的，将所述初步特征送入改进的语义对齐结构中进行信息重构，包括：
[0022] 将编码部分提取的初步特征F∈RC*H*W经全局通道信息结构和局部通道信息结构的C*H*W C*H*W重组得到重构的矩阵D(F)∈R ，将初步特征F∈R 经过CBAM注意力机制的计算得到重构后的特征图F″；
[0023] 初步特征F∈RC*H*W经过改进的语义对齐结构重构后的特征图F′表达式为：
[0024]
[0025] 式中， 表示逐元素乘法，H表示每一帧苹果图片的高度，W表示每一帧苹果图片的宽度，C表示每一帧苹果图片的通道数。
[0026] 可选的，在S2的训练过程中，通过交叉熵损失函数计算每个部分的输出结果与标签结果的距离，并通过不同权重将各部分损失进行叠加；
[0027] 同时，通过梯度反向传播方法，采用Adam优化算法和自动学习率对网络中的参数进行调整，以获得训练好的苹果图像分割网络；
[0028] 其中，交叉熵损失函数表达式为：
[0029]
[0030] 其中，n为类别数，batch为批次大小，yij为真实分布， 为网络输出分布。
[0031] 第二方面，本发明实施例还提供一种基于改进的U‑net苹果图像分割装置，包括：
[0032] 数据集获取模块，用于获取真实场景下的苹果图像并进行预处理，将预处理后的苹果图像数据作为数据集；
[0033] 训练模块，用于通过所述数据集对苹果图像分割网络进行训练，以得到训练好的苹果图像分割网络；所述苹果图像分割网络为改进的U‑net网络；
[0034] 分割模块，用于通过训练好的苹果图像分割网络对苹果图像进行分割，以得到苹果图像的分割结果。
[0035] 本发明的有益效果：
[0036] 1、本发明构建了一种新的苹果图像分割网络，该分割网络以U‑net网络为基础，采用ResNet50替代U‑net网络的主干网络，并引入迁移学习实现了多层特征复用，减少了网络训练时间，在解码部分用残差网络代替普通卷积，从而提升网络的分割准确率。
[0037] 2、本发明在U‑net网络的跳跃连接处添加了改进的语义对齐结构，该改进的语义对齐结构引入了CBAM注意力机制，改进了局部通道的高斯函数，并在其全局通道中加入残差网络，对苹果图像进行信息重构，从而提升网络的分割准确率。
[0038] 3、本发明中的分割网络通过苹果图像的水平空间和垂直空间两个不同的维度捕获信息，以及从通道与空间位置进行自适应调节不同像素点的特征融合权重，能够更好的获取苹果的细节信息，提高苹果图像分割的准确性。
[0039] 4本发明不仅适用于苹果采摘机器人，对于其它农业机器人的视觉系统具有参考价值。
法律保护范围
涉及权利要求数量8：其中独权2项，从权-2项
1.一种基于改进的U‑net苹果图像分割方法，其特征在于，包括：
S1、获取真实场景下的苹果图像并进行预处理，将预处理后的苹果图像数据作为数据集；
S2、通过所述数据集对苹果图像分割网络进行训练，以得到训练好的苹果图像分割网络；所述苹果图像分割网络为改进的U‑net网络；
S3、通过训练好的苹果图像分割网络对苹果图像进行分割，以得到苹果图像的分割结果。
2.根据权利要求1所述的方法，其特征在于，所述S1具体包括：
S11：根据苹果园的环境以及苹果的成熟度，在不同的时间段对成熟度不同的苹果分别进行拍摄，从而获得原始的苹果图像；
S12：对原始的苹果图像进行标注；
S13：对标注后的苹果图像进行水平翻转和垂直翻以得到增强后的数据集；
S14：把数据集按照比例划分为训练集，验证集和测试集。
3.根据权利要求1所述的方法，其特征在于，所述苹果图像分割网络以U‑net网络为基础，包括依次连接的编码部分、跳跃连接、解码部分；
其中，编码部分的主干网络为ResnNet50网络并通过迁移学习将训练好的权重加到ResNet50网络上、跳跃连接处为改进的语义对齐结构、解码部分包括残差网络和上采样模块。
4.根据权利要求3所述的方法，其特征在于，所述改进的语义对齐结构引入了CBAM注意力机制，改进了局部通道的高斯函数并在其全局通道中加入残差网络。
5.根据权利要求4所述的方法，其特征在于，所述S2具体包括：
通过编码部分对数据集进行初步特征提取，以得到初步特征；
将所述初步特征送入改进的语义对齐结构中进行信息重构，以得到重构后的特征图；
将所述初步特征和重构后特征图传输至解码部分，以供解码部分进行网络训练。
6.根据权利要求5的方法，其特征在于，将所述初步特征送入改进的语义对齐结构中进行信息重构，包括：
C*H*W
将编码部分提取的初步特征F∈R 经全局通道信息结构和局部通道信息结构的重组C*H*W C*H*W
得到重构的矩阵D(F)∈R ，将初步特征F∈R 经过CBAM注意力机制的计算得到重构后的特征图F″；
C*H*W
初步特征F∈R 经过改进的语义对齐结构重构后的特征图F；表达式为：
式中， 表示逐元素乘法，H表示每一帧苹果图片的高度，W表示每一帧苹果图片的宽度，C表示每一帧苹果图片的通道数。
7.根据权利要求1所述的方法，其特征在于，在S2的训练过程中，通过交叉熵损失函数计算每个部分的输出结果与标签结果的距离，并通过不同权重将各部分损失进行叠加；
同时，通过梯度反向传播方法，采用Adam优化算法和自动学习率对网络中的参数进行调整，以获得训练好的苹果图像分割网络；
其中，交叉熵损失函数表达式为：
其中，n为类别数，batch为批次大小，yij为真实分布， 为网络输出分布。
8.一种基于改进的U‑net苹果图像分割装置，其特征在于，包括：
数据集获取模块，用于获取真实场景下的苹果图像并进行预处理，将预处理后的苹果图像数据作为数据集；
训练模块，用于通过所述数据集对苹果图像分割网络进行训练，以得到训练好的苹果图像分割网络；所述苹果图像分割网络为改进的U‑net网络；
分割模块，用于通过训练好的苹果图像分割网络对苹果图像进行分割，以得到苹果图像的分割结果。
