[0001] 本发明涉及计算机视觉领域，具体涉及图像处理，尤其涉及一种基于深度学习的卷积神经网络特征融合算法。

[0002] 随着深度学习的快速发展，以卷积神经网络为基础的深度学习算法模型在图像识别、语义分割、目标检测等众多领域广泛应用，并提出众多先进算法。其中，在设计算法的过程中，会经常用到特征融合的方法，比如多尺度特征融合、注意力特征和原始图像特征融合、底层特征和高层特征融合等。一般的特征融合方法有两种：拼接和相加，拼接是把不同的特征按照通道合并的方式进行拼接，相加是不同特征的特征值直接进行相加。而这种简单的拼接或相加特征融合方式不能够充分的利用特征的信息，也没用深层次挖掘特征之间的关系，造成图像处理过程中目标识别的精度不高。

[0044] 为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。

[0045] 本发明的实施例提供了一种基于特征筛选和深度融合的卷积神经网络特征融合算法。

[0046] 请参考图1‑2，图1为本发明整体流程示意图，图2是本发明实施例中一种基于特征筛选和深度融合的卷积神经网络特征融合算法的流程图，具体包括如下步骤：

[0047] 步骤1、将一批来自m幅影像的2个不同的卷积特征按照通道进行拼接。每一个卷积特征的通道为C，大小均为H×W，拼接后的特征大小为m×2C×H×W。

[0048] 步骤2、对步骤1得到的拼接特征进行批量归一化，所述的批量归一化(BatchNormalization，BN)是通过利用每一个小批量的均值和方差来调整神经网络各层输出特征的分布，使其符合高斯分布，用于解决数据分布带来的梯度消失和梯度爆炸问题，从而使整个神经网络在各层的中间输出的数值更稳定。小批量数据的均值和方差公式分别为：

[0049]

[0050]

[0051] 其中，μB为小批量B的均值， 为小批量B的方差，m为小批量的数目即每一个卷积特征的特征数，xi为小批量数据中第i个数据的值，其中i＝1，2，3......m。归一化的公式为：

[0052]

[0053] 其中， 为归一化后的值，∈为一个很小的常数项，防止分母为0。归一化后再自适应的进行拉伸和偏移，拉伸偏移公式为：

[0054]

[0055] 其中，yi为批量归一化后的值，γ和β为神经网络模型的两个可学习的参数。批量归一化后，得到综合特征，大小为m×2C×H×W。

[0056] 步骤3、通过通道注意力的方法对步骤2得到的综合特征进行特征筛选。特征筛选包括挤压、激励和注意三个过程，具体步骤如下：

[0057] 步骤3.1、挤压是把每个通道的特征值都压缩成一个值，挤压函数如下所示：

[0058]

[0059] 其中，H表示输入图像特征的高，W表示输入图像特征的宽，(i，j)表示图像特征中的位置坐标即图像特征的一个像素，uc(i，j)表示该位置的像素值即该位置的特征值，uc(·)表示通道C像元的特征值，Fsq表示压缩后的特征值。将步骤2得到得到的综合特征进行挤压，得到的挤压后的每一个通的特征大小为m×2C×1×1。

[0060] 步骤3.2、激励是通过全连接层和激活函数来得到每个通道的权重，激励函数如下所示：

[0061] Fex(z，W)＝σ(W2δ(W1z+b1)+b2)

[0062] 其中，σ表示Sigmoid激活函数，δ表示ReLU激活函数，W1和W2表示两层全连接层的权重系数，b1和b2表示两层全连接层的偏置系数，Fex表示特征z对应激励函数值即每个通道的权重。对步骤3.1挤压后的特征进行激励，得到的激励后的特征大小为m×2C×1×1。

[0063] 所述激活函数对所得特征值进行非线性变换，σ所表示的Sigmoid激活函数S(x)和δ所表示的ReLU激活函数f(x)的函数公式如下：

[0064] 步骤3.2.1、σ所表示的Sigmoid激活函数S(x)的函数公式如下：

[0065]

[0066] 其中，x为输入特征值，S(x)为输出的[0，1]之间特征的概率；Sigmoid函数是将特征映射到[0，1]之间，获得通道每一层的权重概率。

[0067] 步骤3.2.2、δ所表示的ReLU激活函数f(x)的函数公式如下：

[0068] f(x)＝max(0，x)

[0069] 其中，x为输入特征值，f(x)为激活之后的特征值。ReLU函数增加函数的非线性表达，目的是通过该函数把激活的神经元特征保留并映射出来。

[0070] 步骤3.3、对步骤3.2激励后的特征进行注意，得到注意后的各个通道的特征合并，其大小为m×2C×H×W。注意是使特征的每一个通道的特征值乘以得到的通道权重，以此得到通道的注意力，注意函数如下所示：

[0071] Fat(uc，sc)＝sc·uc

[0072] 其中，sc表示每个通道的权重，uc每个通道的特征值；将步骤二得到的综合特征的每一个通道的特征值乘以得到的每个通道权重即为通道注意力。

[0073] 步骤4、通过一维卷积对步骤3得到的筛选后的特征进行深度融合，进一步挖掘各个特征的信息和各个信息之间的关系。

[0074] 所述一维卷积的卷积核大小为1×1，输入维度和输出维度一致，都为输入特征的通道数大小；对步骤3筛选后的特征进行一维卷积，得到的输出的特征大小为m×2C×H×W。

[0075] 步骤5、通过ReLu激活函数对步骤4深度融合后的特征进行激活，得到基于特征筛选和深度融合的卷积神经网络，根据所述基于特征筛选和深度融合的卷积神经网络得到深度处理后的图像特征。激活后的特征大小为m×2C×H×W。

[0076] 本发明的有益效果是：

[0077] 1、本发明可以对拼接后的特征进行筛选，以去除无用特征，充分保留关键特征信息。

[0078] 2、本发明可以深度融合多个特征，进一步得到特征有用信息和挖掘多特征之间的关系。

[0079] 3、本发明主要改进了深度卷积神经网络特征融合算法，本发明的特征融合算法基于特征筛选和深度融合的方式，相较于传统的简单合并和相加方式更能够充分利用特征信息，提升算法模型的精度。可以明显提升深度学习方法中多特征(多尺度特征融合、注意力特征融合等)相关类别算法模型的精度，提高图像分类、语义分割和目标检测等任务的识别效果。

[0080] 以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。