技术领域
[0001] 本发明涉及计算机视觉、模式识别技术领域，尤其涉及非负特征融合的方法以及基于非负特征融合的模式分类方法。
相关背景技术
[0002] 随着人工智能技术的发展，对图像、文本、语音等信息进行智能处理的需求与日俱增。模式分类是数据信息的智能处理，它是计算领域重要的研究方向之一，模式分类问题包括光学字符识别、生物特征识别、图像分类等。基于单特征结合机器学习分类器的分类方法，如分别使用颜色特征、边缘特征、梯度，和支持向量机法、近邻法、贝叶斯法等，已经使这类问题得到一定的解决。但是单一特征对原始样本特性的表达具有局限性，一种特征往往仅对样本某些特性敏感，而对其它特性不敏感，导致特征数据可能存在类内方差小而类间方差大的问题，分类器模型无法学习到最优的分类超平面，再加上数据噪声的影响，使得基于单一特征训练的分类器无法输出正确的结果。
[0003] 特征融合是解决上述问题的一种思想，它能够综合利用多种图像特征，实现多特征的优势互补，降低单特征局限性的影响，从而提高分类准确准确率。特征融合在信息融合层次中属于中间层次的特征级融合，根据数据抽象层次的不同，信息融合还包括低层的数据级融合和高层的决策级融合。特征数据在维度上比原始数据要低，比分类决策结果数据要高，因此，特征级融合能在目前计算机普遍运算能力范围内，更多的保留信息多样性，比其它两个层次的融合具有更好的使用条件。
[0004] 近年来，特征融合已经成为一个热门的研究问题。特征融合方法可以分为直接方法和间接方法，直接方法是通过对原始特征直接施加代数运算等手段得到融合特征，如基于权重的融合、基于模板的融合等；间接方法是将特征融合思想与统计模型、稀疏模型、深度模型等其他模型方法相结合，从而得到基于特征融合的新模型。但是，目前特征融合方法中缺乏基于非负矩阵分解的融合方法。
[0005] 针对现有技术存在的不足，提出本发明。
具体实施方式
[0059] 下面将结合附图对本发明实施例中的技术方案进行清楚、完整地描述。
[0060] 实施例1：
[0061] 如图1所示，本发明提供一种非负特征融合的方法，包括如下步骤：
[0062] S1，采集数据样本，建立特征矩阵；
[0063] 所述步骤S1中特征矩阵的建立具体步骤为，
[0064] S11：定义每个采集的数据样本的类别名称，为每个数据样本标记一个类别；
[0065] S12：每个类别的数据样本为一组，使用多种特征提取方法处理每个数据样本，得到原始数据样本的多种非负特征向量；
[0066] S13：将特征向量划分为训练集和测试集；训练集和测试集划分应该保持原始数据样本的分布一致，即在训练集和测试集中各类别包含样本数量的比例相同；
[0067] S14：将训练集中的特征向量组织成矩阵的形式，得到特征矩阵。
[0068] 本实施例中，定义样本总数为P个，类别总数为C个，特征种类为D种，即将P个样本划分为C种类别，并对每个样本提取D种不同的特征，从而得到D种维度不同的特征向量。图3是对特征向量重新组织后建立的特征矩阵的示意图，其中Xd表示训练样本第d种特征的所有特征矩阵组成的集合，总共包含C个特征矩阵，md为第d种特征的维度。每个特征矩阵包含1种类别的样本，例如， 表示第1种类别中所有样本特征向量组成的特征矩阵。特征矩阵每一列为一个样本特征向量，例如， 表示第p1个样本的特征向量。
[0069] S2，进行非负特征分解；利用基于投影梯度法的非负矩阵分解算法，对步骤S1的特征矩阵进行非负特征分解，得到基础特征和特征融合因子。
[0070] 建立特征矩阵之后，步骤S2所述非负特征分解主要使用基于梯度投影法的非负矩阵分解方法进行处理，其过程示意图如图4所示，r表示预期得到的基础特征的数量，是预先设置的参数，j表示第j种类别，j∈[1，C]，i表示该类别第i个样本，i∈[1，pj]，pj表示第j类中样本的数量，且有 对于第d种特征第j种类别的特征矩阵 得到对应的基础特征矩阵和融合系数矩阵，用如下公式表示，
[0071]
[0072] 其中 为基础特征矩阵，Wjd为融合系数矩阵。基于梯度投影法的非负矩阵分解方法将矩阵分解问题转化为约束问题，通过求解两个非负最小二乘子问题交替更新两个目标矩阵 和Wjd，处理步骤包括：
[0073] 定义目标函数如下
[0074]
[0075] 其中V是自变量，Z和U是已知量， 表示F范数的平方。(式1)
[0076] 定义约束优化问题如下，
[0077] min f(V)
[0078]
[0079] 其中a，b表示矩阵元素的索引，Va，b表示矩阵V中第a行第b列的元(式2)[0080] 素。
[0081] 步骤1)随机初始化 和Wjd的值 和 设定最大迭代次数Maxiter和最长迭代时间Maxtime，用 和 分别表示第k次迭代计算后得到的 和Wjd，而令
[0082] 和
[0083] 步骤2)使用如下公式更新目标矩阵
[0084]
[0085] 其中上角标T表示矩阵的转置，下同；
[0086] 步骤3)使用如下公式更新目标矩阵Wjd，
[0087]
[0088] 步骤4)累计当前迭代次数和当前迭代时间，判断是否满足停止条件。若停止条件满足则迭代过程结束，输出目标矩阵 和Wjd；若停止条件不满足则返回步骤2)；这里的停止条件是指当前迭代次数达到Maxiter，或者迭代时间达到Maxtime。
[0089] 目标矩阵 和Wjd均通过求解约束优化问题(2)进行更新，在更新 时，令(1)式中的 且 得到 而更新Wjd时，需要令式1中的且 得到 式2的求解过程如下：
[0090] 步骤a)设定参数β＝0.1和参数σ＝0.01，设定更新步长γ(0)＝1，令γ(l)＝γ(l-1)；
[0091] 步骤b)使用如下公式计算梯度
[0092] GV＝UTUV-UZ；
[0093] 步骤c)使用如下公式计算参数γ的更新条件，
[0094] Z′＝max(0，Z-γ(l)GV)，
[0095] δZ＝Z′-Z，
[0096]
[0097] 其中＜*，*＞表示向量内积，如果更新条件Cγ＜0，那么令γ(l+1)＝γ(l)/β并重新计算Cγ，直到Cγ≥0停止计算；如果更新条件Cγ≥0，那么令γ(l+1)＝γ(l)β并重新计算Cγ，直到Cγ＜0停止计算。取最后一个满足Cγ＜0的γ(l+1)进入步骤d)；
[0098] 步骤d)通过如下公式计算梯度投影，并更新V，
[0099] V：＝Fproj[V-γ(l+1)GV]，
[0100] 其中Fproj[*]为投影函数，定义如下，
[0101] Fproj[Y]＝max(0，Y)，
[0102] 其中Y表示自变量，max(0，Y)表示取0和Y中较大的值。
[0103] S3，融合特征重建；采用随机索引法对步骤S2得到的基础特征进行融合，得到数据样本的每类样本每种特征的融合特征，实现非负单特征融合；所述步骤S3的具体步骤为，[0104] S31：设定每类样本每种特征期望重建的融合特征的数量；
[0105] S32：随机产生一个融合特征重建索引；
[0106] S33：根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起，得到一个融合特征；
[0107] S34：对每类样本的每种特征依次重复步骤S32和S33，直到重建的融合特征数量达到目标数量后结束。
[0108] 具体为，得到基础特征和特征融合因子之后，步骤S3所述的融合特征重建使用随机索引法来完成，其过程示意图如图5所示，对每种特征每个类别，按照预先设定的数量N，计算得到N个融合特征。随机索引法的计算过程分为两步，第一步为产生随机索引，第二步为计算融合特征，依次用如下公式表示，
[0109]
[0110]
[0111] 其中Rp∈[1，pj]是整数值表示随机索引，由函数 根据Wjd的维度随机生成， 表示基础特征矩阵 的第b列， 表示特征融合因子矩阵Wjd的第a行第Rp列，表示第j类样本的第n个融合单特征。
[0112] 本实施例所述的融合特征可以使用三阶张量进行表示， 融合特征中的每个元素值均为大于等于0的实数，其结构如图6所示。
[0113] 实施例2：
[0114] 如图2所示，本发明还提供一种基于非负特征融合的模式分类方法，处理流程共分为6个主要步骤，包括：
[0115] S1，采集数据样本，建立特征矩阵；
[0116] S2，进行非负特征分解；利用基于投影梯度法的非负矩阵分解算法，对步骤S1的特征矩阵进行非负特征分解，得到基础特征和特征融合因子；
[0117] S3，融合特征重建；采用随机索引法对步骤S2得到的基础特征进行融合，得到数据样本的每类样本每种特征的融合特征，实现非负单特征融合；
[0118] S4：分别使用每种特征的所有融合特征，建立基于正规化F范数误差的非负融合单特征分类器；
[0119] S5：融合特征提升，使用融合特征Boosting算法对融合特征进行提升，得到融合单特征提升权重矩阵和融合多特征提升权重矩阵；
[0120] S6：基于提升权重矩阵，建立基于正规化F范数误差的非负融合多特征分类器。
[0121] S1，采集数据样本，建立特征矩阵；所述步骤S1中特征矩阵的建立具体步骤为，[0122] S11：定义每个采集的数据样本的类别名称，为每个数据样本标记一个类别；
[0123] S12：每个类别的数据样本为一组，使用多种特征提取方法处理每个数据样本，得到原始数据样本的多种非负特征向量；
[0124] S13：将特征向量划分为训练集和测试集；训练集和测试集划分应该保持原始数据样本的分布一致，即在训练集和测试集中各类别包含样本数量的比例相同；
[0125] S14：将训练集中的特征向量组织成矩阵的形式，得到特征矩阵。
[0126] 本实施例中，定义样本总数为P个，类别总数为C个，特征种类为D种，即将P个样本划分为C种类别，并对每个样本提取D种不同的特征，从而得到D种维度不同的特征向量。图3是对特征向量重新组织后建立的特征矩阵的示意图，其中Xd表示训练样本第d种特征的所有特征矩阵组成的集合，总共包含C个特征矩阵，md为第d种特征的维度。每个特征矩阵包含1种类别的样本，例如， 表示第1种类别中所有样本特征向量组成的特征矩阵。特征矩阵每一列为一个样本特征向量，例如， 表示第p1个样本的特征向量。
[0127] S2，进行非负特征分解；利用基于投影梯度法的非负矩阵分解算法，对步骤S1的特征矩阵进行非负特征分解，得到基础特征和特征融合因子。
[0128] 建立特征矩阵之后，步骤S2所述非负特征分解主要使用基于梯度投影法的非负矩阵分解方法进行处理，其过程示意图如图4所示，r表示预期得到的基础特征的数量，是预先设置的参数，j表示第j种类别，j∈[1，C]，i表示该类别第i个样本，i∈[1，pj]，pj表示第j类中样本的数量，且有 对于第d种特征第j种类别的特征矩阵 得到对应的基础特征矩阵和融合系数矩阵，用如下公式表示，
[0129]
[0130] 其中 为基础特征矩阵，Wjd为融合系数矩阵。基于梯度投影法的非负矩阵分解方法将矩阵分解问题转化为约束问题，通过求解两个非负最小二乘子问题交替更新两个目标矩阵 和Wjd，处理步骤包括：
[0131] 定义目标函数如下
[0132]
[0133] 其中V是自变量，Z和U是已知量， 表示F范数的平方。(式1)
[0134] 定义约束优化问题如下，
[0135] min f(V)
[0136]
[0137] 其中a，b表示矩阵元素的索引，Va，b表示矩阵V中第a行第b列的(式2)元素。
[0138] 步骤1)随机初始化 和Wjd的值 和 设定最大迭代次数Maxiter和最长迭代时间Maxtime，用 和 分别表示第k次迭代计算后得到的 和Wjd，而令
和
[0139] 步骤2)使用如下公式更新目标矩阵
[0140]
[0141] 其中上角标T表示矩阵的转置，下同；
[0142] 步骤3)使用如下公式更新目标矩阵Wjd，
[0143]
[0144] 步骤4)累计当前迭代次数和当前迭代时间，判断是否满足停止条件。若停止条件满足则迭代过程结束，输出目标矩阵 和Wjd；若停止条件不满足则返回步骤2)；这里的停止条件是指当前迭代次数达到Maxiter，或者迭代时间达到Maxtime。
[0145] 目标矩阵 和Wjd均通过求解约束优化问题(2)进行更新，在更新 时，令(1)式中的 且 得到 而更新Wjd时，需要令式1中的且 得到 式2的求解过程如下：
[0146] 步骤a)设定参数β＝0.1和参数σ＝0.01，设定更新步长γ(0)＝1，令γ(l)＝γ(l-1)；
[0147] 步骤b)使用如下公式计算梯度
[0148] GV＝UTUV-UZ；
[0149] 步骤c)使用如下公式计算参数γ的更新条件，
[0150] Z′＝max(0，Z-γ(l)GV)，
[0151] δZ＝Z′-Z，
[0152]
[0153] 其中＜*，*＞表示向量内积，如果更新条件Cγ＜0，那么令γ(l+1)＝γ(l)/β并重新计算Cγ，直到Cγ≥0停止计算；如果更新条件Cγ≥0，那么令γ(l+1)＝γ(l)β并重新计算Cγ，直到Cγ＜0停止计算。取最后一个满足Cγ＜0的γ(l+1)进入步骤d)；
[0154] 步骤d)通过如下公式计算梯度投影，并更新V，
[0155] V：＝Fproj[V-γ(l+1)GV]，
[0156] 其中Fproj[*]为投影函数，定义如下，
[0157] Fproj[Y]＝max(0，Y)，
[0158] 其中Y表示自变量，max(0，Y)表示取0和Y中较大的值。
[0159] S3，融合特征重建；采用随机索引法对步骤S2得到的基础特征进行融合，得到数据样本的每类样本每种特征的融合特征，实现非负单特征融合；所述步骤S3的具体步骤为，[0160] S31：设定每类样本每种特征期望重建的融合特征的数量；
[0161] S32：随机产生一个融合特征重建索引；
[0162] S33：根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起，得到一个融合特征；
[0163] S34：对每类样本的每种特征依次重复步骤S32和S33，直到重建的融合特征数量达到目标数量后结束。
[0164] 具体为，得到基础特征和特征融合因子之后，步骤S3所述的融合特征重建使用随机索引法来完成，其过程示意图如图5所示，对每种特征每个类别，按照预先设定的数量N，计算得到N个融合特征。随机索引法的计算过程分为两步，第一步为产生随机索引，第二步为计算融合特征，依次用如下公式表示，
[0165]
[0166]
[0167] 其中Rp∈[1，pj]是整数值表示随机索引，由函数 根据Wjd的维度随机生成， 表示基础特征矩阵 的第b列， 表示特征融合因子矩阵Wjd的第a行第Rp列，表示第j类样本的第n个融合单特征。
[0168] 本实施例所述的非负融合特征可以使用三阶张量进行表示， 融合特征中的每个元素值均为大于等于0的实数，其结构如图6所示。
[0169] S4：分别使用每种特征的所有融合特征，建立基于正规化F范数误差的非负融合单特征分类器，具体为：
[0170] 在融合单特征的基础上，可以建立基于正规化F范数误差的非负融合单特征分类器，该分类器使用第d种融合特征建立，用如下公式表示，
[0171]
[0172] 总共可以建立D个非负融合单特征分类器，其中y表示一个待分类的测试样本，表示测试样本第d种特征向量的第a维度的值， 表示融合特征 的第a维度的值，md表示特征的维度，j表示类别标签。
[0173] S5：融合特征提升，使用融合特征Boosting算法对融合特征进行提升，得到融合单特征提升权重矩阵和融合多特征提升权重矩阵；
[0174] S51：根据预先设定的Boosting样本比重因子，确定参与Boosting算法的训练样本数量，并初始化融合单特征提升权重矩阵和融合多特征提升权重矩阵；所述的融合单特征提升权重矩阵的行数为样本类别数、列数为融合特征数，融合多特征提升权重矩阵行数为样本类别数、列数为特征种类数。
[0175] S52：随机从训练集中选择图像样本，直到选择的样本数量达到目标数量；
[0176] S53：输入一个样本，使用多种特征提取方法得到多种非负特征；
[0177] S54：对每种特征使用对应的融合特征计算正规化F范数误差，得到分类结果；
[0178] S55：根据分类结果使用基于分类误差的权重更新公式对融合单特征提升权重矩阵进行更新，实现融合单特征的提升；
[0179] S56：根据分类结果使用权重更新公式对融合多特征提升权重矩阵进行更新，实现非负多特征的融合。
[0180] 步骤S5所述对融合特征进行提升，其处理过程如图7所示，依次是，首先，确定参与提升算法的测试样本数量；然后，对训练样本进行随机排序，打乱样本顺序，依次读入样本使用融合特征Boosting算法更新融合特征权重；最后，得到最终的提升权重矩阵。
[0181] 融合特征Boosting算法的主要思想是使用提升权重矩阵来度量融合特征对分类决策结果的重要性，根据分类器的分类误差计算更新值，通过迭代方法不断更新提升权重矩阵，提升权重矩阵包括融合单特征提升权重矩阵(用Θ表示)和融合多特征提升权重矩阵(用α表示)。其主要步骤包括：
[0182] 步骤I)初始化融合单特征提升权重矩阵Θ和融合多特征提升权重矩阵α，矩阵每个元素初始值分别为 和
[0183] 步骤II)输入一个测试样本y，使用融合单特征分类器对样本进行分类，记录分类结果，定义指示器函数I(y)；
[0184]
[0185] 其中， ω表示测试样本y的真实类别标签；
[0186] 步骤III)通过如下公式统计分类结果，其中Terr表示累计分类误差
[0187]
[0188] 然后按照如下公式计算对数相对误差，用∈err表示
[0189]
[0190] 步骤IV)使用如下权重更新公式，对融合单特征提升权重矩阵进行更新，[0191]
[0192] 其中 为指示器函数，定义如下，
[0193]
[0194] 步骤V)使用如下权重更新公式，对融合多特征提升权重矩阵进行更新，[0195]
[0196] 步骤VI)判断停止条件，若满足则结束，不满足的返回步骤2)，本实施例停止条件设置为不重复的使用所有测试样本完成一次迭代计算。
[0197] S6：基于提升权重矩阵，建立基于正规化F范数误差的非负融合多特征分类器。基于融合特征提升可以增强融合特征的分类性能，从而建立非负融合多特征分类器，用如下公式表示，
[0198]
[0199] 表示使用D种不同的特征建立非负融合多特征分类器。该分类器可以解决模式分类问题，即以待分类的测试样本作为输入，分类器可以输出分类结果。
[0200] 本实施例所述的非负融合单特征分类器和非负融合多特征分类器均可用于具体的模式分类问题，其中后者综合使用了多种特征，能够弥补单特征存在的缺陷，对绝大多数模式类别具有更高的分类准确率。
[0201] 实施例3：
[0202] 为更好阐述本发明内容，下面将结合另一实施例及说明书附图进行详细说明，本实施例通过将实施例1中的非负特征融合方法应用于模式分类的方法，特别是具体应用在场景图像的模式进行分类的方法，用于解决多种图像特征的融合问题，进而解决场景图像分类的技术问题。
[0203] 具体的，本实施例的基于非负特征融合的场景图像分类方法的处理流程如图2，其具体实施过程如图8所示，共分为6个主要步骤，包括：
[0204] S1，采集数据样本，建立特征矩阵；
[0205] S2，进行非负特征分解；利用基于投影梯度法的非负矩阵分解算法，对步骤S1的特征矩阵进行非负特征分解，得到基础特征和特征融合因子；
[0206] S3，融合特征重建；采用随机索引法对步骤S2得到的基础特征进行融合，得到数据样本的每类样本每种特征的融合特征，实现非负单特征融合；
[0207] S4：分别使用每种特征的所有融合特征，建立基于正规化F范数误差的非负融合单特征分类器；
[0208] S5：融合特征提升，使用融合特征Boosting算法对融合特征进行提升，得到融合单特征提升权重矩阵和融合多特征提升权重矩阵；
[0209] S6：基于提升权重矩阵，建立基于正规化F范数误差的非负融合多特征分类器。
[0210] S1，采集数据样本，建立特征矩阵；所述步骤S1中采集数据样本在本实施例中特指采集场景图像的数据样本，并且需要定义场景图像类别名称，建立多类别场景图像数据集，作为原始图像样本。本实施例中的场景是指人可以活动的真实环境，也包括可以与人产生交互的其他客观实物，对场景采集的图像称为场景图像。因此，场景图像是指一种通过图像采集设备采集由客观实物和真实环境组成的图像，客观实物包括人、其他生物、自然物体和人造物体等，真实环境包括自然环境和人造环境，通常将客观实物视为图像前景，真实环境视为图像背景，场景图像至少应该包含所谓的背景，不一定包含所谓的前景；本实施例所述的图像前景和图像背景没有明确的划分界限，而是根据图像采集时相对的前后位置确定。
[0211] S1，采集数据样本，建立特征矩阵；所述步骤S1中特征矩阵的建立具体步骤为，[0212] S11：定义每个采集的数据样本的类别名称，为每个数据样本标记一个类别；
[0213] S12：每个类别的数据样本为一组，使用多种特征提取方法处理每个数据样本，得到原始数据样本的多种非负特征向量；
[0214] S13：将特征向量划分为训练集和测试集；训练集和测试集划分应该保持原始数据样本的分布一致，即在训练集和测试集中各类别包含样本数量的比例相同；
[0215] S14：将训练集中的特征向量组织成矩阵的形式，得到特征矩阵。
[0216] S12所述得到原始数据样本的多种非负特征向量，本实施例针对场景图像的样本处理，其具体处理步骤为，
[0217] 第1步：对场景图像进行归范化处理，得到分辨率一致且高和宽相等的图像，本实施例中将其处理为高256像素、宽256像素的图像；
[0218] 第2步：选定多种图像特征的提取算法，建立特征提取算法池；
[0219] 第3步：对于每个类别的每个原始数据样本，依次使用特征提取算法池中的每种算法计算样本特征，得到多种非负特征向量。
[0220] 第2步所述多种图像特征，本实施例中包括颜色特征、HOG特征、GIST特征。颜色特征直接利用原始图像RGB三种颜色通道的信息，HOG特征是梯度直方图(Histogramof Gradient,HOG)特征，GIST特征是对场景图像的空间包络描述，包括自然度、开放度、粗糙度、膨胀度和险峻度等5个方面。第2步所述提取算法即通过计算得到特定一种场景图像特征的方法。
[0221] 第3步所述得到多种非负特征向量，对于HOG特征和GIST特征将分别通过提取算法计算直接得到样本非负特征向量，对于颜色特征则是将图像缩小为高128像素、宽128像素后分别存储RGB三种颜色通道的单通道像素值矩阵，后将每个单通道像素值矩阵直接转换为列向量的形式，作为颜色特征的非负特征向量。
[0222] 所述S12得到多种非负特征向量及S14得到特征矩阵的过程如图8左侧部分所示，各种图像特征的非负特征向量维度不同，对应建立特征矩阵的维度也不同。
[0223] 本实施例中，定义样本总数为P个，类别总数为C个，特征种类为D种，即将P个样本划分为C种类别，并对每个样本提取D种不同的特征，从而得到D种维度不同的特征向量。图3d是对特征向量重新组织后建立的特征矩阵的示意图，其中X表示训练样本第d种特征的所有特征矩阵组成的集合，总共包含C个特征矩阵，md为第d种特征的维度。每个特征矩阵包含
1种类别的样本，例如， 表示第1种类别中所有样本特征向量组成的特征矩阵。特征矩阵每一列为一个样本特征向量，例如， 表示第p1个样本的特征向量。
[0224] S2，进行非负特征分解；利用基于投影梯度法的非负矩阵分解算法，对步骤S1的特征矩阵进行非负特征分解，得到基础特征和特征融合因子。
[0225] 建立特征矩阵之后，步骤S2所述非负特征分解主要使用基于梯度投影法的非负矩阵分解方法进行处理，其过程示意图如图4所示，r表示预期得到的基础特征的数量，是预先设置的参数，j表示第j种类别，j∈[1，C]，i表示该类别第i个样本，i∈[1，pj]，pj表示第j类中样本的数量，且有 对于第d种特征第j种类别的特征矩阵 得到对应的基础特征矩阵和融合系数矩阵，用如下公式表示，
[0226]
[0227] 其中 为基础特征矩阵，Wjd为融合系数矩阵。基于梯度投影法的非负矩阵分解方法将矩阵分解问题转化为约束问题，通过求解两个非负最小二乘子问题交替更新两个目标矩阵 和Wjd，处理步骤包括：
[0228] 定义目标函数如下
[0229]
[0230] 其中V是自变量，Z和U是已知量， 表示F范数的平方。(式1)
[0231] 定义约束优化问题如下，
[0232] min f(V)
[0233]
[0234] 其中a，b表示矩阵元素的索引，Va，b表示矩阵V中第a行第b列的元素。
[0235] 步骤1)随机初始化 和Wjd的值 和 设定最大迭代次数Maxiter和最长迭代时间Maxtime，用 和 分别表示第k次迭代计算后得到的 和Wjd，而令
和
[0236] 步骤2)使用如下公式更新目标矩阵
[0237]
[0238] 其中上角标T表示矩阵的转置，下同；
[0239] 步骤3)使用如下公式更新目标矩阵Wjd，
[0240]
[0241] 步骤4)累计当前迭代次数和当前迭代时间，判断是否满足停止条件。若停止条件满足则迭代过程结束，输出目标矩阵 和Wjd；若停止条件不满足则返回步骤2)；这里的停止条件是指当前迭代次数达到Maxiter，或者迭代时间达到Maxtime。
[0242] 目标矩阵 和Wjd均通过求解约束优化问题(2)进行更新，在更新 时，令(1)式中的 且 得到 而更新Wjd时，需要令式1中的且 得到 式2的求解过程如下：
[0243] 步骤a)设定参数β＝0.1和参数σ＝0.01，设定更新步长γ(0)＝1，令γ(l)＝γ(l-1)；
[0244] 步骤b)使用如下公式计算梯度
[0245] GV＝UTUV-UZ；
[0246] 步骤c)使用如下公式计算参数γ的更新条件，
[0247] Z′＝max(0，Z-γ(l)GV)，
[0248] δZ＝Z′-Z，
[0249]
[0250] 其中＜*，*＞表示向量内积，如果更新条件Cγ＜0，那么令γ(l+1)＝γ(l)/β并重新计算Cγ，直到Cγ≥0停止计算；如果更新条件Cγ≥0，那么令γ(l+1)＝γ(l)β并重新计算Cγ，直到Cγ＜0停止计算。取最后一个满足Cγ＜0的γ(l+1)进入步骤d)；
[0251] 步骤d)通过如下公式计算梯度投影，并更新V，
[0252] V：＝Fproj[V-γ(l+1)GV]，
[0253] 其中Fproj[*]为投影函数，定义如下，
[0254] Fproj[Y]＝max(0，Y)，
[0255] 其中Y表示自变量，max(0，Y)表示取0和Y中较大的值。
[0256] S3，融合特征重建；采用随机索引法对步骤S2得到的基础特征进行融合，得到数据样本的每类样本每种特征的融合特征，实现非负单特征融合；所述步骤S3的具体步骤为，[0257] S31：设定每类样本每种特征期望重建的融合特征的数量；
[0258] S32：随机产生一个融合特征重建索引；
[0259] S33：根据重建索引选择特征融合因子与对应的基础特征相乘并将结果累加在一起，得到一个融合特征；
[0260] S34：对每类样本的每种特征依次重复步骤S32和S33，直到重建的融合特征数量达到目标数量后结束。
[0261] 具体为，得到基础特征和特征融合因子之后，步骤S3所述的融合特征重建使用随机索引法来完成，其过程示意图如图5所示，对每种特征每个类别，按照预先设定的数量N，计算得到N个融合特征。随机索引法的计算过程分为两步，第一步为产生随机索引，第二步为计算融合特征，依次用如下公式表示，
[0262]
[0263]
[0264] 其中Rp∈[1，pj]是整数值表示随机索引，由函数 根据Wjd的维度随机生成， 表示基础特征矩阵 的第b列， 表示特征融合因子矩阵Wjd的第a行第Rp列，表示第j类样本的第n个融合单特征。
[0265] 本实施例所述的非负融合特征可以使用三阶张量进行表示， 融合特征中的每个元素值均为大于等于0的实数，其结构如图6所示。
[0266] S4：分别使用每种特征的所有融合特征，建立基于正规化F范数误差的非负融合单特征分类器，具体为：
[0267] 在融合单特征的基础上，可以建立基于正规化F范数误差的非负融合单特征分类器，该分类器使用第d种融合特征建立，用如下公式表示，
[0268]
[0269] 总共可以建立D个非负融合单特征分类器，其中y表示一个待分类的测试样本，表示测试样本第d种特征向量的第a维度的值， 表示融合特征 的第a维度的值，md表示特征的维度，j表示类别标签。
[0270] S5：融合特征提升，使用融合特征Boosting算法对融合特征进行提升，得到融合单特征提升权重矩阵和融合多特征提升权重矩阵；
[0271] S51：根据预先设定的Boosting样本比重因子，确定参与Boosting算法的训练样本数量，并初始化融合单特征提升权重矩阵和融合多特征提升权重矩阵；所述的融合单特征提升权重矩阵的行数为样本类别数、列数为融合特征数，融合多特征提升权重矩阵行数为样本类别数、列数为特征种类数。
[0272] S52：随机从训练集中选择图像样本，直到选择的样本数量达到目标数量；
[0273] S53：输入一个样本，使用多种特征提取方法得到多种非负特征；
[0274] S54：对每种特征使用对应的融合特征计算正规化F范数误差，得到分类结果；
[0275] S55：根据分类结果使用基于分类误差的权重更新公式对融合单特征提升权重矩阵进行更新，实现融合单特征的提升；
[0276] S56：根据分类结果使用权重更新公式对融合多特征提升权重矩阵进行更新，实现非负多特征的融合。
[0277] 步骤S5所述对融合特征进行提升，其处理过程如图7所示，依次是，首先，确定参与提升算法的测试样本数量；然后，对训练样本进行随机排序，打乱样本顺序，依次读入样本使用融合特征Boosting算法更新融合特征权重；最后，得到最终的提升权重矩阵。
[0278] 融合特征Boosting算法的主要思想是使用提升权重矩阵来度量融合特征对分类决策结果的重要性，根据分类器的分类误差计算更新值，通过迭代方法不断更新提升权重矩阵，提升权重矩阵包括融合单特征提升权重矩阵(用Θ表示)和融合多特征提升权重矩阵(用α表示)。其主要步骤包括：
[0279] 步骤I)初始化融合单特征提升权重矩阵Θ和融合多特征提升权重矩阵α，矩阵每个元素初始值分别为 和
[0280] 步骤II)输入一个测试样本y，使用融合单特征分类器对样本进行分类，记录分类结果，定义指示器函数I(y)；
[0281]
[0282] 其中， ω表示测试样本y的真实类别标签；
[0283] 步骤III)通过如下公式统计分类结果，其中Terr表示累计分类误差
[0284]
[0285] 然后按照如下公式计算对数相对误差，用∈err表示
[0286]
[0287] 步骤IV)使用如下权重更新公式，对融合单特征提升权重矩阵进行更新，[0288]
[0289] 其中 为指示器函数，定义如下，
[0290]
[0291] 步骤V)使用如下权重更新公式，对融合多特征提升权重矩阵进行更新，[0292]
[0293] 步骤VI)判断停止条件，若满足则结束，不满足的返回步骤2)，本实施例停止条件设置为不重复的使用所有测试样本完成一次迭代计算。
[0294] S6：基于提升权重矩阵，建立基于正规化F范数误差的非负融合多特征分类器。基于融合特征提升可以增强融合特征的分类性能，从而建立非负融合多特征分类器，用如下公式表示，
[0295]
[0296] 表示使用D种不同的特征建立非负融合多特征分类器。该分类器可以解决场景图像分类问题，即以待分类的测试样本作为输入，分类器可以输出分类结果。
[0297] 本实施例所述步骤S2、S3、S4、S5和S6应用于场景图像分类的处理过程如图8右侧部分所示，非负特征融合方法依次进行非负特征分解、融合特征重建得到融合特征，再经过融合特征提升，建立非负融合单特征分类器和非负融合多特征分类器。对场景图像的分类过程如图8下侧部分所示，对测试样本提取特征后，将测试样本的特征向量输入到非负融合特征分类器中，由分类器输出分类结果，用ωj表示。
[0298] 本实施例所述的非负融合单特征分类器和非负融合多特征分类器均可用于具体的场景图像分类问题，其中后者综合使用了多种场景图像特征，能够弥补单特征存在的缺陷，对绝大多数场景图像类别具有更高的分类准确率。
[0299] 本发明虽然以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以做出可能的变动和修改，因此本发明的保护范围应当以本发明权利要求所界定的范围为准。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
