首页 / 分类模型训练、图像分类方法和装置

分类模型训练、图像分类方法和装置实质审查 发明

技术领域

[0001] 本申请涉及计算机技术领域,具体涉及图像处理技术领域,尤其涉及一种分类模型训练、图像分类方法和装置。

相关背景技术

[0002] 基于深度神经网络的技术都需要大量的标签数据,数据量越多网络的拟合效果就越好,泛化能力也越强。当数据量不足的时候,网络多半会陷入过拟合的问题,即在训练集上拟合效果很好,但在测试集上的效果非常差。所以这就引出了一个问题,如何在缺少足够多的标签样本条件下,使得深度神经网络的拟合效果依然足够好。该类问题被称为小样本学习问题。
[0003] 小样本学习的主要思路是使设计的网络具有较强的适应性和迁移性,能够有效学习并且快速适应各种不同的学习任务,且仅需少量样本即可完成。目前主流的方法有数据增强、元学习、度量学习等等。
[0004] 但是,当前的小样本学习的网络结构的特征处理能力不足,基础分类准确性较差。

具体实施方式

[0021] 以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
[0022] 需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
[0023] 图1示出了可以应用本申请的分类模型训练方法的实施例的示例性系统架构100。
[0024] 如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
[0025] 终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如,图像分类类应用、通讯类应用等。
[0026] 终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是具有显示屏的各种电子设备,包括但不限于手机和笔记本电脑。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分类模型训练的服务),也可以实现成单个软件或软件模块。在此不做具体限定。
[0027] 服务器105可以是提供各种服务的服务器,例如,获取样本集,并在样本集中确定出至少一组指定集作为训练集;基于待定集中各样本图像的类别及对应的类别标签,构建损失函数;基于损失函数对初始分类模型进行训练,得到分类模型。
[0028] 需要说明的是,服务器105可以是硬件,也可以是软件。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器为软件时,可以实现成多个软件或软件模块(例如用来提供训练模型的服务),也可以实现成单个软件或软件模块。在此不做具体限定。
[0029] 需要指出的是,本公开的实施例所提供的分类模型训练方法可以由服务器105执行,也可以由终端设备101、102、103执行,还可以由服务器105和终端设备101、102、103彼此配合执行。相应地,分类模型训练的装置包括的各个部分(例如各个单元、子单元、模块、子模块)可以全部设置于服务器105中,也可以全部设置于终端设备101、102、103中,还可以分别设置于服务器105和终端设备101、102、103中。
[0030] 应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
[0031] 图2示出了可以应用于本申请的分类模型训练方法的实施例的流程示意图200。在本实施例中,分类模型训练方法包括以下步骤:
[0032] 步骤201,获取样本集,并在样本集中确定出至少一组指定集作为训练集。
[0033] 在本实施例中,执行主体(如图1中所示的服务器105或终端设备101、102、103)可以从本地或远端的存储有样本集的服务器获取样本集,并在样本集中确定出一组或多组指定集作为训练集。指定集可由样本集中随机选取的多种类别的样本图像组成,每一类别存在多个样本图像,各指定集对应的样本图像的类别通常完全不同。
[0034] 其中,样本集包括多个标注有类别标签的样本图像,指定集由支持集和待定集组成,其中,支持集,即支撑集,也即Support set,为小样本学习中用于学习初始化参数的样本图像;待定集,即查询集,也即Query set,为小样本学习中用来增加初始化参数的泛化性的样本图像。
[0035] 支持集、待定集所包括的样本图像的类别与指定集所包含的样本图像的类别相同。
[0036] 这里,支持集中各类别的样本数可以相同,也可以不同,待定集中各类别的样本数可以相同,也可以不同,例如,支持集中各类别的样本数均为5,待定集中各类别的样本数均为3。
[0037] 具体地,执行主体可以首先将样本集中的所有样本图像统一裁剪为大小的RGB三色道图像,进一步地,按照episode的训练方式,将样本集中样本图像组合为支持集和待定集的形式。以Nway,Kshot为例,一个episode包含了一组指定集,即支持集和待定集,两个集合内均包含相同的N种类别,N种类别从训练样本集中随机挑选。类别挑选完成后,再从每个类别内随机挑选出K张样本图像放入支持集,并从除去这K张样本图像的其余样本图像中挑选出Q张样本图像放入待定集。最终得到支持集大小为N*K,待定集大小为N*Q。
[0038] 进一步地,还可对支持集和待定集进行归一化处理,即减去均值再除以标准差。最终得到支持集的张量尺寸为(N*K,3,84,84),待定集的张量尺寸为(N*Q,3,84,84)。其中,第一个维度代表样本数量,第二个维度代表图像通道数,第三和第四维度代表样本图像的宽和高
[0039] 步骤202,基于待定集中各样本图像的类别及对应的类别标签,构建损失函数。
[0040] 在本实施例中,初始分类模型可以包括:卷积神经网络、特征整合网络和关系网络,执行主体可首先将一组指定集中支持集和待定集分别输入卷积神经网络,得到第一特征图和第二特征图。
[0041] 这里,卷积神经网络可以包括多个卷积块,每个卷积块对应一个卷积层。
[0042] 进一步地,基于第一特征图和第二特征图进行拼接,得到拼接特征图。
[0043] 这里,在拼接之前,执行主体可首先判断第一特征图和第二特征图的特征图尺寸是否匹配,若匹配,则直接将第一特征图和第二特征图进行拼接;若不匹配,则对第一特征图和/或第二特征图进行特征图尺寸的调整以使调整后的第一特征图与第二特征图的特征图尺寸相匹配,并对特征尺寸相匹配的第一特征图和第二特征图进行拼接。
[0044] 具体地,第一特征图fS,1的特征图尺寸为fS,1:(N,64,19,19),第二特征图fQ的特征图尺寸为fQ:(N·Q,64,19,19),由于第一特征图与第二特征图的特征图尺寸不匹配,对第一特征图进行尺寸变换和张量广播操作:
[0045]
[0046] 再将特征尺寸调整后的第一特征图与第二特征图沿第二维度,即图像通道数维度,拼接起来,得到拼接特征图fcat1,具体步骤为:
[0047] cat1([fS,1,fQ],dim=2)=fcat1:(N·Q,64·(N+1),19,19)
[0048] 进一步地,将拼接特征图输入到特征整合网络,得到特征掩膜,例如,将fcat1输入到特征整合网络,得到特征掩膜fM:(N·Q,64,9,9)。
[0049] 其中,特征掩膜用于表征类间特征。
[0050] 这里,在得到特征掩膜后,还可对特征掩膜沿第二维度,即图像通道数,进行softmax归一化,得到新的特征掩膜。特征掩膜在沿特征图方向的和为1。
[0051] 其中,特征整合网络用于对拼接特征图进行特征整合,特征整合网络可以包括多个卷积块。
[0052] 这里,拼接特征图通过特征整合网络进行处理的过程可以包括:
[0053] 拼接特征图经过第一个卷积块,具体为,通过卷积层,输入特征图数量为64×(|S|+1),其中|S|为支持集内的类别数量,此处即为N,输出特征图数量为64,卷积核大小为1×1,图像填充为0;进一步地,进行批量归一化;最后经过ReLU激活函数。
[0054] 第一个卷积块的输出结果经过第二个卷积块,具体为,通过卷积层,输入特征图数量为64,输出特征图数量为64,卷积核大小为2×2,图像填充为0;进一步地,进行批量归一化;之后经过ReLU激活函数;最后进行最大池化处理,卷积核大小为2×2,步长为2。
[0055] 进一步地,基于特征掩膜、第一特征图和第二特征图,得到目标特征,具体地,若特征掩膜与第一特征图、第二特征图尺寸相匹配,则可以将特征掩膜与第一特征图的乘积结果,特征掩膜与第二特征图的乘积结果进行拼接,得到目标特征图;也可以将特征掩膜与第一特征图与第二特征图拼接结果的乘积,作为目标特征图,本申请对此不作限定。若特征掩膜与第一特征图、第二特征图尺寸不匹配,则可首先对第一特征图、第二特征图进行匹配处理,并基于特征掩膜、匹配处理后的特征图,得到目标特征图,其中,匹配处理后的特征图与特征掩膜的特征图尺寸相匹配。
[0056] 进一步地,将目标特征图输入关系网络,得到待定集中各样本图像的类别。
[0057] 这里,执行主体可将目标特征图输入关系网络得到待定集中各样本图像与各类别间的相似度值,对于每一样本图像,将对应相似度值最大的类别,确定为该样本图像的类别。
[0058] 其中,关系网络用于基于输入的目标特征图,输出待定集中各图像样本对应的类别,关系网络可以包括多个卷积块和全连接块。
[0059] 具体地,目标特征图通过关系网络进行处理的过程可以包括:
[0060] 目标特征图经过第一个卷积块,具体为,通过卷积层,输入特征图数量为128,输出特征图数量为64,卷积核大小为3×3,图像填充为0;进行批量归一化;之后经过ReLU激活函数;最后进行最大池化处理,卷积核大小为2×2,步长为2。
[0061] 第一个卷积块的输出结果经过第二个卷积块,具体为,通过卷积层,输入特征图数量为64,输出特征图数量为64,卷积核大小为1×1,图像填充为0;进行批量归一化;最后经过ReLU激活函数。
[0062] 将第二个卷积块的输出展开成一维向量,输入到第一个全连接块,首先进入全连接层,输入特征维度为576,输出特征维度为8;最后经过ReLU激活函数。
[0063] 第一个全连接块的输出经过的第二个全连接块,首先进入全连接层,输入特征维度为8,输出特征维度为1;最后经过sigmoid函数映射到输出。
[0064] 在一些可选的方式中,基于特征掩膜、第一特征图和第二特征图,确定目标特征图,包括:分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图;基于特征掩膜与第三特征图的乘积和特征掩膜与所述第四特征图的乘积进行拼接,得到目标特征图。
[0065] 在本实现方式中,执行主体可分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图,第三特征图和第四特征图与特征掩膜的特征图尺寸相匹配;基于特征掩膜与第三特征图的乘积和特征掩膜与第四特征图的乘积进行拼接,得到目标特征图。
[0066] 其中,执行主体对第一特征图、第二特征图进行匹配处理的方式可以是通过变形、扩展等操作进行匹配,也可以是将第一特征、第二特征分别输入特征匹配网络进行匹配,本申请对此不作限定。
[0067] 这里,执行主体在计算特征掩膜与第三特征图对应位置乘积、特征掩膜与第四特征图对应位置乘积前,可判断特征掩膜与第三特征图、特征掩膜与第四特征图是否可实现对应位置乘积,若无法实现,则可对特征掩膜、第三特征图、第四特征图进行特征尺寸的变形、扩展等操作。
[0068] 具体地,特征掩膜为fM:(N·Q,64,9,9),第三特征图f′S,1:(N,64,9,9)和第四特征图f′Q:(N·Q,64,9,9),由于特征掩膜与第三特征图的特征尺寸不同,对特征掩膜、第三特征图进行尺寸变换,具体如下:
[0069]
[0070]
[0071] 计算尺寸变换后的特征掩膜与尺寸变换后的第三特征图的对应位置乘积,得到第五特征图fS,new,计算特征掩膜与第四特征图的对应位置乘积,得到第六特征图fQ,new,第五特征图和第六特征图的特征图尺寸如下所示:
[0072] fS,new:(N·Q,N,64,9,9)
[0073] fQ,new:(N·Q,64,9,9)
[0074] 进一步地,对第五特征图和第六特征图沿第三维度,即图像通道数维度进行拼接,具体操作如下:
[0075]
[0076] cat2([fS,new,fQ,new],dim=3)=fcat2:(N·Q,N,128,9,9)
[0077]
[0078] 该实现方式通过分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图;基于特征掩膜与第三特征图的乘积和特征掩膜与所述第四特征图的乘积进行拼接,得到目标特征图,提升了确定出的目标特征图的准确性和可靠性。
[0079] 在一些可选的方式中,分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图,包括:分别将第一特征图和第二特征图输入特征匹配网络,得到第三特征图和第四特征图。
[0080] 在本实现方式中,执行主体可将第一特征图输入特征匹配网络,得到第三特征图,将第二特征图输入特征匹配网络,得到第四特征图。
[0081] 其中,特征匹配网络可以包括多个卷积块。
[0082] 具体地,第一特征图fS,1的特征尺寸为fS,1:(N,64,19,19),第二特征图fQ的特征尺寸为fQ:(N·Q,64,19,19),执行主体将第一特征图和第二特征图输入特征匹配网络,得到第三特征图f′S,1:(N,64,9,9)和第四特征图f′Q:(N·Q,64,9,9)。
[0083] 这里,特征匹配网络对第一特征图、第二特征图进行匹配处理的过程可以包括:
[0084] 第一特征图/第二特征图经过第一个卷积块,具体为,通过卷积层,输入特征图数量为64,输出特征图数量为64,卷积核大小为2×2,图像填充为0;进一步地,进行批量归一化;之后经过ReLU激活函数,最后进行最大池化处理,卷积核大小为2×2,步长为2。
[0085] 第一卷积块的输出结果经过第二个卷积块,具体为,通过卷积层,输入特征图数量为64,输出特征图数量为64,卷积核大小为1×1,图像填充为0;进一步地,进行批量归一化;最后经过ReLU激活函数。
[0086] 由于扩展、变形等匹配处理操作多为线性操作,且易造成特征丢失,该方式通过分别将第一特征图和第二特征图输入特征匹配网络,得到第三特征图和第四特征图,在有效避免了特征丢失同时实现了特征的非线性映射,提升了确定出的特征图的准确性和有效性。
[0087] 在一些可选的方式中,卷积神经网络可以包括四个卷积块。
[0088] 在本实现方式中,执行主体将支持集和待定集分别输入卷积神经网络,得到第一特征图和第二特征图。
[0089] 具体地,若支持集的张量尺寸为(N*K,3,84,84),待定集的张量尺寸为(N*Q,3,84,84),执行主体将支持集和待定集分别输入卷积神经网络,得到第一特征图fS和第二特征图fQ
[0090] fS:(N·K,64,19,19)
[0091] fQ:(N·Q,64,19,19)
[0092] 这里,第一特征图或第二特征图通过卷积神经网络进行处理的过程可以包括:
[0093] 支持集或待定集经过第一个卷积块,具体为,通过卷积层,输入特征图数量为3,输出特征图数量为64,卷积核大小为3×3,图像填充为0;进行批量归一化;之后经过ReLU激活函数;最后进行最大池化处理,卷积核大小为2×2,步长为2。
[0094] 第一个卷积块的输出结果经过第二个卷积块,具体为,通过卷积层,输入特征图数量为64,输出特征图数量为64,卷积核大小为3×3,图像填充为0;进行批量归一化;之后经过ReLU激活函数;最后进行最大池化处理,卷积核大小为2×2,步长为2。
[0095] 第二个卷积块的输出结果经过第三个卷积块,具体为,通过卷积层,输入特征图数量为64,输出特征图数量为64,卷积核大小为3×3,图像填充为1;进行批量归一化;之后经过ReLU激活函数。
[0096] 第三个卷积块的输出结果经过第四个卷积块,具体为,通过卷积层,输入特征图数量为64,输出特征图数量为64,卷积核大小为3×3,图像填充为1;进行批量归一化;之后经过ReLU激活函数。
[0097] 由于神经网络的层数越多,对输入特征抽象的层次越深,理解的准确度也相对越深,该方式中通过设置卷积神经网络包括四个卷积块有助于获取样本图像的高维的特征向量,进而提升确定出的样本类别的准确性。
[0098] 在一些可选的方式中,在基于第一特征图和第二特征图进行拼接,得到拼接特征图,以及分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图之前,该方法还包括:响应于确定第一特征图中每个类别的样本数量大于一,对于每类样本,对该类样本的所有样本进行相似度整合,得到新的第一特征图。
[0099] 在本实现方式中,执行主体在基于第一特征图和第二特征图进行拼接,得到拼接特征图,以及分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图之前,可先判断第一特征图中每个类别的样本数量是否大于1,若大于1,则对于每类样本,对该类样本的所有样本进行相似度整合,得到新的第一特征图。
[0100] 其中,对同一类别的多个图像样本进行相似度整合方式可以包括多种,例如,求最大值、求均值等等,本申请对此不作限定。
[0101] 这里,新的特征图的各类别的样本数量小于整合前对应类别的样本数量。
[0102] 具体地,第一特征图fS的特征图尺寸为fS:(N·K,64,19,19),每类别的样本数大于1,对第一特种图进行相似度整合的步骤包括:
[0103] 对第一特征图进行尺寸变更:
[0104]
[0105] 沿第二个维度,即样本图像通道数维度,进行均值操作mean(fS,dim=2),得到fS,mean。其尺寸为:fS,mean:(N,64,19,19)。
[0106] 该实现方式通过在基于第一特征图和第二特征图进行拼接,得到拼接特征图,以及分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图之前,响应于确定第一特征图中每个类别的样本数量大于一,对于每类样本,对该类样本的所有样本进行相似度整合,得到新的第一特征图,在最大限度保留各类别样本特征的条件下,有效降低了计算量。
[0107] 步骤203,基于损失函数,对初始分类模型进行训练,得到分类模型。
[0108] 在本实现方式中,执行主体在确定损失函数后,可根据损失函数和一组或多组指定样本集,对初始分类模型进行训练,得到分类模型。
[0109] 这里,分类模型可以由现有技术或未来发展技术中的神经网络构成,具体地,分类模型可以包括上述卷积神经网络、特征整合网络和关系网络,其中,卷积神经网络的输出为特征整合网络的输入,特征整合网络的输出为关系网络的输入。
[0110] 其中,训练方法可以包括反向传播算法、随机梯度下降算法等,本申请对此不作限定。
[0111] 具体地,损失函数可通过下式表示:
[0112]
[0113] 其中,m和n分别为支持集和待定集内的样本数量,ri,j表示两个样本之间的关系值,1(yi==yj)表示如果i和j两个样本所属类别相同,则该值为1,否则为0。
[0114] 根据计算出的损失值来对整个网络实行反向传播算法。设定初始学习速率为0.001,每50000次迭代学习率减半。使用Adam优化器来更新网络参数。最终损失值趋于收敛,网络训练完成。
[0115] 在一些可选方式中,该方法还包括:在样本集除训练集之外的样本图像中确定出验证集和测试集,基于验证集对分类模型进行更新,得到新的分类模型;基于测试集对新的分类模型进行测试。
[0116] 在本实现方式中,执行主体可在样本集除训练集之外的样本中确定出验证集和测试集,执行主体根据验证集所包括的样本图像对分类模型的超参数进行调整,得到新的分类模型;进一步地,根据测试集所包括的样本图像对新的分类模型进行测试。
[0117] 其中,训练集、验证集和测试集两两之间均不存在共同的样本类别。
[0118] 具体地,将该样本集的图像样本按照类别分成3部分,其中64类作为训练集,16类作为验证集,32类作为测试集。根据验证集所包括的样本图像对分类模型的超参数进行调整,得到新的分类模型;进一步地,根据测试集所包括的样本图像对新的分类模型进行测试。
[0119] 该实现方式通过在样本集除训练集之外的样本图像中确定出验证集和测试集,基于验证集对分类模型进行更新,得到新的分类模型;基于测试集对分类模型进行测试,即通过相对训练集的新类别的验证集和测试集对分类模型进行调整和测试,有助于提升对分类模型进行评估的准确性。
[0120] 继续参见图3,图3是根据本实施例的分类模型训练的方法的一个流程图。
[0121] 在图3的应用场景中,执行主体可以从本地或远端的存储有样本集的服务器获取样本集,并在样本集中确定出至少一组指定集作为训练集,样本集包括多个标注有类别标签的样本图像,指定集由支持集和待定集组成,支持集、待定集所包括的样本图像的类别与指定集所包含的样本图像的类别相同,支持集、待定集中各类别的样本数相同。进一步地,执行主体可首先将待定集对应的指定集中的支持集和待定集分别输入卷积神经网络,得到第一特征图和第二特征图,判断第一特征图中每一类别的样本数量是否大于1,若不大于1,则直接将第一特征图和第二特征图进行拼接,得到拼接特征图,以及将第一特征图和第二特征图分别输入特征匹配网络,得到第三特征图和第四特征图;若大于1(例如,每类别的样本数均为8),则对第一特征图中各类别样本进行相似度整合,得到新的第一特征图,将新的第一特征图与第二特征图进行拼接,得到拼接特征图,以及将新的第一特征图和第二特征图分别输入特征匹配网络,得到第三特征图和第四特征图。进一步地,将拼接特征图输入特征整合网络,得到特征掩膜,对特征掩膜进行归一化处理,并分别计算归一化后特征掩膜与第三特征图、第四特征图的乘积,得到第五特征图和第六特征图,将第五特征图和第六特征图进行拼接,得到目标特征图,将目标特征图输入关系网络,得到待定集中各样本图像的类别,基于待定集中各样本图像的类别及对应的类别标签,构建损失函数,基于损失函数对初始分类模型进行训练,得到分类模型。
[0122] 本公开的分类模型训练的方法,通过获取样本集,并在样本集中确定出至少一组指定集作为训练集;基于待定集中各样本图像的类别及对应的类别标签,构建损失函数;基于损失函数对初始分类模型进行训练,得到分类模型,有效提升了训练得到的分类模型处理特征的效率和分类准确率。
[0123] 继续参考图4,示出了根据本申请的图像分类方法的一个实施例的流程400。该图像分类方法,包括以下步骤:
[0124] 步骤401,获取待分类图像。
[0125] 在本实施例中,执行主体可通过有线或无线连接方式获取待分类图像。
[0126] 其中,无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
[0127] 步骤402,将待分类图像输入分类模型,得到分类结果。
[0128] 在本实施例中,执行主体在获取到待分类图像后,可将待分类图像输入分类模型,以得到分类结果。其中,分类模型是如图2对应的实施例描述的方法得到的分类模型,这里不再赘述。
[0129] 具体地,执行主体可采用有线或无线地方式获取待分类图像,例如,包含动物A的图像,将待分类图像输入待分类模型,得到待分类图像的图像类别,即动物A。
[0130] 本公开实施例提供的图像分类方法,通过获取待分类图像,将待分类图像输入分类模型,得到分类结果,其中,分类模型是如图2实施例描述的方法得到的分类模型,即基于小样本训练得到的模型,分类模型可自动生成特征掩膜(特征掩膜可覆盖整体的样本数据分布,并以此来控制不同维度的特征表达),并以此来筛选出最适合分类的图像特征,进而提高了模型处理特征的效率和分类的准确率。
[0131] 进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种分类模型训练装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
[0132] 如图5所示,本实施例的分类模型训练装置500包括:确定模块501、构建模块502和训练模块503。
[0133] 其中,确定模块501,可被配置成获取样本集,并在样本集中确定出至少一组指定集作为训练集。
[0134] 构建模块502,可被配置成基于待定集中各样本图像的类别及对应的类别标签,构建损失函数。
[0135] 训练模块503,可被配置成基于损失函数对初始分类模型进行训练,得到分类模型。
[0136] 在本实施例的一些可选的方式中,基于所述特征掩膜、所述第一特征图和所述第二特征图,得到目标特征图,包括:分别对第一特征图和第二特征图进行匹配处理,得到第三特征图和第四特征图;基于特征掩膜与第三特征图的乘积和特征掩膜与第四特征图的乘积进行拼接,得到目标特征图。
[0137] 在本实施例的一些可选的方式中,分别对所述第一特征图和所述第二特征图进行匹配处理,得到第三特征图和第四特征图,包括:分别将所述第一特征图和所述第二特征图输入特征匹配网络,得到第三特征图和第四特征图。
[0138] 在本实施例的一些可选的方式中,在基于第一特征图和第二特征图进行拼接,得到拼接特征图之前,该方法还包括:
[0139] 响应于确定第一特征图中每个类别的样本数量大于一,对于每类样本,对该类样本的所有样本进行相似度整合,得到新的第一特征图。
[0140] 在本实施例的一些可选的方式中,该装置还包括:测试模块,测试模块被配置成在样本集除训练集之外的样本图像中确定出验证集和测试集,基于验证集对分类模型进行更新,得到新的分类模型;基于测试集对所述新的分类模型进行测试。
[0141] 在本实施例的一些可选的方式中,卷积神经网络可以包括四个卷积块。
[0142] 进一步参考图6,作为对上述各图所示方法的实现,本公开提供了一种图像分类装置的一个实施例,该装置实施例与图4所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
[0143] 如图6所示,本实施例的图像分类装置600包括:获得模块601和分类模块602。
[0144] 其中,获得模块601,可被配置成获取待分类图像。
[0145] 分类模块602,可被配置成将待分类图像输入分类模型,得到分类结果。
[0146] 需要说明的是,本公开的技术方案中,所涉及的用户个人信息的采集、收集、更新、分析、处理、使用、传输、存储等方面,均符合相关法律法规的规定,被用于合法的用途,且不违背公序良俗。对用户个人信息采取必要措施,防止对用户个人信息数据的非法访问,维护用户个人信息安全、网络安全和国家安全。
[0147] 根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
[0148] 如图7所示,是根据本申请实施例的分类模型训练的方法的电子设备的框图。
[0149] 700是根据本申请实施例的分类模型训练的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
[0150] 如图7所示,该电子设备包括:一个或多个处理器701、存储器702,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。
[0151] 存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的分类模型训练的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的分类模型训练的方法。
[0152] 存储器702作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的分类模型训练的方法对应的程序指令/模块(例如,附图5所示的获取模块501、改进模块502、确定模块503和训练模块504)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的分类模型训练的方法。
[0153] 存储器702可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储分类模型训练的的电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器702可选包括相对于处理器701远程设置的存储器,这些远程存储器可以通过网络连接至分类模型训练的的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0154] 分类模型训练的方法的电子设备还可以包括:输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接,图7中以通过总线连接为例。
[0155] 输入装置703可接收输入的数字或字符信息,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
[0156] 此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0157] 这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
[0158] 为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0159] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
[0160] 计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。
[0161] 根据本申请实施例的技术方案,有效提升了训练得到的分类模型处理特征的效率和分类准确率。
[0162] 应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
[0163] 上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

当前第1页 第1页 第2页 第3页