技术领域
[0001] 本说明书实施例涉及计算机技术领域，特别涉及一种图像识别方法。
相关背景技术
[0002] 随着图像识别技术的不断发展和应用，通过图像识别技术能够准确地对特定类别的对象进行识别，从而为人们的日常生活提供便利。而现有技术中的图像识别技术大多通过神经网络模型实现，但是神经网络模型为了适应不断增加新类别对象，也需要不断的进行学习训练，从而对新类型对象进行识别。但是在模型不断学习训练的过程中，随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降，从而导致模型的图像识别能力降低，图像识别结果不准确等问题。
具体实施方式
[0043] 在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0044] 在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0045] 应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0046] 首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0047] 预训练模型：在具有代表性的数据集上进行大规模训练、调优后产出的模型。通常用于作为其他下游任务训练时候的初始化模型，以加快训练速度或获得更好的效果。
[0048] 基础模型(Foundation Model)：预训练模型的一种类型。在不同领域中，通过大量数据、强大的算力、精心设计的结构而训练出来的模型，可以适应一系列下游任务。
[0049] Transformer:一种网络架构，通常由若干层编码器和解码器组成。
[0050] Vision Transformer:一种网络架构，是Transformer架构在视觉领域上的迁移应用。
[0051] Transformer Block：一个Transformer的子模块，通常由多头注意力和前馈网络组成。
[0052] 多头注意力(Multi‑head Attention,MHA)：一个Transformer中的子模块，通常是将查询(Query)、键(Key)、值(Value)进行相关向量计算的模块。
[0053] 终身学习：一种高级的机器学习范式，要求模型从接连到来的学习任务中学习新的知识，同时不遗忘旧的知识。
[0054] 类增量学习：终身学习的一种特殊形式，即假设不同任务中所包含的类别不同。
[0055] 小样本类增量学习：除第一个学习任务外，后续任务中各类别所包含的训练样本很少。
[0056] 灾难性遗忘：随着增量过程的进行，模型在旧类性能上大幅度下降。
[0057] 过拟合：模型过度拟合训练样本，对测试样本的分类性能很低。
[0058] 图像识别：对不同图像内容赋予对应类别标签。
[0059] 原型特征：通常指各类所有样本特征均值。
[0060] 域：样本特征及其边缘概率分布构成。
[0061] 旧域：旧类样本所形成的域。
[0062] 新域：新类样本所形成的域。
[0063] 增量域：新旧类样本所形成的域。
[0064] 增量域适应：指从旧域迁移到增量域。
[0065] CLIP(Contrastive Language–Image Pre‑training)：一种基于对比文本‑图像对的预训练模型。
[0066] 随着图像识别技术的不断发展和应用，通过图像识别技术能够准确地对特定对象进行识别，从而为人们的日常生活提供便利。近些年，在海量数据和强大算力的支撑下，深度模型在图像识别领域取得了巨大的成功。然而，这些模型的性能表现局限于训练集所包含类别。在实际图像识别场景中，新的类别往往接连出现，这对于现有一些图像识别模型方法提出了巨大的挑战。该挑战往往也称之为类增量学习，类增量学习要求模型能够在实现识别新类别对象的同时，防止对旧类别对象的遗忘。然而，由于隐私、设备存储限制以及存储花销大等问题，旧类类别对象的数据往往不可得或者仅可保留少量样本，这使得模型易出现灾难性遗忘问题——在旧类识别性能下降很大。而且现有类增量学习方法通常假设新类数据充足，但在一些如稀有鸟类识别、汽车零件缺陷识别场景中，新的鸟类或者汽车零件缺陷样本往往很少，这使得现有一些类增量学习方法在诸如该类场景下表现乏力。因此，小样本类增量学习应运而生。在小样本类增量学习中，利用新类别提供的少量样本对模型进行训练易使模型在训练数据上过拟合，使得模型出现极其严重的灾难性遗忘问题。为解决该问题，现有小样本类增量学习方法往往在增量阶段冻结模型。并且，为实现模型对新类别对象的适应，这些方法倾向于在第一个学习任务所提供的充足训练样本的支撑下尽可能地提升模型的表征能力。然而，小样本类增量学习本质上定义了一个增量域适应问题，即新任务的到来使得域不断的变化，这就要求模型能够随着学习任务进行动态调整输出以适应增量域。
[0067] 同时，在现阶段，基础预训练模型在海量数据的支撑下提供了强大的表征能力。因此，很多学者基于现有的一些基础预训练模型，如CLIP等，进行下游任务的一些迁移设计。在小样本增量学习中，由于新类样本量较少，在新任务学习阶段模型很难学到一个很好的表征使得模型能够很好地识别新类别。借助基础预训练模型，能够在一定程度上能够缓解该问题。然而，现有大多数工作主要集中于原始模型的小样本类增量学习的研究。
[0068] 基于此，在本说明书中，提供了一种图像识别方法，本说明书同时涉及一种图像识别模型训练方法，另一种图像识别方法，两种图像识别装置，一种图像识别模型训练装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，在下面的实施例中逐一进行详细说明。
[0069] 参见图1，图1示出了根据本说明书一个实施例提供的一种图像识别方法的具体场景示意图。图1中用户102、前端104、后端106；其中，用户102可以理解为目标项目(例如购物网站、社交网站等)的用户、运营人员、开发人员等；前端104以及后端106均可以理解为服务器，如物理服务器或者云服务器等，区别仅在于前端104以及后端106负责的处理事项不同，而在实际应用中由于前端104面向用户，因此下述也称前端104为客户端。
[0070] 实际应用中，前端104以及后端106构成了一种图像识别系统，该图像识别方法应用于该图像识别系统中，可以以端到端的方式，全面地打通从用户侧输入识别图像到最后执行引擎返回识别结果这一过程中的全部链路，使得图像识别这一高频需求在实际项目场景中高度可用，如该图像识别方法提供的大规模图像识别能力，可以被充分的应用于大型社交网络、购物网络等场景的图像识别和分析中，极大的提升计算效率。
[0071] 具体实现过程如下所述：
[0072] 在本说明书提供的一实施例中，用户102可以通过摄像机等方式对鸟类的图像进行采集，并将采集到的鸟类图像发送至前端104，前端104将接收到的鸟类图像转发至后端106进行处理，后端106会将该鸟类图像输入目标图像识别模型，利用该目标图像识别模型对鸟类图像进行识别，获得该鸟类是否为保护鸟类的图像识别结果。然后后端106会将图像识别结果发送至前端104，由前端104将图像识别结果(例如非保护鸟类)提供给用户102。基于此，本说明书提供的图像识别方法能够通过目标图像识别模型对鸟类图像进行识别，从而获得准确的图像识别结果；并且，由于该目标图像识别模型是基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征对初始图像识别模型训练获得，而该初始图像识别模型为根据历史样本图像特征训练获得，因此，通过该目标图像识别模型避免了随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题，提高了图像识别结果的准确率。
[0073] 图2示出了根据本说明书一个实施例提供的一种图像识别方法的流程图，具体包括以下步骤。
[0074] 步骤202：接收待识别图像，并将所述待识别图像输入目标图像识别模型，获得所述待识别图像的图像识别结果。其中，所述目标图像识别模型为根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得，所述初始图像识别模型为根据所述历史样本图像特征训练获得。
[0075] 其中，该待识别图像是指需要进行图像识别的图像。例如鸟类图像、汽车零配件图像等。本说明书提供的图像识别方法，在电商场景下能够通过图像识别技术准确地对保护鸟类进行识别，避免保护动物被贩卖；或者通过图像识别技术能够准确地对汽车发生故障的零配件进行识别。目标图像识别模型可以理解为能够进行图像识别的神经网络模型。该图像识别结果可以理解为针对该待识别图像的识别结果，该图像识别结果可以为一个分类标签。例如，表征是否为保护鸟类的标签或者表征是否为汽车缺陷零件的标签。
[0076] 该当前样本图像可以理解为作为样本训练该目标图像识别模型的图像，例如，保护鸟类图像、汽车缺陷零件图像等。需要说明的是，本方案可以应用于终生学习领域，提供了一种基于预训练基础模型的小样本类增量学习方法。因此该目标图像识别模型在初始图像识别模型的基础上训练获得。该历史样本图像可以理解为在当前样本图像之前作为样本训练该初始图像识别模型的模型。例如，与该当前样本图像不同的保护鸟类图像或汽车缺陷零件图像等。该初始图像识别模型可以理解为能够进行图像识别的神经网络模型，由于新类别对象的不断增加，因此，需要采用终生学习的方法在初始图像识别模型的基础上进行训练，从而适应不断增加的新类型对象，例如，该新类别对象包括新列为保护动物的鸟类、新出现的汽车缺陷零件。
[0077] 具体的，本说明书提供的图像识别方法，能够将接收到的待识别图像输入至训练后的目标图像识别模型中，利用该目标图像识别模型对该待识别图像进行图像识别，从而获得图像识别结果。其中，该待识别图像可以为图像提供方所提供的图像。该图像提供方可以为用户，获得其他计算装置。该计算装置包括但不限于客户端、服务端、智能终端等。
[0078] 进一步的，在本说明书提供的实施例中，该目标图像识别模型对待识别图像进行识别的过程中，首先需要进行特征提取，并对提取出的图像特征进行分类，从而准确地获得该待识别图像的图像识别结果。具体的，所述将所述待识别图像输入目标图像识别模型，获得所述待识别图像的图像识别结果，包括：
[0079] 将所述待识别图像输入目标图像识别模型，利用所述目标图像识别模型中的特征提取模块对所述待识别图像进行特征提取，获得所述待识别图像的图像特征；
[0080] 利用所述目标图像识别模型中的图像识别模块对所述图像特征进行图像识别，获得所述待识别图像的图像识别结果。
[0081] 其中，该特征提取模块可以理解为该目标图像识别模型中用于进行特征提取的网络层或编码层。通过将待识别图像输入该特征提取模块能够获得该待识别图像的图像特征。需要说明的是，该特征提取模块可以包括多个网络层或者多个编码层。
[0082] 该图像识别模块可以理解为该目标图像识别模型中用于进行图像识别的网络层或者编码层。在实际应用中，该图像识别模块可以为用于对待识别图像进行分类的分类层，通过将图像特征输入分类层，能获得该图像特征的分类结果。例如，将一张鸟类图像的图像特征输入至分类层，能够获得该图像是否为保护鸟类的分类结果。
[0083] 具体地，本说明书提供的图像识别方法，能够将接收到的待识别图像输入训练好的目标图像识别模型。利用该目标图像识别模型中的特征提取模块对该待识别图像进行特征提取，获得该待识别图像的图像特征。然后将该图像特征输入该目标图像识别模型中的图像识别模块，从而快速且准确地获得该待识别图像的图像识别结果。
[0084] 本说明书提供的一实施例中，针对上述图像识别模型在应用过程中存在的问题，本方法借助基础预训练模型，并设计了一种增量域适应方法来帮助模型持续学习新的知识。本方法抽取以及存储新旧任务训练数据早阶段特征，并该特征对中阶段特征进行信息补充以实现对模型输出的轻量微调，进而使模型能够适应随着学习任务进行动态变化的域。相对于之前的方法，该方案在实现少量内存占用的同时，取得了目前较好的小样本类增量图像识别性能。具体的，所述接收待识别图像，并将所述待识别图像输入目标图像识别模型，获得所述待识别图像的图像识别结果之前，还包括：
[0085] 确定初始图像识别模型的当前样本图像，并对所述当前样本图像进行特征提取，获得当前样本图像特征；
[0086] 获取所述初始图像识别模型的历史样本图像特征，其中，所述历史样本图像特征为在根据历史样本图像对所述初始图像识别模型进行训练的过程中生成的图像特征；
[0087] 对所述历史样本图像特征以及所述当前样本图像特征进行处理，获得目标样本图像特征；
[0088] 基于所述目标样本图像特征对所述初始图像识别模型进行训练，获得目标图像识别模型。
[0089] 其中，该初始图像识别模块可以理解为上述预训练模型或者基础模型。
[0090] 具体地，在本说明书提供的图像识别方法中，在进行图像识别之前需要基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型进行训练，从而获得目标图像识别模型。而训练过程首先是确定针对该初始图像识别模型的当前样本图像。该当前样本图像可以理解为上述新类型对象的图像。在确定该当前样本图像之后，会将该当前样本图像输入初始图像识别模型，利用该初始图像识别模型中的特征提取模块对该当前样本图像进行特征提取，从而获得该当前样本图像的当前样本图像特征；然后从数据库中获取该初始图像识别模型的历史样本图像特征。需要说明的是，本说明书提供的图像识别方法，在训练模型的过程中，会在提取该样本图像的样本图像特征时，将该样本图像特征存储至数据库中，便于后续基于该样本图像特征对模型进行训练，避免随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题。因此，在利用历史样本图像训练初始图像识别模型的过程中，会将历史样本图像的历史样本图像特征存储至数据库中。
[0091] 在获得历史样本图像特征之后，会利用初始图像识别模型中的特征处理模块对该对所述历史样本图像特征以及所述当前样本图像特征进行融合，获得目标样本图像特征。最后再利用目标样本图像特征对所述初始图像识别模型进行训练，获得目标图像识别模型。
[0092] 需要说明的是，本说明书提供的图像识别方法的应用场景包括许多新类数据稀缺且需要增量识别的场景；以本说明书提供的图像识别方法在汽车缺陷零件识别场景下的应用为例，其中，本说明书提供的图像识别方法中模型训练过程可以参见图3。该初始样本识别模型为预训练基础模型，该训练数据为汽车缺陷零件图像。图3中的任务可以理解为针对各种新类型对象的学习任务。例如，汽车缺陷零件识别任务。在汽车生产线上，缺陷零件对汽车质量影响极大。然而，在实际的工业生产中，缺陷零件样例极其少，且随着时间的推移，由于机器故障，老化等原因可能会新出现一些新类型的缺陷零件，需要模型能够增量的识别这些以保重汽车生产质量。因此，首先通过模型的早阶段网络层对当前任务训练数据进行抽取，获得当前任务训练数据的早阶段特征，并对该早阶段特征进行存储。然后通过模型的中阶段网络层对早阶段特征进行抽取，获得中阶段特征，并利用数据库中存储的历史早阶段特征对当前中阶段特征进行微调，获得训练特征，最后利用训练数据输出的训练特征对模型的分类层权重进行权重初始化以及利用初始化后的权重对测试数据输出特征进行分类。从而完成针对该预训练基础模型的训练。
[0093] 本说明书提供的图像识别方法，在接收到待识别图像之后，会利用根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得的目标图像识别模型对待识别图像进行处理，从而获得准确的图像识别结果；并且，由于该目标图像识别模型是基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征对初始图像识别模型训练获得，而该初始图像识别模型为根据历史样本图像特征训练获得，因此，通过该目标图像识别模型避免了随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题，提高了图像识别结果的准确率。
[0094] 图4示出了根据本说明书一个实施例提供的一种图像识别模型训练方法的流程图，具体包括以下步骤。
[0095] 步骤402：确定初始图像识别模型的当前样本图像，并对所述当前样本图像进行特征提取，获得当前样本图像特征。
[0096] 在本说明书提供的一实施例中，该所述对所述当前样本图像进行特征提取，获得当前样本图像特征，包括：
[0097] 将所述当前样本图像输入所述初始图像识别模型，利用所述初始图像识别模型中的特征提取模块对所述当前样本图像进行特征提取，获得所述当前样本图像的当前样本图像特征。
[0098] 具体地，本说明书提供的图像识别方法，能够将当前样本图像输入初始图像识别模型。利用该初始图像识别模型中的特征提取模块对该当前样本图像进行特征提取，获得该当前样本图像的当前样本图像特征。而在本说明书提供的实施例中，该特征提取模块包括至少两个特征提取模块。基于此，所述将所述当前样本图像输入所述初始图像识别模型，利用所述初始图像识别模型中的特征提取模块对所述当前样本图像进行特征提取，获得所述当前样本图像的当前样本图像特征，包括：
[0099] 将所述当前样本图像输入所述初始图像识别模型，利用所述初始图像识别模型中的第一特征提取模块对所述当前样本图像进行特征提取，获得所述第一样本图像特征；
[0100] 利用所述初始图像识别模型中的第二特征提取模块对所述第一样本图像特征进行特征提取，获得所述当前样本图像的当前样本图像特征。
[0101] 其中，在本说明书提供的一实施例中，所述将所述当前样本图像输入所述初始图像识别模型，利用所述初始图像识别模型中的第一特征提取模块对所述当前样本图像进行特征提取，获得所述第一样本图像特征之后，还包括：
[0102] 计算所述第一样本图像特征的均值特征，并对所述均值特征进行存储。
[0103] 沿用上例，图5是本说明书一个实施例提供的一种图像识别模型训练方法中特征存储的示意图，参见图5可知，本说明书提供的图像处理模型训练方法，会将训练数据输入到早阶段网络编码层(第一特征提取模块)，获取各类别训练数据早阶段特征，然后计算各类别训练数据早阶段特征均值，最后将早阶段特征均值存入特征库，该特征库可以理解为存储特征的数据库，便于下次对模型进行训练时使用。然后，将每个任务的训练数据和测试数据依次输入到早阶段以及中阶段网络层，然后将得到的中阶段特征。
[0104] 步骤404：获取所述初始图像识别模型的历史样本图像特征。其中，所述历史样本图像特征为在根据历史样本图像对所述初始图像识别模型进行训练的过程中生成的图像特征。
[0105] 具体的，本说明书提供的图像识别模型训练方法，会从数据库中获取该历史对初始图像识别模型进行训练过程中产生的历史样本图像特征。
[0106] 沿用上例，从数据库中获得历史对图像识别模型进行训练过程中，存储在数据库中的均值特征。
[0107] 步骤406：对所述历史样本图像特征以及所述当前样本图像特征进行处理，获得目标样本图像特征。
[0108] 具体的，在本说明书提供的一实施例中，为了使图像识别模型能够处理接连到来的各个增量任务，并且不会降低模型性能，因此，通过微调模块将保存的早阶段特征注入到编码器中阶段特征，从而实现对模型输出的轻量微调，具体的，所述对所述历史样本图像特征以及所述当前样本图像特征进行处理，获得目标样本图像特征，包括：
[0109] 利用所述初始图像识别模型中的特征处理模块，将所述历史样本图像特征以及所述当前样本图像特征进行特征关联，获得目标样本图像特征。
[0110] 其中，该特征处理模块可以理解为能够利用历史样本图像特征对当前样本图像特征进行调整的模块。该特征处理模块可以是指上述微调模块，能够将保存的早阶段特征注入到中阶段特征中。该特征处理模块可以为Transformer block。因此，本方法是采用一个单头的Transformer block作为微调模块，具体实施上以中阶段特征为Q，保存的早阶段特征为K、V。图6是本说明书一个实施例提供的一种图像识别模型训练方法中微调模块的示意图，参见图6可知，将中阶段特征Q输入Transformer block，该Transformer block利用从数据库M中获得的早阶段特征K、V对中阶段特征Q进行微调，从而获得微调特征。
[0111] 进一步的，本说明书提供的一实施例中，所述利用所述初始图像识别模型中的特征处理模块，将所述历史样本图像特征以及所述当前样本图像特征进行特征关联，获得目标样本图像特征，包括：
[0112] 利用所述初始图像识别模型中的特征处理模块，将所述当前样本图像特征作为查询条件，计算所述历史样本图像特征与所述查询条件的相似系数；
[0113] 利用所述相似系数对所述当前样本图像特征进行加权，获得加权特征，并将所述加权特征与所述当前样本图像特征相加，获得目标样本图像特征。
[0114] 其中，该相似系数是指用于表征作为查询条件的当前样本图像特征，与历史样本图像特征之间相似度的系数。
[0115] 沿用上例，本说明书提供的图像识别模型训练方法，在获取中阶段特征之后，该微调模块将训练数据的中阶段特征作为查询语句，计算查询语句与存储的早阶段特征均值的相似系数，然后利用相似系数对存储的早阶段特征进行加权，最后，将加权结果与查询语句相加，获得训练特征。
[0116] 步骤408：基于所述目标样本图像特征对所述初始图像识别模型进行训练，获得目标图像识别模型。
[0117] 在本说明书提供的一实施例中，针对利用终生学习方式对神经网络模型进行训练的过程中，模型对旧类型对象的识别能力会不断下降，导致模型的图像识别能力降低的问题，本方法利用调整后的特征进行模型训练和测试，从而保证避免模型的图像识别能力下降的问题，具体的，所述基于所述目标样本图像特征对所述初始图像识别模型进行训练，获得目标图像识别模型，包括步骤一以及步骤二：
[0118] 步骤一：基于所述目标样本图像特征生成更新权重，并利用所述更新权重对所述初始图像识别模型的原始权重进行更新，获得待测试图像识别模型。
[0119] 具体的，所述基于所述目标样本图像特征生成更新权重，并利用所述更新权重对所述初始图像识别模型的原始权重进行更新，获得待测试图像识别模型，包括：
[0120] 将所述目标样本图像特征输入所述初始图像识别模型的第三特征提取模块，获得模型训练特征；
[0121] 计算所述模型训练特征的特征均值，并将所述特征均值作为更新权重；
[0122] 确定所述初始图像识别模型中图像识别模块的原始权重，并将所述原始权重替换为更新权重，获得待测试图像识别模型。
[0123] 其中，第三特征提取模块可以理解为用于对特征进行提取的网络层或编码层。
[0124] 沿用上例，图7是本说明书一个实施例提供的一种图像识别模型训练方法中分类层权重初始化的示意图，基于图7可知，获取训练特征和测试特征后，将它们输入到后阶段网络编码层，得到后阶段特征。通过获取各类别训练数据后阶段特征均值对分类层权重进行初始化，从而完成对图像识别模型的参数调整，从而使模型能够处理接连到来的各个增量任务，并且保证模型的性能稳定。比如，原始分类层权重维度为D，新任务包含5个类别，则首先随机初始化5个特征向量，然后获取5个类别对应训练数据的后阶段特征均值，接着利用这些均值对特征进行初始化，并将初始化后的特征与之前的分类层权重连接，从而利用后阶段特征均值对5个特征向量进行替换，而新的分类层权重维度为N*D。其中，N表示新任务的类别数量；D表示权重的维度。
[0125] 步骤二：基于所述当前样本图像对应的当前测试图像，对所述待测试图像识别模型进行模型测试，在确定模型测试通过的情况下，将所述待测试图像识别模型确定为目标图像识别模型。
[0126] 具体的，所述基于所述当前样本图像对应的当前测试图像，对所述待测试图像识别模型进行模型测试，在确定模型测试通过的情况下，将所述待测试图像识别模型确定为目标图像识别模型，包括：
[0127] 将所述当前样本图像对应的当前测试图像输入待测试图像识别模型，获得所述当前测试图像的测试图像识别结果；
[0128] 在确定所述测试图像识别结果满足预设测试通过条件的情况下，将所述待测试图像识别模型确定为目标图像识别模型。
[0129] 沿用上例，在模型的分类层权重初始化之后，确定该训练样本对应的测试数据，并将测试样本数据输入至权重初始化后的图像识别模型中，获得测试样本数据的分类结果。基于测试样本数据的样本标签以及该分类结果计算该图像识别模型的损失函数。在损失函数达到收敛的情况下，确定该模型的测试通过，从而获得训练好的目标图像识别模型，便于后续基于该目标图像识别模型对待识别图像进行准确识别。
[0130] 需要说明的是，本说明书提供的图像识别模型训练方法，是用于解决小样本类增量学习的增量域适应方法。借助基础预训练模型，抽取以及存储训练数据早阶段特征，通过微调模块将保存的早阶段特征注入到编码器中阶段实现对模型输出的轻量微调，使模型能够处理接连到来的各个增量任务。基于此，为了保证模型训练的顺利执行，需要提前对微调模块进行训练。具体的，所述利用所述初始图像识别模型中的特征处理模块，将所述历史样本图像特征以及所述当前样本图像特征进行特征关联，获得目标样本图像特征之前，还包括：
[0131] 确定所述特征处理模块对应的训练样本，并利用所述训练样本对所述特征处理模块进行训练，获得训练后的特征处理模块。
[0132] 具体的，本说明书提供的图像识别模型训练方法，针对微调模块提出一种伪增量知识注入训练策略，由于增量阶段数据较少且旧数据不可得，难以在增量阶段对微调模块进行训练。因此为了学习微调模块参数，设计了一种与之配套的伪增量知识注入策略。该伪增量知识注入策略依托于旧类样本数据，通过模仿实际增量过程对模型进行训练。基于此，所述确定所述特征处理模块对应的训练样本，并利用所述训练样本对所述特征处理模块进行训练，获得训练后的特征处理模块，包括：
[0133] 确定所述特征处理模块对应的训练样本，并将所述训练样本划分为第一训练样本以及第二训练样本；
[0134] 基于所述第一训练样本对所述特征处理模块进行训练，获得第一损失函数；
[0135] 基于所述第一训练样本和所述第二训练样本数据对所述特征处理模块进行训练，获得第二损失函数；
[0136] 基于所述第一损失函数以及所述第二损失函数对所述特征处理模块进行训练，获得训练后的特征处理模块。
[0137] 沿用上例，本方法将旧类样本数据分为两部分：伪基础集和伪增量集。其中伪增量集每个类别仅包含少量训练数据，如1个训练样本。然后抽取伪基础集中训练数据的早阶段网络编码层特征并作为伪旧类知识；同时，抽取伪增量集训练数据早阶段网络编码层特征并作为伪新类知识。在确定伪旧类知识、伪新类知识之后，通过伪新类知识对伪增量集数据进行知识注入，调整模型对伪增量集数据的输出。最后计算伪增量集训练数据原型特征，并作为分类权重对测试数据调整后的模型输出进行分类，进而采用交叉熵计算损失1(即第一损失函数)。
[0138] 在确定第一损失函数之后，将伪新类知识与伪旧类知识合并作为伪全量知识；将伪增量集与伪基础集合并作为伪全量集。然后通过伪全量知识对伪全量集数据进行知识注入，调整模型对伪全量集数据的输出。最后计算伪全量集训练数据原型特征，并作为分类权重对伪全量集测试数据调整后的模型输出进行分类，进而采用交叉熵计算损失2(即第二损失函数)。
[0139] 结合上述交叉熵计算损失1和交叉熵计算损失2对模型进行优化，直到达到训练停止条件，获得训练好的微调模块。
[0140] 本说明书提供的图像识别模型训练方法，基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征对初始图像识别模型训练，从而获得稳定性以及准确性较高的目标图像识别模型，避免了随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题，提高了图像识别结果的准确率。
[0141] 上述为本实施例的一种图像识别模型训练方法的示意性方案。需要说明的是，该图像识别模型训练方法的技术方案与上述的图像识别方法的技术方案属于同一构思，图像识别模型训练方法的技术方案未详细描述的细节内容，均可以参见上述图像识别方法技术方案的描述中对应或者相应的部分，本说明书在此不过多赘述。同理，该图像识别方法的技术方案未详细描述的细节内容，均可以参见上述图像识别模型训练方法技术方案的描述中对应或者相应的部分。
[0142] 下述结合附图8，以本说明书提供的图像识别模型训练方法在基于预训练基础模型的小样本类增量学习场景下的应用为例，对所述图像识别模型训练方法进行进一步说明。其中，图8示出了本说明书一个实施例提供的一种图像识别模型训练方法的处理过程流程图，具体包括以下步骤。
[0143] 步骤802：在模型训练过程中，首先每个任务的训练数据和测试数据输入图像识别模型的早阶段网络层进行特征提取，获得训练数据和测试数据的早阶段特征。
[0144] 需要说明的是，在模型训练之前，需要将各种类别的训练数据输入到图像识别模型的早阶段网络编码层，获取各类别训练数据的早阶段特征，然后分别计算每个类别训练数据的早阶段特征的均值，最后将该均值存入特征库。
[0145] 步骤804：将训练数据和测试数据的早阶段特征，输入图像识别模型的中阶段网络层进行特征提取，获得训练数据和测试数据的中阶段特征。
[0146] 步骤806：将训练数据的中阶段特征以及测试数据的中阶段特征，输入到微调模块进行特征微调。
[0147] 针对训练数据的中阶段特征的微调过程为：该微调模块将训练数据的中阶段特征作为查询语句，计算查询语句与存储的早阶段特征均值的相似系数，然后利用相似系数对存储的早阶段特征进行加权，最后，将加权结果与查询语句相加，获得训练特征。
[0148] 针对测试数据的中阶段特征的微调过程为：该微调模块将测试数据的中阶段特征作为查询语句，计算查询语句与存储的早阶段特征均值的相似系数，然后利用相似系数对存储的早阶段特征进行加权，最后，将加权结果与查询语句相加，获得测试特征。
[0149] 步骤808：将获取的训练特征和测试特征，输入到图像识别网络的后阶段网络编码层，获得训练数据和测试数据的后阶段特征。
[0150] 步骤810：确定每个任务的训练数据的后阶段特征，并分别计算后阶段特征的均值；利用均值对分类层权重进行替换，从而通过均值对分类层权重进行初始化。在分类层权重初始化之后，将测试数据的后阶段特征输入到分类层进行分类，获得测试数据的分类结果。基于分类结果和测试数据的标签计算图像识别模型的损失函数，并基于该损失函数对模型进行训练，直至到的训练停止条件。
[0151] 需要说明的是，由于针对图像识别模型的训练过程中，需要微调模块对特征进行调整，因此，在进行模型训练之前，需要通过样本对微调模块进行训练，从而保证后续针对图像识别模型的训练过程顺利进行，该微调模块是一个Transformer block，而针对该微调模块的训练过程如下列步骤所示。
[0152] 步骤一：将旧类训练数据分为两部分：伪基础集和伪增量集。其中，伪增量集中每个类别仅包含少量训练数据，如1个样本；该伪基础集中每个类别包含较多的训练数据。
[0153] 步骤二：利用图像识别模型中的早阶段网络编码层，抽取伪基础集训练数据的早阶段网络编码层特征，并将其作为伪旧类知识。同时，抽取伪增量集训练数据的早阶段网络编码层特征，并将其作为伪新类知识。
[0154] 步骤三：通过伪新类知识对伪增量集数据进行知识注入，调整该微调模块针对伪增量集数据的输出。
[0155] 步骤四：通过图像识别模型的早阶段、中阶段网络层，抽取伪增量集训练数据的原型特征。将该原型特征作为分类权重，对测试数据调整后的微调模块输出进行分类，进而采用交叉熵计算损失1
[0156] 步骤五：将伪新类知识与伪旧类知识合并作为伪全量知识。
[0157] 步骤六：将伪增量集与伪基础集合并作为伪全量集。
[0158] 步骤七：通过伪全量知识对伪全量集数据进行知识注入，调整该微调模块对伪全量集数据的输出。
[0159] 步骤八：通过图像识别模型的早阶段、中阶段网络层，抽取伪全量集训练数据原型特征。将该原型特征作为分类权重，对伪全量集测试数据调整后的模型输出进行分类，进而采用交叉熵计算损失2
[0160] 步骤九：结合步骤四得到的损失1和步骤八得到的损失2对模型进行优化，获得训练后的微调模块(Transformer block)。
[0161] 基于上述内容可知，本方法设计了一种用于解决小样本类增量学习的增量域适应方法，借助基础预训练模型，抽取以及存储训练数据早阶段特征，通过微调模块将保存的早阶段特征注入到编码器中阶段实现对模型输出的轻量微调，使模型能够处理接连到来的各个增量任务。为了学习微调模块训练参数，设计了一种与之配套的伪增量知识注入训练策略，通过对旧数据采样，构建伪基础集和伪增量集，模仿实际增量过程实现对模型的优化。
[0162] 图9示出了根据本说明书一个实施例提供的另一种图像识别方法的流程图，该另一种图像识别方法应用于云侧设备，具体包括以下步骤。
[0163] 步骤902：获取端侧设备发送的待识别图像；
[0164] 步骤904：将所述待识别图像输入目标图像识别模型，获得所述待识别图像的图像识别结果。
[0165] 其中，所述目标图像识别模型为根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得，所述初始图像识别模型为根据所述历史样本图像特征训练获得；
[0166] 步骤906：向所述端侧设备返回所述图像识别结果。
[0167] 其中，所述云侧设备可以理解为位于云端并且能够为端侧设备提供云服务的设备。例如云侧设备可以为一个或多个服务器，一个或多个主机。在本说明书提供的一实施例中，该云侧设备还可以由云侧计算设备和/或云侧存储设备构成。该云侧计算设备可以理解为位于云端并能够为端侧设提供计算服务的设备。例如云侧计算设备可以为一个或多个服务器。该云侧存储设备可以理解为位于云端并能够为端侧设提供存储服务的设备。例如一个或多个数据库存储服务器、云盘等。所述端侧设备可以理解为与云侧设备相对存在的、能够使用云侧设备提供的云服务的设备。该端侧设备包括但不限于客户端、终端、计算机、服务器、手机或者智能移动设备等。
[0168] 具体的，本说明书提供的另一种图像识别方法，能够应用于云侧设备。能够获得该端侧设备发送的待识别图像，利用训练好的目标图像识别模型对待识别图像进行图像识别处理，获得该待识别图像的图像识别结果，并将待识别图像的图像识别结果发送至端侧设备。
[0169] 例如，以该端侧设备为智能手机、云侧设备为云端服务器为例，对所述另一种图像识别方法进行说明。具体的，在实际应用中用户可以通过智能手机将采集到的鸟类图像发送至云端服务器，该云端服务器在接收到鸟类图像之后，会将该鸟类图像输入目标图像识别模型，利用该目标图像识别模型对鸟类图像进行识别，获得该鸟类是否为保护鸟类的图像识别结果。在确定鸟类图像的图像识别结果之后，云端服务器可以将该图像识别结果返回至智能手机，通过智能手机将该鸟类图像的图像识别结果展示给用户。
[0170] 基于此，本说明书提供的应用于云端设备的另一种图像识别方法，在获取端侧设备发送的待识别图像之后，会利用根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得的目标图像识别模型对待识别图像进行处理，从而获得准确的图像识别结果，并将准确的图像识别结果返回端侧设备，节省端侧设备的计算资源。并且，由于该目标图像识别模型是基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征对初始图像识别模型训练获得，而该初始图像识别模型为根据历史样本图像特征训练获得，因此，通过该目标图像识别模型避免了随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题，提高了图像识别结果的准确率。
[0171] 与上述方法实施例相对应，本说明书还提供了图像识别装置实施例，该装置包括：
[0172] 图像识别模块，被配置为接收待识别图像，并将所述待识别图像输入目标图像识别模型，获得所述待识别图像的图像识别结果，其中，所述目标图像识别模型为根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得，所述初始图像识别模型为根据所述历史样本图像特征训练获得。
[0173] 可选地，所述图像识别模块，还被配置为：
[0174] 将所述待识别图像输入目标图像识别模型，利用所述目标图像识别模型中的特征提取模块对所述待识别图像进行特征提取，获得所述待识别图像的图像特征；
[0175] 利用所述目标图像识别模型中的图像识别模块对所述图像特征进行图像识别，获得所述待识别图像的图像识别结果。
[0176] 可选地，所述图像识别装置，还包括模型训练模块，被配置为：
[0177] 确定初始图像识别模型的当前样本图像，并对所述当前样本图像进行特征提取，获得当前样本图像特征；
[0178] 获取所述初始图像识别模型的历史样本图像特征，其中，所述历史样本图像特征为在根据历史样本图像对所述初始图像识别模型进行训练的过程中生成的图像特征；
[0179] 对所述历史样本图像特征以及所述当前样本图像特征进行处理，获得目标样本图像特征；
[0180] 基于所述目标样本图像特征对所述初始图像识别模型进行训练，获得目标图像识别模型。
[0181] 本说明书提供的图像识别装置，在接收到待识别图像之后，会利用根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得的目标图像识别模型对待识别图像进行处理，从而获得准确的图像识别结果；并且，由于该目标图像识别模型是基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征对初始图像识别模型训练获得，而该初始图像识别模型为根据历史样本图像特征训练获得，因此，通过该目标图像识别模型避免了随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题，提高了图像识别结果的准确率。
[0182] 上述为本实施例的一种图像识别装置的示意性方案。需要说明的是，该图像识别装置的技术方案与上述的图像识别方法的技术方案属于同一构思，图像识别装置的技术方案未详细描述的细节内容，均可以参见上述图像识别方法的技术方案的描述。
[0183] 与上述方法实施例相对应，本说明书还提供了图像识别模型训练装置实施例，该装置包括：
[0184] 第一特征获取模块，被配置为确定初始图像识别模型的当前样本图像，并对所述当前样本图像进行特征提取，获得当前样本图像特征；
[0185] 第二特征获取模块，被配置为获取所述初始图像识别模型的历史样本图像特征，其中，所述历史样本图像特征为在根据历史样本图像对所述初始图像识别模型进行训练的过程中生成的图像特征；
[0186] 特征处理模块，被配置为对所述历史样本图像特征以及所述当前样本图像特征进行处理，获得目标样本图像特征；
[0187] 模型训练模块，被配置为基于所述目标样本图像特征对所述初始图像识别模型进行训练，获得目标图像识别模型。
[0188] 可选地，所述第一特征获取模块，还被配置为：
[0189] 将所述当前样本图像输入所述初始图像识别模型，利用所述初始图像识别模型中的特征提取模块对所述当前样本图像进行特征提取，获得所述当前样本图像的当前样本图像特征。
[0190] 可选地，所述特征处理模块，还被配置为：
[0191] 利用所述初始图像识别模型中的特征处理模块，将所述历史样本图像特征以及所述当前样本图像特征进行特征关联，获得目标样本图像特征。
[0192] 可选地，所述特征处理模块，还被配置为：
[0193] 利用所述初始图像识别模型中的特征处理模块，将所述当前样本图像特征作为查询条件，计算所述历史样本图像特征与所述查询条件的相似系数；
[0194] 利用所述相似系数对所述当前样本图像特征进行加权，获得加权特征，并将所述加权特征与所述当前样本图像特征相加，获得目标样本图像特征。
[0195] 可选地，所述模型训练模块，还被配置为：
[0196] 基于所述目标样本图像特征生成更新权重，并利用所述更新权重对所述初始图像识别模型的原始权重进行更新，获得待测试图像识别模型；
[0197] 基于所述当前样本图像对应的当前测试图像，对所述待测试图像识别模型进行模型测试，在确定模型测试通过的情况下，将所述待测试图像识别模型确定为目标图像识别模型。
[0198] 可选地，所述模型训练模块，还被配置为：
[0199] 将所述目标样本图像特征输入所述初始图像识别模型的第三特征提取模块，获得模型训练特征；
[0200] 计算所述模型训练特征的特征均值，并将所述特征均值作为更新权重；
[0201] 确定所述初始图像识别模型中图像识别模块的原始权重，并将所述原始权重替换为更新权重，获得待测试图像识别模型。
[0202] 可选地，所述模型训练模块，还被配置为：
[0203] 将所述当前样本图像对应的当前测试图像输入待测试图像识别模型，获得所述当前测试图像的测试图像识别结果；
[0204] 在确定所述测试图像识别结果满足预设测试通过条件的情况下，将所述待测试图像识别模型确定为目标图像识别模型。
[0205] 可选地，所述图像识别模型训练装置，还包括特征处理模块训练模块，被配置为：
[0206] 确定所述特征处理模块对应的训练样本，并利用所述训练样本对所述特征处理模块进行训练，获得训练后的特征处理模块。
[0207] 可选地，所述特征处理模块训练模块，被配置为：
[0208] 确定所述特征处理模块对应的训练样本，并将所述训练样本划分为第一训练样本以及第二训练样本；
[0209] 基于所述第一训练样本对所述特征处理模块进行训练，获得第一损失函数；
[0210] 基于所述第一训练样本和所述第二训练样本数据对所述特征处理模块进行训练，获得第二损失函数；
[0211] 基于所述第一损失函数以及所述第二损失函数对所述特征处理模块进行训练，获得训练后的特征处理模块。
[0212] 本说明书提供的图像识别模型训练装置，基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征对初始图像识别模型训练，从而获得稳定性以及准确性较高的目标图像识别模型，避免了随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题，提高了图像识别结果的准确率。
[0213] 上述为本实施例的一种图像识别模型训练装置的示意性方案。需要说明的是，该图像识别模型训练装置的技术方案与上述的图像识别模型训练方法的技术方案属于同一构思，图像识别模型训练装置的技术方案未详细描述的细节内容，均可以参见上述图像识别模型训练方法的技术方案的描述。
[0214] 与上述方法实施例相对应，本说明书还提供了另一种图像识别装置实施例，该图像识别装置应用于云侧设备，包括：
[0215] 获取模块，被配置为获取端侧设备发送的待识别图像；
[0216] 识别模块，被配置为将所述待识别图像输入目标图像识别模型，获得所述待识别图像的图像识别结果，其中，所述目标图像识别模型为根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得，所述初始图像识别模型为根据所述历史样本图像特征训练获得；
[0217] 返回模块，被配置为向所述端侧设备返回所述图像识别结果。
[0218] 本说明书提供的应用于云端设备的另一种图像识别装置，在获取端侧设备发送的待识别图像之后，会利用根据当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征，对初始图像识别模型训练获得的目标图像识别模型对待识别图像进行处理，从而获得准确的图像识别结果，并将准确的图像识别结果返回端侧设备，节省端侧设备的计算资源。并且，由于该目标图像识别模型是基于当前样本图像的当前样本图像特征以及历史样本图像的历史样本图像特征对初始图像识别模型训练获得，而该初始图像识别模型为根据历史样本图像特征训练获得，因此，通过该目标图像识别模型避免了随着新类型对象的不断增加，神经网络模型对于旧类型对象的识别能力会不断下降的问题，以及模型的图像识别能力降低的问题，提高了图像识别结果的准确率。
[0219] 上述为本实施例的另一种图像识别装置的示意性方案。需要说明的是，该另一种图像识别装置的技术方案与上述的另一种图像识别方法的技术方案属于同一构思，另一种图像识别装置的技术方案未详细描述的细节内容，均可以参见上述另一种图像识别方法的技术方案的描述。
[0220] 图10示出了根据本说明书一个实施例提供的一种计算设备1000的结构框图。该计算设备1000的部件包括但不限于存储器1010和处理器1020。处理器1020与存储器1010通过总线1030相连接，数据库1050用于保存数据。
[0221] 计算设备1000还包括接入设备1040，接入设备1040使得计算设备1000能够经由一个或多个网络1060通信。这些网络的示例包括公用交换电话网(PSTN)、局域网(LAN)、广域网(WAN)、个域网(PAN)或诸如因特网的通信网络的组合。接入设备1040可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC))中的一个或多个，诸如IEEE802.11无线局域网(WLAN)无线接口、全球微波互联接入(Wi‑MAX)接口、以太网接口、通用串行总线(USB)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC)接口，等等。
[0222] 在本说明书的一个实施例中，计算设备1000的上述部件以及图10中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图10所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
[0223] 计算设备1000可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备。计算设备1000还可以是移动式或静止式的服务器。
[0224] 其中，处理器1020用于执行如下计算机可执行指令，该计算机可执行指令被处理器920执行时实现上述两种图像识别方法以及图像识别模型训练方法的步骤。
[0225] 上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的两种图像识别方法以及图像识别模型训练方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述两种图像识别方法以及图像识别模型训练方法的技术方案的描述。
[0226] 本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指令，该计算机可执行指令被处理器执行时实现上述两种图像识别方法以及图像识别模型训练方法的步骤。
[0227] 上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的两种图像识别方法以及图像识别模型训练方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述两种图像识别方法以及图像识别模型训练方法的技术方案的描述。
[0228] 本说明书一实施例还提供一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行上述两种图像识别方法以及图像识别模型训练方法的步骤。
[0229] 上述为本实施例的一种计算机程序的示意性方案。需要说明的是，该计算机程序的技术方案与上述的两种图像识别方法以及图像识别模型训练方法的技术方案属于同一构思，计算机程序的技术方案未详细描述的细节内容，均可以参见上述两种图像识别方法以及图像识别模型训练方法的技术方案的描述。
[0230] 上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0231] 所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0232] 需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书实施例并不受所描述的动作顺序的限制，因为依据本说明书实施例，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书实施例所必须的。
[0233] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0234] 以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书实施例的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书实施例的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
