[0001] 本实用新型涉及一种检索系统，尤其涉及一种多层语义图像检索系统。

[0002] 随着计算机、多媒体和网络技术的迅速发展，互联网上出现了海量的数字图像信息资源。近几年图像搜索是增长速度最快的分类搜索应用，全球几大搜索引擎的图像搜索次数均成倍增长。因此图像检索技术已成为国内外研究的热点，如何高效地组织、管理和检索大规模的图像数据库，也成为未来信息高速公路、数字图书馆等重大项目中的关键技术。图像检索也是多媒体信息检索技术的一个主要组成部分，是视频信息检索的理论基础之一，在信息检索领域占有举足轻重的地位。

[0003] 早期图像检索主要通过对图像进行人工文字注释，利用文本检索实现对图像特征的查找。这种采用手动标注关键词描述信息的方式费时费力，并且不可避免地会带有个人的主观性和不确定性。目前百度、Google等搜索引擎基于网页信息自动采集和标注技术对图像进行文本标注和检索。这种自动标注所采集的图像标识是很粗糙的，准确性不高，有时甚至是不准确的。20世纪90年代初，研究者提出了基于内容的图像检索思想，实现了使用颜色、纹理、形状及区域等图像视觉内容特征的检索和“以图找图”的检索模式的飞跃。但是人们判断图像的相似性并非仅仅建立在这些低层特征的相似性基础上。基于内容的图像检索只涉及了图像的表面特征，无法表达图像的语义内涵。

[0004] 进入21世纪，图像检索围绕图像语义这一热点展开，其目标是使计算机检索图像的能力达到人的理解水平。在理想状况下，用户主要根据图像的含义进行图像检索，而不是根据图像的低层特征进行检索。

[0005] 图像语义大致可分为特征语义、对象语义、场景语义、行为语义和情感语义等，用以对不同层次的图像内容进行描述。有研究将图像内容进一步分成三个层次：第一层为原始特征层，包括描述图像的视觉特征，如颜色、纹理、形状等，反映的是图像的一些具有客观统计特性的内容，对应于图像的特征语义；第二层为导出属性层，涉及由低层视觉特征推导而得到的属性，用以识别图像中描绘的对象(如“太阳”、“篮球”等)，对应于图像的对象语义；第三层是抽象属性层，包括对对象和场景进行更高层的推理而得到的抽象属性(如“日出”、“篮球比赛”等)，对应图像的场景语义、行为语义和情感语义等.一般将第一层与第二层之间的差距称为“语义鸿沟”，图像检索是否真正使用了语义主要体现在是否获取了第二层的图像内容。

[0006] 近年来基于图像语义的图像分类、标注和检索的研究大都需要利用机器学习的策略来获取语义，但仍未出现一种令人满意的高效的通用的系统。实用新型内容

[0007] 本实用新型针对现有技术的弊端，提供一种多层语义图像检索系统，可大大提高用户进行图像检索的满意度。

[0008] 本实用新型所述的多层语义图像检索系统，包括依次连接的信息输入模块、图像检索模块、结果输出模块，所述图像检索模块包括网络通信模块、低层特征提取模块、目标语义提取模块、以及场景语义提取模块，其中，

[0009] 所述低层特征提取模块与网络通信模块连接，并经由网络通信模块提取网络图像的低层特征信息；

[0010] 所述目标语义提取模块连接于低层特征提取模块的后端，并根据预定的概率信息自低层特征信息中提取目标语义信息；

[0011] 所述场景语义提取模块连接于目标语义提取模块的后端，并根据预定的场景语义模板自目标语义信息中提取场景语义信息，再将该场景语义信息对应的图像发送至该场景语义提取模块后端连接的结果输出模块。

[0012] 本实用新型所述的多层语义图像检索系统中，通过提取网络图像的目标语义信息及场景语义信息，从而实现了有别于现有技术的人性化图像检索，大大提高了图像检索的满意度。

[0014] 下面结合附图对本实用新型做进一步的详细说明，以令本领域技术人员参照说明书文字能够据以实施。

[0015] 本实用新型所述的多层语义图像检索系统，如图1所示，包括信息输入模块、图像检索模块、结果输出模块。

[0016] 所述信息输入模块用于输入欲检索的图像所对应的关键词信息，例如，场景关键词信息或例图信息。该信息输入模块与图像检索模块连接。

[0017] 所述图像检索模块用于实现依据输入的关键词自网络中检索出对应的图像信息，并由与其连接的结果输出模块来输出。

[0018] 本实用新型中，所述图像检索模块可具体包括网络通信模块、低层特征提取模块、目标语义提取模块、以及场景语义提取模块。

[0019] 其中，所述网络通信模块用于提供本实用新型与网络之间的数据通道，本实用新型经由该网络通信模块可自网络中获取图像数据。

[0020] 所述低层特征提取模块用于对网络图像进行分割以提取网络图像的低层特征信息。该低层特征提取模块与网络通信模块连接，并经由网络通信模块提取网络图像的低层特征信息。图像中的目标是与区域相对应的，要提取目标语义必须采用基于区域的语义提取算法。所述低层特征提取模块对网络图像进行分割，并从分割后的特征区域中提取颜色、纹理等特征，以获得最能表征目标语义的低层特征类型及适当的特征向量维数等信息。

[0021] 所述目标语义提取模块用于提取低层特征信息中的目标语义信息，该目标语义提取模块连接于低层特征提取模块的后端。从低层特征提取目标语义，即实现了“语义鸿沟”的飞越，这是图像检索系统的关键。根据标注有同一目标语义的图像所提取的低层特征而获得该语义的先验概率，并由此确定目标语义对各区域的后验概率和对图像整体的后验概率，从而构造出目标语义的特征向量，以实现目标语义的提取。

[0022] 所述场景语义提取模块连接于目标语义提取模块的后端，并根据预定的场景语义模板自目标语义信息中提取场景语义信息，再将该场景语义信息对应的图像发送至该场景语义提取模块后端连接的结果输出模块。从目标语义得到场景语义采用了场景语义模板的方法，常用的场景语义模板包括专家根据经验人工制定的、或者通过相关学习反馈获得的、或者通过机器学习自动获得的。在本实用新型中，所述预定的场景语义模板可为采用机器学习方法而获得的。按照上述预定的场景语义模块，根据前述获取的目标语义特征向量即可提取出场景语义信息。所述被提取出的场景语义信息所对应的图像被结果输出模块予以输出及显示。

[0023] 本实用新型中，可采用多种关键词进行图像检索。例如，对于保存有各区域目标语义向量和图像整体目标语义向量的网络图像，当采用场景关键词进行检索时，可直接根据场景语义层中的文字匹配结果，返回网络图像中含有相同场景语义的图像作为检索结果。又或者，当采用目标关键词进行检索时，根据网络图像的整体目标语义返回对应该目标关键词的图像作为检索结果。又或者，当采用用户手动选择的例图进行检索时，根据该例图的目标语义特征向量选择网络图像中具有与之匹配的目标语义向量的图像作为检索结果。

[0024] 本实用新型所述的多层语义图像检索系统中，通过提取网络图像的目标语义信息及场景语义信息，从而实现了有别于现有技术的人性化图像检索，大大提高了图像检索的满意度。

[0025] 尽管本实用新型的实施方案已公开如上，但其并不仅仅限于说明书和实施方式中所列运用，它完全可以被适用于各种适合本实用新型的领域，对于熟悉本领域的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围所限定的一般概念下，本实用新型并不限于特定的细节和这里示出与描述的图例。