首页 / 图像处理方法及设备

图像处理方法及设备实质审查 发明

技术领域

[0001] 本申请涉及但不限于图像处理技术领域,尤其涉及一种图像处理方法及设备。

相关背景技术

[0002] 目前,针对拍摄后的编码图像进行图像识别时,由于拍摄的图像不满足识别要求,从而无法对拍摄的图像进行有效识别。

具体实施方式

[0024] 为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
[0025] 在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
[0026] 除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的,不是旨在限制本申请。
[0027] 目前,针对编码图像进行拍摄后的图像进行识别时,由于拍摄的图像不满足识别要求,从而无法对拍摄的图像进行有效识别。
[0028] 本申请实施例提供一种图像处理方法,包括获得至少两个待识别图像;所述至少两个待识别图像分别包括两个采集单元在不同位置采集同一编码图像得到的图像信息;如果所述至少两个待识别图像不满足目标条件,基于所述至少两个待识别图像获得目标图像;所述目标条件表征能够被识别以得到所述编码图像对应的解析结果;其中,所述目标图像满足所述目标条件。该方法可以由电子设备的处理器执行。其中,电子设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)、穿戴式设备等具备数据处理能力的设备。
[0029] 图1为本申请实施例提供的一种图像处理方法的实现流程示意图,该方法可以由电子设备的处理器执行。如图1所示,该方法包括如下步骤S101至步骤S102,将结合图1示出的步骤进行说明。
[0030] 步骤S101、获得至少两个待识别图像。
[0031] 其中,所述至少两个待识别图像分别包括两个采集单元在不同位置采集同一编码图像得到的图像信息。
[0032] 在一些实施例中,两个采集单元可以是设置于不同位置或不同角度的两个拍摄设备。例如,两个采集单元可以是设置于不同位置和不同角度的两个相机。
[0033] 在一些实施例中,两个采集单元还可以是设置于同一个拍摄设备中的两个不同视角的拍摄组件。示例性地,两个采集单元可以是双目视觉设备上的两个摄像头,其中两个摄像头的视角不同。例如虚拟现实头戴式显示设备中设置的两个摄像头。
[0034] 在一些实施例中,编码图像可以是一维码(例如条形码)、二维码等。
[0035] 在一些实施例中,编码图像的图像信息表征编码图像的表面纹理特征,其中,待识别图像中包括所述编码图像的表面纹理特征。例如二维码的表面纹理特征。
[0036] 在一些实施例中,获得至少两个待识别图像,可以理解的是,基于设置于不同位置或不同角度的两个拍摄设备,针对同一编码图像进行拍摄,以得到不同角度、不同位置的多个包括编码图像的表面纹理特征的图像。
[0037] 示例性地,两个相机分别设置于A点和B点,基于设置于A点的第一相机和设置于B点的第二相机,针对设置于C点的二维码图像进行拍摄,以得到多个包括二维码图像的表面纹理特征的图像。
[0038] 在一些实施例中,基于双目视觉设备中两个不同位置、不同视角的摄像头对同一编码图像进行拍摄,以得到不同位置、不同视角的多个包括编码图像的表面纹理特征的图像。
[0039] 示例性地,基于虚拟现实头戴式显示设备中设置于左眼位置的相机和右眼位置的相机,对同一二维码进行拍摄,以得到不同视角、不同位置的多个包括二维码的表面纹理特征的图像。
[0040] 步骤S102、如果所述至少两个待识别图像不满足目标条件,基于所述至少两个待识别图像获得目标图像。
[0041] 其中,所述目标条件表征能够被识别以得到所述编码图像对应的解析结果。
[0042] 其中,所述目标图像满足所述目标条件。
[0043] 在一些实施例中,所述解析结果包括所述编码图像中所存储的信息;示例性地,对二维码进行识别得到解析结果,解析结果包括所存储的文本信息、图像信息、视频信息、商品信息等。
[0044] 在一些实施例中,所述至少两个待识别图像不满足目标条件,表征两个待识别图像均不满足目标条件,可以理解得是,对两个待识别图像进行识别,均得不到对应的编码图像中所存储的信息。
[0045] 在一些实施例中,目标图像满足所述目标条件,可以理解的是,对目标图像进行识别,可以得到所述编码图像中所存储的信息的解析结果。
[0046] 在一些实施例中,基于至少两个待识别图像获得目标图像,可以理解的是,对包括编码图像的表面纹理特征的图像进行处理,将待识别图像中与编码图像的表面纹理特征无关的图像裁剪得到多个裁剪图像,对裁剪图像中进行特征提取,以得到与编码图像的表现纹理特征相关的特征值和特征向量,将多个裁剪图像中的特征值和特征向量进行融合,以得到目标图像,从而对目标图像进行识别,得到包括编码图像中存储信息的解析结果。
[0047] 在本申请实施例中,通过设置于不同位置的采集单元对同一编码图像进行采集,以得到包括编码图像的图像信息的多个待识别图像,基于不能识别出编码图像的解析结果的多个待识别图像,得到能够识别出编码图像的解析结果的目标图像,以提高识别采集单元所采集图像的准确率,从而提高用户体验。
[0048] 在一些实施例中,上述步骤S102中,如果所述至少两个待识别图像不满足目标条件可以通过以下方式确定:
[0049] 如果待识别图像包括的编码图像的信息完整度小于目标阈值,确定待识别图像不满足目标条件。
[0050] 在一些实施例中,信息完整度表征待识别物体包括的编码图像的图像完整度,可以理解的是,若待识别图像中所包括的编码对象的图像完整度小于目标阈值,则表征该待识别图像不满足目标条件。
[0051] 在一些实施例中,目标阈值表征编码图像的完整度达到目标阈值时,编码图像可以被识别;示例性地,待识别图像中的编码图像缺失右上角的图像导致其图像完整度为80%,目标阈值为90%,则待识别图像的图像完整度小于目标阈值,表征该待识别图像不能进行识别,从而确定该待识别图像无法识别出编码图像的解析结果。
[0052] 如果待识别图像包括的编码图像的信息完整度大于目标阈值,且经过第一处理后无法被识别,确定待识别图像不满足目标条件。
[0053] 在一些实施例中,待识别图像包括的编码图像的信息完整度大于目标阈值表征该待识别图像可以进行识别;示例性地,待识别图像中编码图像的图像完整度为95%,目标阈值为90%,则待识别图像中编码图像的图像完整度大于目标阈值,则表征该待识别图像可以进行识别。
[0054] 在一些实施例中,第一处理可以是对待识别图像进行反畸变处理,包括:基于标定工具(如棋盘格)对待识别图像进行标定,得到标定图像,通过图像处理算法提取标定图像中的角点;利用角点坐标和标定工具的实际尺寸,计算采集单元的内参矩阵(包括焦距、主点坐标等)和畸变系数;根据采集单元标定的结果,使用反畸变公式对标定图像中的每个像素点进行映射;通过插值算法(如双线性插值)计算映射后像素点的灰度值,得到反畸变后的待识别图像。
[0055] 在一些实施例中,第一处理可以是对待识别图像进行图像增强处理,包括通过对待识别调整图像的对比度、亮度、锐化等参数,以改善待识别调整图像的质量。
[0056] 在一些实施例中,对经过第一处理后的待识别图像进行识别,若无法得到待识别图像中的编码图像的解析结果,则表征该待识别图像不满足目标条件。
[0057] 在本申请实施例中,通过判断待识别图像的信息完整度与目标阈值的大小,确定待识别图像是否满足目标条件,若待识别图像的信息完整度小于目标阈值,则确定待识别图像不能进行识别,也即是不满足目标条件;若待识别图像的信息完整度大于目标阈值,且该待识别图像经过第一处理后无法被识别,则确定该待识别图像不满足目标条件,从而提高识别待识别图像的准确率。
[0058] 图2为本申请实施例提供的一种图像处理方法的实现流程示意图,该方法可以由电子设备的处理器执行。该方法包括步骤S201和步骤S202,将结合图2示出的步骤进行说明。
[0059] 步骤S201、基于每一待识别图像的图像效果,确定识别顺序。
[0060] 其中,所述图像效果用于表征所述待识别图像包括的编码图像的质量参数。
[0061] 在一些实施例中,所述质量参数可以包括编码图像的信息完整度、大小、清晰度、分辨率、对比度等。
[0062] 在一些实施例中,基于所述待识别图像包括的编码图像的质量参数按照从高到低对至少两个待识别图像进行排序,并将该顺序确定为针对所述待识别图像的识别顺序;在另一些实施例中,基于所述待识别图像包括的编码图像的质量参数按照从低到高对至少两个待识别图像进行排序,并将该顺序确定为针对所述待识别图像的识别顺序。
[0063] 示例性地,基于待识别图像中二维码图像的清晰度按照从高到低进行排序,将该顺序确定为识别顺序;或基于待识别图像中二维码图像的清晰度按照从低到高进行排序,将该顺序确定为识别顺序。
[0064] 步骤S202、基于所述识别顺序进行识别,直至识别出一个满足目标条件的待识别图像,将该待识别图像确定为目标图像。
[0065] 在一些实施例中,基于编码图像的质量参数由高到低的顺序,对待识别图像进行识别。
[0066] 在一些实施例中,基于编码图像的质量参数由低到高的顺序,对待识别物体进行识别。
[0067] 在一些实施例中,基于识别顺序对每一待识别图像进行识别,直至能识别出待识别图像中编码图像的解析结果,将该待识别图像确定为目标图像;可以理解的是,基于待识别图像包括的编码图像的类型对应的解码算法,对编码图像进行解码,直到能得到包括编码图像中存储信息的解析结果,将该待识别图像确定为目标图像。
[0068] 在一些实施例中,在得到能识别出编码图像的解析结果的目标图像的情况下,停止识别至少两个待识别图像中剩余待识别图像。
[0069] 示例性地,基于待识别图像中二维码图像的清晰度由高到低的顺序对至少两个待识别图像中二维码图像进行识别,以通过二维码解码算法对每一待识别图像中的二维码图像进行解码,直至得到包括二维码图片中存储的链接、文本、图像等解析信息,将该待识别图像确定为目标图像;并停止对剩余待识别图像进行识别。
[0070] 在本申请实施例中,通过每一待识别图像中编码图像的质量参数,至少两个待识别图像进行排序并将该顺序确定为识别顺序,基于识别顺序对待识别图像进行识别,直至得到能够识别出编码图像的解析结果的目标图像,从而提高识别效率。
[0071] 图3为本申请实施例提供的一种图像处理方法的实现流程示意图,该方法可以由电子设备的处理器执行。基于图1,图1中的步骤S102可以更新为步骤S301至步骤S303,将结合图3示出的步骤进行说明。
[0072] 步骤S301、获得每一所述待识别图像的特征点和所述特征点的描述信息。
[0073] 在一些实施例中,所述待识别图像的特征点是图像中的明显点,可以理解的是,特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点),这些点也被称为兴趣点或角点;例如突出的角点、边缘端点、极值点等。
[0074] 在一些实施例中,特征点具有旋转不变性、光照不变性和视角不变性等优点。从而,在不同的拍摄角度、光照条件下,特征点仍然能够被准确地检测到。
[0075] 在一些实施例中,基于特征点检测算法对每一待识别图像进行检测,以得到待识别图像中的特征点;其中,特征点检测算法可以包括角点检测算法、加速分段试验的特征(Features from Accelerated Segment Test,FAST)、快速旋转简报(Oriented FAST and Rotated BRIEF,ORB)等。
[0076] 在一些实施例中,特征点的描述信息包括每每一特征点的位置、所处尺度、方向。
[0077] 在一些实施例中,获得每一所述待识别图像的特征点,包括:从待识别图像中选取一点P,以P为圆心画一个半径为3个像素的圆;对圆周上的像素点进行灰度值比较,找出灰度值超过l(P)+h和低于l(P)‑h的像素,其中l(P)是P点的灰度,h是给定的阈值;如果有连续n个像素满足条件(一般n设置为9),则认为P为特征点;并获取特征点每一特征点的位置、所处尺度、方向。
[0078] 步骤S302、在至少两个待识别图像中,基于所述描述信息获取至少一个特征点组。
[0079] 其中,所述特征点组包括分别位于至少两个待识别图像的两个特征点。
[0080] 在一些实施例中,基于所述描述信息获取至少一个特征点组,可以理解的是,基于所述描述信息对至少两个待识别图像之间的特征点进行匹配,以得到至少一个特征点组,包括:基于每一特征点的位置、所处尺度、方向确定每一特征点的特征向量,计算至少两个待识别图像之间的特征点的特征向量之间的哈希值,至少两个待识别图像之间的特征点的特征向量之间的哈希值小于预设阈值的情况下,将至少两个待识别图像对应的至少两个特征点确定为特征点组。
[0081] 示例性地,包括第一待识别图像和第二待识别图像,基于第一待识别图像中的第一特征点的描述信息确定第一特征点的特征向量,基于第二待识别图像中的第二特征点的描述信息确定第二特征点的特征向量,计算第一特征点的特征向量和第二特征点的特征向量的哈希值,在哈希值小于预设阈值的情况下,将第一待识别图像中的第一特征点和第二待识别图像中的第二特征点确定为一个特征点组。
[0082] 步骤S303、基于所述至少一个特征点组和所述至少两个待识别图像生成目标图像。
[0083] 在一些实施例中,基于至少一个特征点组生成变换矩阵,基于变化变换矩阵和至少两个待识别图像得到目标图像;可以理解的,基于数据处理法计算出至少一个特征点组的变换矩阵,将变换矩阵和至少两个待识别图像进行融合,以得到目标图像。
[0084] 示例性地,基于最小二乘法计算出至少一个特征点组的仿射变换矩阵或透视变换矩阵,基于放射变换矩阵或透视变换矩阵确定至少两个待识别图像之间的变换关系,基于该变换关系将至少两个待识别图像进行融合,以得到目标图像。
[0085] 在本申请实施例中,基于至少两个待识别图像的特征点和特征点对应的描述信息,确定至少两个待识别图像对应的至少一个特征点组,基于至少一个特征点组得到至少两个待识别图像的变换关系,以对至少两个待识别头像进行融合得到能够识别出编码图像的解析结果的目标图像,从而提高识别准确率。
[0086] 在一些实施例中,所述描述信息包括尺度和方向;所述特征点组中各特征点在相应待识别图像中的尺度和方向相同。
[0087] 在一些实施例中,特征点的描述信息包括所处尺度、方向以及位置,其中,在获取待识别图像的特征点的过程中,需要构建多尺度金字塔(例如高斯金字塔)检测出尺度空间中的多个极值点,在多个极值点中将目标极值点确定为特征点,以将目标极值点所处的尺度确定为特征点的尺度,将目标极值点所处的梯度方向确定为特征点的方向,将目标极值点的位置确定为特征点的位置。
[0088] 在一些实施例中,基于每一特征点的方向、尺度、位置确定出特征点的特征向量,计算至少两个待识别图像之间特征点的特征向量的哈希值,将哈希值小于阈值的至少两个特征点确定为特征点组。
[0089] 图4为本申请实施例提供的一种图像处理方法的实现流程示意图,该方法可以由电子设备的处理器执行。基于图3,所述描述信息包括特征点的位置,图3中的步骤S303可以更新为步骤S401和步骤S402,将结合图4示出的步骤进行说明。
[0090] 步骤S401、基于每一所述特征点组中各特征点在相应待识别图像中的位置,确定每一所述特征点组中各特征点在相应待识别图像中的区域图像,得到每一所述特征点组对应的至少两个区域图像。
[0091] 在一些实施例中,至少两个区域图像表征至少两个待识别图像中的重叠区域图像。
[0092] 在一些实施例中,获取至少一个特征点组中属于同一待识别图像的多个特征点;基于多个特征点组在对应待识别图像中的位置,确定出该待识别图像的重叠区域图像,以得到每一特征点组对应的至少两个重叠区域图像。
[0093] 示例性地,至少两个待识别图像包括第一待识别图像和第二待识别图像;获取至少一个特征点组中属于第一待识别图像的多个第一特征点;基于多个第一特征点的位置获取第一待识别图像中的第一重叠区域图像;获取至少一个特征点组中属于第二待识别图像的多个第二特征点;基于多个第二特征点的位置获取第二待识别图像中的第二重叠区域图像;从而得到第一重叠区域图像和第二区重叠区域图像。
[0094] 步骤S402、基于每一所述特征点组对应的至少两个区域图像和所述至少两个待识别图像生成所述目标图像。
[0095] 在一些实施例中,将所述至少两个区域图像进行融合,得到融合区域图像;在每一待识别图像中将对应的区域图像进行裁剪得到至少两个裁剪图像;将融合区域图像和两个裁剪图像进行拼接,得到目标图像。
[0096] 示例性地,至少两个待识别图像包括第一待识别图像和第二待识别图像;将第一待识别图像中的第一重叠区域图像和第二待识别图像中的第二重叠区域图像进行融合得到融合重叠区域图像;对第一待识别图像中的第一重叠区域图像进行裁剪得到第一裁剪图像;对第二待识别图像中的第二重叠区域图像进行裁剪,得到第二裁剪图像,基于融合重叠区域图像、第一裁剪图像和第二裁剪图像得到目标图像。
[0097] 在本申请实施例中,通过特征点组中对应的各待识别图像的特征点,得到各待识别图像对应的重叠区域图像,基于重叠区域图像和各待识别图像中除重叠区域之外的图像,得到目标图像,从而提高识别准确性、
[0098] 图5为本申请实施例提供的一种图像处理方法的实现流程示意图,该方法可以由电子设备的处理器执行。图4中的步骤S401可以更新为步骤S501至步骤S503,将结合图5示出的步骤进行说明。
[0099] 步骤S501、获取每一所述特征点组中各特征点对应的区域图像的清晰度。
[0100] 在一些实施例中,基于图像清晰度评价算法获取特征点组中各特征点对应的待识别图像的中的区域图像的清晰度。可以理解的是,基于图像清晰度算法获取图像中边缘信息,通过计算图像中的边缘信息的梯度变化,以对图像的清晰度进行评估,其中,梯度变化越明显图像清晰度越高。
[0101] 示例性地,将待识别区域图像转换为灰度图像,并将灰度图像转换为二维离散矩阵,其中二维离散矩阵中的每一元素表征图像中的灰度值(像素值);基于梯度函数获取图像的灰度梯度,以得到区域图像中不同部位的灰度梯度,从而计算灰度梯度的均方根的和,以得到图像的清晰度;计算不同部位的灰阶梯度的均方根和,以得到不同部位对应的清晰度。
[0102] 步骤S502、基于每一所述特征点组中各特征点对应的区域图像的清晰度,生成每一所述特征点组对应的目标区域图像。
[0103] 在一些实施例中,获取区域图像中各部位的清晰度,基于各区域图像中各部位的清晰度将各特征点对应的区域图像进行融合,以得到目标区域图像。
[0104] 示例性地,将各特征点对应的区域图像中相同部位的清晰度进行比较,获取各特征点对应的区域图像中相同部位清晰度高的目标部位;基于各特征点对应的区域图像的多个清晰度高的目标部位,得到目标区域图像。
[0105] 步骤S503、基于每一所述特征点组对应的目标区域图像和所述至少两个待识别图像生成所述目标图像。
[0106] 在一些实施例中,获取各特征点对应的待识别图像,在待识别图像中将各特征点对应的区域图像进行裁剪得到裁剪图像,将各待识别图像的裁剪图像和目标区域图像进行融合,以得到目标图像。
[0107] 示例性地,至少两个待识别图像包括第一待识别图像和第二待识别图像;获取特征点组中第一特征点对应的第一待识别图像,在第一待识别图像中将第一特征点对应第一区域图像进行裁剪得到第一裁剪图像;在第二待识别图像中将第二特征点对应第二区域图像进行裁剪得到第二裁剪图像,基于目标区域图像、第一裁剪图像和第二裁剪图像得到目标图像。
[0108] 在本申请实施例中,通过获取各特征点对应的区域图像的清晰度,基于各区域图像的清晰度将各区域图像进行融合得到目标区域图像,基于目标区域图像和至少两个待识别图像进行拼接,以得到能够识别出编码图像的解析结果的目标图像,从而提高识别的准确率。
[0109] 图6为本申请实施例提供的一种图像处理方法的实现流程示意图,该方法可以由电子设备的处理器执行。基于图5,所述区域图像包括至少两个子区域图像;所述区域图像的清晰度包括每一子区域图像的清晰度;图5中的步骤S502可以更新为步骤S601和步骤S602,将结合图6示出的步骤进行说明。
[0110] 步骤S601、针对所述特征点组对应的区域图像中每一子区域,获取各所述特征点在所述子区域的子区域图像的清晰度,将清晰度最高的子区域图像确定为所述子区域的目标子区域图像。
[0111] 在一些实施例中,基于预设划分规则将每一个区域图像划分为多个子区域以得到多个子区域图像,获取每一区域图像中每一子区域图像的清晰度,比对多个区域图像中相同位置的子区域图像的清晰度,将清晰度高的子区域图像确定为目标子区域图像。其中,预设划分规则可以是基于预设大小进行划分。
[0112] 示例性地,所述特征点组对应的区域图像包括第一区域图像和第二区域图像;按照预设的大小将第一区域图像和第二区域图像分别划分为多个第一子区域和多个第二子区域,以得到多个第一子区域图像和多个第二子区域图像并获取每一第一子区域图像和每一第二子区域图像的清晰度;比较第一区域图像和第二区域图像中相同位置的第一子区域图像和第二子区域图像的清晰度,以将清晰度高的子区域图像确定为目标子区域图像。
[0113] 步骤S602、基于每一所述子区域的目标子区域图像,生成为所述特征点组对应的目标区域图像。
[0114] 在一些实施例中,比对多个区域图像中多个位置的子区域图像的清晰度,以得到多个位置的目标子区域图像,从而将多个位置的目标子区域图像进行融合,得到目标区域图像。
[0115] 示例性地,获取第一区域图像和第二区域图像中多个相同位置对应的多组第一子区域图像和第二子区域图像;比较每个相同位置对应的一组第一子区域图像和第二子区域图像的清晰度,以得到该相同位置对应的目标子区域图像;将多个相同位置对应的多个目标子区域图像进行融合,得到目标子区域图像。
[0116] 在本申请实施例中,通过将每个区域图像划分为多个子区域图像并获取每一子区域图像的清晰度,将多个区域图像中相同位置的子区域图像中清晰度高的子区域图像确定为目标子区域图像,将多个目标子区域图像融合成目标区域图像,以提高图像的识别准确率。
[0117] 图7为本申请实施例提供的一种图像处理方法的实现流程示意图,该方法可以由电子设备的处理器执行。图6中的步骤S602可以更新为步骤S701和步骤S702,将结合图7示出的步骤进行说明。
[0118] 步骤S701、在每一所述待识别图像中将对应的区域图像进行裁剪,得到至少两个待合并图像。
[0119] 在一些实施例中,获取各特征点对应的待识别图像,在待识别图像中将各特征点对应的区域图像进行裁剪得到至少两个待合并图像。
[0120] 示例性地,至少两个待识别图像包括第一待识别图像和第二待识别图像;获取特征点组中第一特征点对应的第一待识别图像,在第一待识别图像中将第一特征点对应第一区域图像进行裁剪得到第一待合并图像;在第二待识别图像中将第二特征点对应第二区域图像进行裁剪得到第二待合并图像。
[0121] 步骤S702、将所述至少两个待合并图像和所述目标区域图像进行合并,生成所述目标图像。
[0122] 在一些实施例中,获取各待合并图像在对应待识别图像中的位置信息以及;基于各待合并图像对应的第一位置信息将各待合并图像和目标区域图像进行融合,以得到目标图像。
[0123] 示例性地,至少两个待识别图像包括第一待识别图像和第二待识别图像;至少两个待合并图像包括至少第一待识别图像和第二待识别图像对应的第一待合并图像和第二待合并图像;其中第一待合并图像在第一待识别图像的左侧,第二待合并图像在第二待识别图像的右侧,将第一待合并图像拼接在目标区域图像的左侧、将第二待合并图像拼接在目标区域图像的右侧,以得到目标图像。
[0124] 在本申请实施例中,在每一待识别图像中将对应的区域图像裁剪掉,得到对应的待合并区域图像,基于待合并区域位于对应待识别区域的位置将待合并区域图像和目标区域图像进行拼接,以得到能够识别出编码图像的解析结果的目标图像,从而提高识别待识别图像的准确率。
[0125] 下面说明本申请实施例提供的一种图像处理方法在实际场景中的一种示例性应用。
[0126] 目前,在虚拟现实(Virtual Reality,VR)设备上进行二维码扫码时,只能使用到VR设备上的单个摄像头进行扫码,从而会导致在基于VR设备扫码时,无法准确对焦,导致扫码识别失败的问题。
[0127] 在一些实施例中,当用户使用双目相机扫描二维码时,左右眼看到的分别是从左右两个相机中提取到的图像,并未进行合成,通过预先确定的左相机或右相机中的一个对其对应的图像进行识别。其中,当扫描框位于两张图像中央部分时,每个框内只能提取到一部分二维码,使用此时的二维码图像无法完成识别,所以需要将两张二维码进行组合。由于组合中的图片并不需要显示给用户看,所以不需要与双目相机做相同的合并算法进行展示。
[0128] 图8为本申请实施例提供的一种基于双目相机的拍摄场景示意图,包括第一视角图801、第二视角图802,其中,第一视角图801和第二视角图802基于配备于VR设备的两个摄像头分别获取的,第一视角图801与第二视角图802都包括同一二维码,该二维码在第一视角图801和第二视角图802中的位置不同,从而会导致对应的摄像头识别该二维码时,针对两个视角图中的二维码的识别区域不同,降低了识别的准确性。
[0129] 在一些实施例中,本申请通过机器学习对第一视角图801和第二视角图802中的二维码以及其位置信息检测后进行匹配,以对第一视角图801和第二视角图802中的二维码进行合并,对合并后的二维码进行识别。
[0130] 图9为本申请实施例提供的一种图像处理方法的实现流程示意图,该流程可以由电子设备的处理器执行。该流程包括步骤S901至步骤S905,将结合图9示出的步骤进行过说明。
[0131] 步骤S901、对双目设备获取的两张图像进行反畸变。
[0132] 在一些实施例中,基于双目视觉设备的模型参数对其获取的两张图像进行反畸变,包括:使用特定的标定工具(如棋盘格)对两张图像进行标定得到标定图像,通过图像处理算法(如开源计算机视觉库(Open Source Computer Vision Library,OpenCV)中的检测棋盘角(findChessboardCorners)函数)提取标定图像中的角点;利用角点坐标和标定工具的实际尺寸,计算相机的内参矩阵(包括焦距、主点坐标等)和畸变系数;根据相机标定的结果,使用反畸变公式对图像中的每个像素点进行映射;通过插值算法(如双线性插值)计算映射后像素点的灰度值,得到反畸变后的图像。
[0133] 步骤S902、基于预设截取规则对反畸变后的图像进行截取,得到截取后图像。
[0134] 在一些实施例中,以反畸变后的图像的中心为中心点,以反畸变后的图像的二分之一长和二分之一宽为进行截取,以得到截取后图像;其中,截取后图像的大小约为原图像大小的四分之一。
[0135] 步骤S903、对截取后的图像进行极线校正,得到两个校正图像。
[0136] 在一些实施例中,图10为本申请实施例提供一种极线校正的示意图,其中,1001为双目设备的拍摄点,1002为双目设备的一个相机拍摄的第一图像,1003为双目设备的一个相机拍摄的第二图像;通过对第一图像1002和第二图像1003进行极线校正,以将第一图像1002和第二图像1003统一到同一平面,以得到第一校正图像1004和第二校正图像1005。
[0137] 步骤S904、获取两个校正图像中的特征点进行比对,得到比对结果,基于比对结果确定两个校正图像的重叠图像。
[0138] 在一些实施例中,基于特征提取算法(例如加速分段试验的特征(Features from Accelerated Segment Test,FAST)、快速旋转简报(Oriented FAST and Rotated BRIEF,ORB))提取两个校正图像中的特征点,包括:从图像中选取一点P,以P为圆心画一个半径为3个像素的圆;对圆周上的像素点进行灰度值比较,找出灰度值超过l(P)+h和低于l(P)‑h的像素,其中l(P)是P点的灰度,h是给定的阈值;如果有连续n个像素满足条件(一般n设置为9),则认为P为特征点,并为每一特征点增加附加信息,包括每一特征点的位置、所处尺度、方向。
[0139] 在一些实施例中,对两个校正图像中的特征点进行比对,包括:基于每一特征点的位置、所处尺度、方向得到每一特征点的特征向量,若两个校正图像中的特征点的特征向量的欧氏距离达到预设阈值,则表征对应的特征点匹配。
[0140] 在一些实施例中,基于两个校正图像中所匹配的特征点,得到两个校正图像中的重叠区域,以得到重叠图像。
[0141] 步骤S905、将两个校正图像对应的两个重叠图像划分成多个分块,将多个分块中的目标分块进行融合,得到目标重叠图像。
[0142] 在一些实施例中,将两个重叠图像按照相同划分方式进行划分,分别得到N个分块,基于图像清晰度算法得到每一分块的清晰度,比对两个重叠图像中同一位置的分块的清晰度,以获取两个重叠图像中每一位置清晰度高的N个目标分块,基于清晰度高的N个目标分块进行融合得到目标重叠图像。
[0143] 在一些实施例中,获取反畸变后的图像中截取后图像之外的剩余图像,将剩余图像和目标重叠图像进行合并,得到准确性高的目标图像,以对目标图像进行能识别。
[0144] 基于前述的实施例,本申请实施例提供一种图像处理装置,该装置包括所包括的各单元、以及各单元所包括的各模块,可以通过电子设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(Central Processing Unit,CPU)、微处理器(Microprocessor Unit,MPU)、数字信号处理器(Digital Signal Processor,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
[0145] 图11为本申请实施例提供的一种图像处理装置的组成结构示意图,如图11所示,图像处理装置1100包括:第一获得模块1101、第二获得模块1102,其中:第一获得模块1101,用于获得至少两个待识别图像;至少两个待识别图像分别包括两个采集单元在不同位置采集同一编码图像得到的图像信息;第二获得模块1102,用于如果至少两个待识别图像不满足目标条件,基于至少两个待识别图像获得目标图像;目标条件表征能够被识别以得到编码图像对应的解析结果;其中,目标图像满足目标条件。
[0146] 在一些实施例中,所述图像处理装置1100还包括确定模块(图中未示出),确定模块,用于如果待识别图像包括的编码图像的信息完整度小于目标阈值,确定待识别图像不满足目标条件;如果待识别图像包括的编码图像的信息完整度大于目标阈值,且经过第一处理后无法被识别,确定待识别图像不满足目标条件。
[0147] 在一些实施例中,所述确定模块(图中未示出),还用于基于每一待识别图像的图像效果,确定识别顺序;所述图像效果用于表征所述待识别图像包括的编码图像的质量参数;基于所述识别顺序进行识别,直至识别出一个满足目标条件的待识别图像;将该待识别图像确定为目标图像。
[0148] 在一些实施例中,所述第一获得模块1101,还用于获得每一所述待识别图像的特征点和所述特征点的描述信息;在至少两个待识别图像中,基于所述描述信息获取至少一个特征点组;所述特征点组包括分别位于至少两个待识别图像的两个特征点;基于所述至少一个特征点组和所述至少两个待识别图像生成目标图像。其中,所述描述信息包括尺度和方向;所述特征点组中各特征点在相应待识别图像中的尺度和方向相同。
[0149] 在一些实施例中,所述描述信息包括特征点的位置;,所述图像处理装置1100还包括生成模块(图中未示出),所述生成模块,用于基于每一所述特征点组中各特征点在相应待识别图像中的位置,确定每一所述特征点组中各特征点在相应待识别图像中的区域图像,得到每一所述特征点组对应的至少两个区域图像;基于每一所述特征点组对应的至少两个区域图像和所述至少两个待识别图像生成所述目标图像。
[0150] 在一些实施例中,所述生成模块,还用于获取每一所述特征点组中各特征点对应的区域图像的清晰度;基于每一所述特征点组中各特征点对应的区域图像的清晰度,生成每一所述特征点组对应的目标区域图像;基于每一所述特征点组对应的目标区域图像和所述至少两个待识别图像生成所述目标图像。
[0151] 在一些实施例中,所述区域图像包括至少两个子区域图像;所述区域图像的清晰度包括每一子区域图像的清晰度;所述生成模块,还用于针对所述特征点组对应的区域图像中每一子区域,获取各所述特征点在所述子区域的子区域图像的清晰度,将清晰度最高的子区域图像确定为所述子区域的目标子区域图像;基于每一所述子区域的目标子区域图像,生成为所述特征点组对应的目标区域图像。
[0152] 在一些实施例中,所述生成模块,还用于在每一所述待识别图像中将对应的区域图像进行裁剪,得到至少两个待合并图像;将所述至少两个待合并图像和所述目标区域图像进行合并,生成所述目标图像。
[0153] 以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法,对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
[0154] 需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件、软件或固件,或者硬件、软件、固件三者之间的任意结合。
[0155] 本申请实施例提供一种电子设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
[0156] 本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的,也可以是非瞬时性的。
[0157] 本申请实施例提供一种计算机程序,包括计算机可读代码,在所述计算机可读代码在电子设备中运行的情况下,所述电子设备中的处理器执行用于实现上述方法中的部分或全部步骤。
[0158] 本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一些实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
[0159] 这里需要指出的是:上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
[0160] 图12为本申请实施例提供的一种电子设备的硬件实体示意图,如图12所示,该电子设备1200的硬件实体包括:处理器1201、存储器1202和两个采集设备1203,其中,两个采集设备1203用于获取至少两个待识别图像;存储器1202存储有可在处理器1201上运行的计算机程序,处理器1201执行程序时实现上述任一实施例的方法中的步骤。
[0161] 存储器1202存储有可在处理器上运行的计算机程序,存储器1202配置为存储由处理器1201可执行的指令和应用,还可以缓存待处理器1201以及电子设备1200中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
[0162] 处理器1201执行程序时实现上述任一项的方法的步骤。处理器1201通常控制电子设备1200的总体操作。
[0163] 本申请实施例提供一种计算机存储介质,计算机存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一实施例的方法的步骤。
[0164] 这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
[0165] 上述处理器可以为目标用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
[0166] 上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read‑Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read‑Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read‑Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read‑Only Memory,CD‑ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
[0167] 应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各步骤/过程的序号的大小并不意味着执行顺序的先后,各步骤/过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
[0168] 需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0169] 在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
[0170] 上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0171] 另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0172] 或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
[0173] 以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。

当前第1页 第1页 第2页 第3页