[0078] 在应用式(1)时,近似矩阵Am×n而成的矩阵(以下称作“近似矩阵”)A~m×n能够使用下式(3)来表示。
[0079] Am×n≒A~m×n=Um×rΓr×rVTr×n…式(3)
[0080] 这里,矩阵Γr×r是具有r(r为1以上且I以下的整数)个对角成分的r行r列的对角矩阵,矩阵Γr×r在对角成分中具有矩阵Γm×n中的对角成分中的σ1,σ2,…,σr。此外,Um×r是由从T矩阵Um×m的左侧到r列为止的成分构成的m行r列的矩阵,同样,矩阵V r×n是由从Vn×n的左侧到r列为止的成分构成的n行r列的矩阵Vn×r的转置矩阵。根据式(3)可知,本近似表示具有r~
个奇异值的矩阵的奇异值分解,因此,矩阵A m×n表示秩I的矩阵Am×n的秩r中的低秩近似。
[0081] 奇异值分解部140对矩阵生成部130生成的矩阵Wm进行奇异值分解,由此计算满足与式(1)对应的下式(4)的右奇异向量和奇异值。
[0082] Wm=Um×mΓm×nVTn×n…式(4)
[0083] 已学习模型生成部150根据奇异值分解部140计算的右奇异向量和奇异值生成已学习模型。
[0084] 已学习模型生成部150生成的已学习模型将表示对水平方向和垂直方向均与学习用图像相同像素数的图像(以下称作“推理对象图像”)进行一维化而成的图像的信号(以下称作“一维推理对象图像信号”)作为说明变量,输出推理结果。这里,推理对象图像是拍摄作为推理对象的物体(以下称作“推理对象物体”)而得到的图像(以下称作“推理拍摄图像”)或对推理拍摄图像实施图像处理而得到的图像。
[0085] 具体而言,已学习模型生成部150生成基于奇异值分解部140计算的奇异值中的按照值从大到小的顺序预先确定的r个奇异值与具有与r个奇异值的组合即对角矩阵对应的右奇异向量的组的矩阵的组合的已学习模型。
[0086] 更具体而言,例如,已学习模型生成部150生成满足下式(5)的矩阵Γr×r和VTn×r作为已学习模型的参数。
[0087] Wm≒Um×rΓr×rVTn×r…式(5)
[0088] 这里,矩阵Γr×r是r个奇异值配置于对角的r行r列的对角矩阵。此外,矩阵VTn×r是表示与式(5)中的矩阵Γr×r对应的Wm的右奇异向量的组的矩阵Vn×r的转置矩阵。此时,右奇T异向量是Vn×r的列向量(在Vn×r的情况下进行转置,因此成为行向量)。
[0089] 另外,在已学习模型生成部150中,关于奇异值分解部140计算的奇异值中的按照值从大到小的顺序采用的奇异值的个数(Wm的近似矩阵的秩)r,即使已学习模型生成部150保持表示该个数的信息,已学习模型生成部150也可以根据用户操作来取得。
[0090] 另外,在上述r预先决定的情况下,奇异值分解部140例如也可以使用以下所示的文献1中记载的与奇异值分解中的高速解法有关的技术来实现奇异值分解的高速化或省存储器化。
[0091] 文献1:"Matthew Brand","Fast Low‑Rank Modifications of the Thin Singular Value Decomposition","MITSUBISHI ELECTRIC RESEARCH LABORATORIES",[令和2年12月4日检索],互联网(URL:https://www.merl.com/publications/docs/TR2006‑059.pdf)
[0092] 在文献1中,在进行奇异值分解时,针对奇异值分解对象矩阵Am×n,首先对矩阵Am×nT的r行(矩阵Ar×n)进行通常的奇异值分解运算,求出奇异值分解矩阵Um×r′、Γr×r′、Vn×r′。然T
后,针对其余的m‑r行,进行针对奇异值分解矩阵Um×r′、Γr×r′、Vn×r′的逐次的更新处理。具体而言,按照任意的j行(j为1以上的整数),反复进行从在紧前的更新处理中得到的奇异值分解矩阵更新为矩阵A(r+J)×n(J为到该更新处理为止的j的总和)的奇异值分解矩阵的矩阵运算(以下称作“更新运算”),直到成为r+J=m为止,由此实现矩阵Am×n的奇异值分解。本更新运算与通常的奇异值分解的运算处理相比成为较少的运算量,因此,一般而言,与一次实施矩阵Am×n的奇异值分解运算相比,高速且省存储器。此时,处理对象行数j也可以在每次更新运算时发生变化。例如,在m‑r=20的情况下,针对该其余的20行,能够依次如3行、7行、1行、2行、2行、5行这样任意地设定t。
[0093] 根据如上所述能够进行任意行数的更新运算的特征,还能够通过文献1记载的奇T异值分解进行追加学习。即,作为Wm的已学习模型,构成为不仅保持矩阵Γr×r、Vn×r,还保持矩阵Um×r。由此,使用将希望追加学习的l个一维学习图像信号彼此并列地排列而成的矩阵T
Wl,进行对已经存在的上述奇异值分解矩阵Um×r、Γr×r、Vn×r进行更新的矩阵运算,由此得到与对将矩阵Wm和矩阵Wl在行方向上连结而成的矩阵Wm+1进行奇异值分解的情况相同的学习T
模型(矩阵U(m+l)×r″、Γr×r″、Vn×r″)。在不使用上述更新运算的情况下,不能进行追加学习,作为再次学习,需要对矩阵Wm+1进行通常的奇异值分解,因此,能够通过上述更新运算实现高速且省存储器的追加学习处理。另外,可以是初始的学习和追加学习均使用上述更新运算,也可以仅追加学习使用上述更新运算。
[0094] 进而,在文献1中记载有如下技术:针对矩阵Am×n的奇异值分解后的矩阵Um×r、T TΓr×r、Vn×r,使用上述行向量a,仅通过从已经存在的矩阵Um×r、Γr×r、Vn×r起的更新运算来实现将从矩阵Am×n中选择出的1个行向量a排除的矩阵Am×n,a的奇异值分解运算。通过导入该T
技术,即使在已学习模型(矩阵Um×r、Γr×r、Vn×r)中使用的学习图像信号中由于人为错误等而混入了不适合学习的图像的情况下,也可通过高速且省存储器的运算得到将不适合的一维学习图像信号wd′(与所述行向量a对应)排除的情况下的已学习模型(矩阵U(m‑1)×r″′、T
Γr×r″′、Vn×r″′)。
[0095] 此时,在存在多个希望排除的学习图像的情况下,依次实施上述处理即可。
[0096] 进而,在文献1中记载有如下技术:针对奇异值分解后的矩阵Um×r、Γr×r、VTn×r,使T用上述行向量a和上述行向量a′,仅通过从已经存在的矩阵Um×r、Γr×r、V n×r起的更新运算来实现将从矩阵Am×n中选择出的1个行向量a排除且追加1个新的行向量a′而成的矩阵T
Am×n,a′‑a的奇异值分解运算。通过导入该技术,即使在已学习模型(矩阵Um×r、Γr×r、Vn×r)中使用的学习图像信号中由于人为错误等而混入了与本来应该学习的图像不同的图像的情况下,也可通过高速且省存储器的运算得到将不适合的一维学习图像信号wd′(与所述行向量a对应)置换为正确的一维学习图像信号wa′(与所述行向量a′对应)的情况下的已学习模T
型(矩阵Um×r″″、Γr×r″″、Vn×r″″)。
[0097] 此时,在存在多个希望置换的学习图像的情况下,依次实施上述处理即可。
[0098] 例如,在作为说明变量输入了一维推理对象图像信号时,已学习模型生成部150根据奇异值分解部140计算的右奇异向量和奇异值,生成输出一维推理对象图像信号的近似信号(以下称作“一维近似信号”)作为推理结果的已学习模型。
[0099] 下面,将一维近似信号记作wt来进行说明。
[0100] wt能够使用式(4)中的矩阵Γm×n和行例VTn×n通过下式(6)来表示。
[0101] wt=utΓm×nVTn×n…式(6)
[0102] 这里,ut是一维向量,是由用于使用矩阵Γm×n和行例VTn×n复原wt的系数构成的wt的T特征向量。根据式(4),矩阵Γm×n和行例Vn×n已知,因此,如果wt确定,则唯一地决定ut。
[0103] 在应用式(6)时,wt能够使用式(5)中的矩阵Γr×r和行例VTn×r通过下式(7)来近似。
[0104] wt≒wt~=ut~Γr×rVTn×r…式(7)
[0105] 这里,wt~是近似wt而成的一维近似信号。此外,ut~是将wt的特征向量即ut的维数削减至r维的特征向量(以下称作“近似特征向量”),能够得到下式(8)。
[0106] ut~=wt~Vn×rΓr×r‑1≒wtVn×rΓr×r‑1…式(8)
[0107] 这里,Γr×r‑1是Γr×r的逆矩阵。
[0108] 如上所述,在作为说明变量输入了一维推理对象图像信号即wt时,已学习模型生~成部150例如根据式(7)生成输出一维近似信号即wt 的已学习模型。
[0109] 此外,在作为说明变量输入了一维推理对象图像信号时,已学习模型生成部150也可以根据奇异值分解部140计算的右奇异向量和奇异值,生成输出与一维推理对象图像信号对应的推理对象图像的特征向量作为推理结果的已学习模型。
[0110] 该情况下,例如,在作为说明变量输入了一维推理对象图像信号时,已学习模型生成部150生成输出与一维推理对象图像信号对应的推理对象图像的特征向量且是将该特征~向量ut的维数削减至r维的特征向量ut 作为推理结果的已学习模型。
[0111] 如上所述,在作为说明变量输入了一维推理对象图像信号即wt时,已学习模型生成部150例如也可以根据式(8)生成输出与一维推理对象图像信号对应的推理对象图像的~近似特征向量即ut 的已学习模型。
[0112] 已学习模型输出部160输出已学习模型生成部150生成的已学习模型作为已学习模型信息。
[0113] 具体而言,例如,已学习模型输出部160将已学习模型信息输出到存储装置11,使存储装置11进行存储。
[0114] 通过如上所述构成,学习装置100能够生成未由使中间层多层化的深度神经网络构成的已学习模型。其结果是,学习装置100不需要参数的反复优化处理而仅通过1次的奇异值分解就能够生成能够进行高精度推理的已学习模型,因此,与以往相比能够在短时间内生成能够进行高精度推理的已学习模型。
[0115] 在此前的说明中,学习用图像取得部110从存储装置11读出学习用图像信息,由此取得预先生成的彼此不同的多个学习用图像信息,但是,学习用图像取得部110取得学习用图像信息的方法不限于此。
[0116] 例如,学习用图像取得部110也可以根据表示与学习用图像信息不同的图像的、表示通过拍摄对象物体而取得的图像(以下称作“拍摄图像”)的信息“以下称作“拍摄图像信息””,生成并取得学习用图像信息。
[0117] 为了使学习用图像取得部110根据拍摄图像信息生成并取得学习用图像信息,例如如图2所示,学习装置100具有拍摄图像取得部111。
[0118] 拍摄图像取得部111取得表示通过拍摄对象物体而取得的拍摄图像的拍摄图像信息。
[0119] 具体而言,拍摄图像取得部111取得与彼此不同的多个对象物体分别对应的拍摄图像信息。
[0120] 例如,拍摄图像取得部111从预先存储有与彼此不同的多个对象物体分别对应的、多个拍摄图像信息的存储装置11读出拍摄图像信息,由此取得与彼此不同的多个对象物体分别对应的拍摄图像信息。
[0121] 该情况下,例如,学习用图像取得部110关于拍摄图像取得部111取得的多个拍摄图像信息分别表示的拍摄图像,将拍摄图像分割成多个图像区域,取得与各图像区域对应的部分图像。学习用图像取得部110按照每个拍摄图像信息取得分别表示基于拍摄图像的多个部分图像的部分图像信息,由此取得与拍摄图像取得部111取得的多个拍摄图像信息分别对应的多个部分图像信息作为学习用图像信息。具体的分割图像的例子是所述的图3B中记载的分割块。
[0122] 此外,该情况下,矩阵生成部130将与学习用图像取得部110取得的、与拍摄图像取得部111取得的多个拍摄图像信息分别对应的多个部分图像信息中的符合预定的条件的多个部分图像信息对应的多个一维学习图像信号彼此并列地排列,由此生成矩阵。
[0123] 这里,符合预定的条件的多个部分图像信息例如是与多个拍摄图像信息分别表示的拍摄图像中的彼此相同的图像区域对应的部分图像信息。在图3B中,相同的图像区域是分割块Di,j的位置索引(i,j)一致的块。
[0124] 即,例如,矩阵生成部130将一维学习图像生成部120根据与拍摄图像取得部111取得的多个拍摄图像信息分别表示的拍摄图像中的彼此相同的图像区域对应的部分图像信息生成的多个一维学习图像信号彼此并列地排列,由此生成矩阵。
[0125] 奇异值分解部140将一维学习图像生成部120根据部分图像信息生成的一维学习图像信号彼此并列地排列,由此计算矩阵生成部130生成的矩阵中的右奇异向量和奇异值。
[0126] 此外,已学习模型生成部150生成输出与矩阵生成部130生成的基于部分图像信息的矩阵对应的右奇异向量和奇异值的已学习模型。
[0127] 通过如上所述构成,学习装置100能够将拍摄推理对象物体而得到的图像(拍摄图像)中的预定的图像区域中的图像(部分图像)设为推理对象图像,在作为说明变量输入了与该推理对象图像对应的一维推理对象图像信号时,生成输出与该推理对象图像对应的一维近似信号或该推理对象图像的特征向量作为推理结果的已学习模型。
[0128] 其结果是,学习装置100与以往相比能够在短时间内生成能够进行专用于拍摄推理对象物体而得到的拍摄图像中的预定的图像区域中的部分图像的高精度推理的已学习模型。
[0129] 矩阵生成部130也可以根据预定的条件,生成与每个条件对应的矩阵。
[0130] 具体而言,例如,矩阵生成部130生成与拍摄图像中的多个图像区域分别对应的矩阵。在图3B中,多个图像区域是汇集多个分割块Di,j而成的区域。例如是在水平方向上汇集4个分割块、在垂直方向上汇集2个分割块而成的区域。下面,将本区域称作“段”。这里,最大的段的例子是在图像整体中设为1个段的情况,该情况下,要生成的已学习模型为1个,能够减小保存已学习模型所需要的存储器容量。此外,各段的大小也可以不同。在预先知道在拍摄图像的哪个位置映出什么的情况下,进行明确的段分割(例如分割成被摄体和背景),由此能够利用各段对图像的特征进行分割,能够缩小应该学习的图像图案,因此,能够以有限的已学习模型数(段数)实现能够进行高精度推理(图像生成)的高效学习。
[0131] 另一方面,最小的段的例子是按照1个部分图像的每个位置设为1个段的情况,该情况下,段数为部分图像分割数。由此,虽然学习模型数增大,但是能够进行专用于各部分图像位置的学习,能够进行非常高精度的推理(图像生成)。另外,该情况与上述记载的条件的情况相同。
[0132] 该情况下,例如,奇异值分解部140关于矩阵生成部130生成的每个条件的矩阵计算右奇异向量和奇异值。
[0133] 具体而言,例如,奇异值分解部140关于矩阵生成部130生成的与拍摄图像中的多个图像区域分别对应的矩阵,计算与多个矩阵分别对应的右奇异向量和奇异值。
[0134] 此外,该情况下,已学习模型生成部150与矩阵生成部130生成的每个条件的矩阵对应地,根据奇异值分解部140计算的右奇异向量和奇异值生成与每个条件的矩阵对应的已学习模型。
[0135] 具体而言,例如,已学习模型生成部150关于矩阵生成部130生成的与拍摄图像中的多个图像区域分别对应的矩阵,与多个该矩阵分别对应地,根据奇异值分解部140计算的右奇异向量和奇异值生成与多个矩阵分别对应的已学习模型。
[0136] 通过如上所述构成,学习装置100能够将拍摄推理对象物体而得到的图像(拍摄图像)中的预定的多个图像区域各自的图像(部分图像)设为推理对象图像,在将与多个该推理对象图像分别对应的一维推理对象图像信号作为说明变量输入到使用相同的图像区域的部分图像生成的已学习模型时,按照每个图像区域生成输出与多个该推理对象图像分别对应的一维近似信号或与多个该推理对象图像分别对应的特征向量作为推理结果的已学习模型。
[0137] 其结果是,学习装置100能够按照每个图像区域,与以往相比在短时间内生成能够进行专用于拍摄推理对象物体而得到的拍摄图像中的预定的多个图像区域各自的部分图像的高精度推理的已学习模型。
[0138] 如图2所示,学习装置100可以具有拍摄图像取得部111和聚类部112。
[0139] 聚类部112对学习用图像取得部110取得的、与拍摄图像取得部111取得的多个拍摄图像信息分别对应的多个部分图像信息分别表示的部分图像进行聚类。
[0140] 在学习装置100具有拍摄图像取得部111和聚类部112的情况下,例如,矩阵生成部130将一维学习图像生成部120关于属于根据聚类部112聚类的结果而分类出的各类别的多个部分图像分别生成的多个一维学习图像信号彼此并列地排列,由此生成矩阵。
[0141] 在聚类中,例如存在如下方法:针对对各部分图像自身、对部分图像进行特征转换后的图像(例如边缘图像、正交变换图像)自身、或对它们进行平滑化处理或合并处理等滤波处理后的图像中的任意一方或这些图像的组进行一维化后的信号,使用k‑means法、层次型聚类、DBSCAN(Density‑based spatial clustering of applications with noise:具有噪声的基于密度的聚类方法)、GMM(Gaussian Mixture Model:高斯混合模型)等聚类方法。
[0142] 多个部分图像信息是分别表示属于根据聚类部112聚类的结果而分类出的各类别的多个部分图像的部分图像信息。
[0143] 通过如上所述构成,学习装置100能够针对各类别,将拍摄推理对象物体而得到的图像(拍摄图像)中的预定的多个图像区域各自的图像(部分图像)中的属于该类别的部分图像设为推理对象图像,在将与该推理对象图像对应的一维推理对象图像信号作为说明变量输入到使用属于该类别的多个部分图像生成的已学习模型时,生成输出与该推理对象图像对应的一维近似信号或与该推理对象图像对应的特征向量作为推理结果的已学习模型。
[0144] 其结果是,学习装置100与以往相比能够在短时间内生成能够进行专用于拍摄推理对象物体而得到的图像中的属于预定的类别的部分图像的高精度推理的已学习模型。
[0145] 此外,矩阵生成部130也可以生成与各类别对应的矩阵。
[0146] 该情况下,例如,奇异值分解部140关于矩阵生成部130生成的与各类别对应的矩阵,按照每个矩阵计算右奇异向量和奇异值。
[0147] 此外,该情况下,已学习模型生成部150根据矩阵生成部130生成的与各类别对应的右奇异向量和奇异值,生成与各类别对应的已学习模型。
[0148] 通过如上所述构成,学习装置100能够按照每个类别,与以往相比在短时间内生成能够进行专用于拍摄推理对象物体而得到的图像(拍摄图像)中的多个图像区域各自的部分图像(特别是专用于分别属于各类别的图像)的高精度推理的已学习模型。
[0149] 参照图4A和图4B对实施方式1的学习装置100的主要部分的硬件结构进行说明。
[0150] 图4A和图4B是示出实施方式1的学习装置100的主要部分的硬件结构的一例的图。
[0151] 如图4A所示,学习装置100由计算机构成,该计算机具有处理器401和存储器402。在存储器402中存储有用于使该计算机作为学习用图像取得部110、拍摄图像取得部111、聚类部112、一维学习图像生成部120、矩阵生成部130、奇异值分解部140、已学习模型生成部
150和已学习模型输出部160发挥功能的程序。处理器401读出并执行存储器402中存储的程序,由此实现学习用图像取得部110、拍摄图像取得部111、聚类部112、一维学习图像生成部
120、矩阵生成部130、奇异值分解部140、已学习模型生成部150和已学习模型输出部160。
[0152] 此外,如图4B所示,学习装置100也可以由处理电路403构成。该情况下,学习用图像取得部110、拍摄图像取得部111、聚类部112、一维学习图像生成部120、矩阵生成部130、奇异值分解部140、已学习模型生成部150和已学习模型输出部160的功能也可以通过处理电路403来实现。
[0153] 此外,学习装置100也可以由处理器401、存储器402和处理电路403构成(未图示)。该情况下,也可以是,学习用图像取得部110、拍摄图像取得部111、聚类部112、一维学习图像生成部120、矩阵生成部130、奇异值分解部140、已学习模型生成部150和已学习模型输出部160的功能中的一部分功能通过处理器401和存储器402来实现,其余的功能通过处理电路403来实现。
[0154] 处理器401例如使用CPU(Central Processing Unit:中央处理单元)、GPU(Graphics Processing Unit:图形处理单元)、微处理器、微控制器或DSP(Digital Signal Processor:数字信号处理器)。
[0155] 存储器402例如使用半导体存储器或磁盘。更具体而言,存储器402使用RAM(Random Access Memory:随机存取存储器)、ROM(Read Only Memory:只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory:可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read‑Only Memory:电可擦除可编程只读存储器)、SSD(Solid State Drive:固态驱动器)或HDD(Hard Disk Drive:硬盘驱动器)等。
[0156] 处理电路403例如使用ASIC(Application Specific Integrated Circuit:专用集成电路)、PLD(Programmable Logic Device:可编程逻辑器件)、FPGA(Field Programmable Gate Array:现场可编程门阵列)、SoC(System‑on‑a‑Chip:单芯片系统)或系统LSI(Large‑Scale Integration:大规模集成电路)。
[0157] 参照图5对实施方式1的学习装置100的动作进行说明。
[0158] 图5是说明实施方式1的学习装置100的处理的一例的流程图。
[0159] 另外,图5是学习装置100在学习用图像取得部110、一维学习图像生成部120、矩阵生成部130、奇异值分解部140、已学习模型生成部150和已学习模型输出部160的基础上还具有拍摄图像取得部111和聚类部112的情况下的流程图。
[0160] 在学习装置100不具有聚类部112或不具有拍摄图像取得部111和聚类部112的情况下,在图5中,能够适当省略拍摄图像取得部111或聚类部112进行的处理。
[0161] 首先,在步骤ST501中,拍摄图像取得部111取得拍摄图像信息。
[0162] 接着,在步骤ST502中,学习用图像取得部110取得与多个拍摄图像信息分别对应的多个部分图像信息作为学习用图像信息。
[0163] 接着,在步骤ST503中,聚类部112对多个部分图像信息分别表示的部分图像进行聚类。
[0164] 接着,在步骤ST504中,一维学习图像生成部120关于多个学习用图像信息生成一维学习图像信号。
[0165] 接着,在步骤ST505中,矩阵生成部130生成将多个一维学习图像信号彼此并列地排列而成的矩阵。
[0166] 接着,在步骤ST506中,奇异值分解部140对矩阵进行奇异值分解,由此计算右奇异向量和奇异值。但是,在进行追加学习处理、去除或置换特定的学习数据等使用文献1的更新运算的学习模型的更新处理的情况下(第0031段~第0033段),还得到左奇异向量。
[0167] 接着,在步骤ST507中,已学习模型生成部150根据右奇异向量和奇异值生成已学习模型。但是,在进行追加学习处理、去除或置换特定的学习数据等使用文献1的更新运算的学习模型的更新处理的情况下(第0031段~第0033段),还包含左奇异向量在内生成已学习模型。
[0168] 接着,在步骤ST508中,已学习模型输出部160输出已学习模型作为已学习模型信息。
[0169] 在步骤ST508之后,学习装置100结束该流程图的处理。
[0170] 参照图6~图9对实施方式1的图像处理装置200进行说明。
[0171] 参照图6对应用实施方式1的图像处理装置200的图像处理系统20的主要部分的结构进行说明。
[0172] 图6是示出应用实施方式1的图像处理装置200的图像处理系统20的主要部分的结构的一例的框图。
[0173] 图像处理系统20具有存储装置21、显示输出装置22、操作输入装置23、摄像装置24和图像处理装置200。
[0174] 存储装置21是存储图像处理装置200执行预定的规定处理所需要的信息的装置。具体而言,例如,存储装置21存储学习装置100输出的已学习模型信息。图像处理装置200读出存储装置21中存储的已学习模型信息,由此取得已学习模型信息。
[0175] 显示输出装置22是取得显示图像信号并显示该显示图像信号表示的显示图像的显示器等装置。显示输出装置22接受图像处理装置200输出的显示图像信号,显示该显示图像信号表示的显示图像。
[0176] 操作输入装置23是接受用户操作并输出基于用户操作的操作信号的键盘或指示设备等装置。操作输入装置23不限于键盘或指示设备,只要能够接受用户操作并输出基于用户操作的操作信号即可,也可以是触摸面板或触摸传感器等。
[0177] 操作输入装置23将操作信号输出到图像处理装置200。
[0178] 摄像装置24是输出通过拍摄推理对象物体而得到的图像(以下称作“拍摄推理图像”)作为拍摄推理图像信息的数字静态照相机等装置。具体而言,摄像装置24将拍摄推理图像信息输出到图像处理装置200。
[0179] 图像处理装置200是如下装置:根据基于拍摄推理图像信息表示的拍摄推理图像的图像(以下称作“推理对象图像”)和已学习模型信息表示的已学习模型,取得将基于推理对象图像的信号作为说明变量输入到已学习模型时的已学习模型输出的推理结果,取得基于所取得的推理结果的推理结果信息。
[0180] 通过显示输出装置22和操作输入装置23,对操作图像处理装置200的用户提供交互式用户界面。
[0181] 即,用户确认显示输出装置22中显示的显示图像,并且使用操作输入装置23进行用户操作,由此能够使图像处理装置200进行用户期望的控制。
[0182] 参照图7对实施方式1的图像处理装置200的主要部分的结构进行说明。
[0183] 图7是示出实施方式1的图像处理装置200的主要部分的结构的一例的框图。
[0184] 图像处理装置200具有推理对象图像取得部210、一维推理对象图像生成部220和推理部240。
[0185] 图像处理装置200也可以在上述的结构的基础上还具有拍摄推理图像取得部211或已学习模型取得部230。
[0186] 下面,如图7所示,设图像处理装置200具有推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230和推理部240来进行说明。
[0187] 另外,作为图7中未图示的结构,图像处理装置200具有取得操作输入装置23输出的操作信号的操作取得部、以及生成显示图像并将表示该显示图像的显示图像信号输出到显示输出装置22的显示图像输出部。
[0188] 拍摄推理图像取得部211取得表示通过拍摄推理对象物体而得到的拍摄推理图像的拍摄推理图像信息。
[0189] 具体而言,例如,拍摄推理图像取得部211取得摄像装置24输出的拍摄推理图像信息。
[0190] 拍摄推理图像取得部211取得拍摄推理图像信息的方法不限于取得摄像装置24输出的拍摄推理图像信息的方法。例如,拍摄推理图像取得部211也可以从预先存储有拍摄推理图像信息的存储装置21读出拍摄推理图像信息,由此取得拍摄推理图像信息。
[0191] 推理对象图像取得部210取得表示基于拍摄推理对象物体而得到的图像(拍摄推理图像)的图像(推理对象图像)的推理对象图像信息。
[0192] 具体而言,例如,推理对象图像取得部210从预先存储有推理对象图像信息的存储装置21读出推理对象图像信息,由此取得推理对象图像信息。
[0193] 推理对象图像取得部210取得推理对象图像信息的方法不限于从存储装置21读出的方法。例如,推理对象图像取得部210也可以取得拍摄推理图像取得部211取得的拍摄推理图像信息作为推理对象图像信息。此外,例如,推理对象图像取得部210也可以根据拍摄推理图像取得部211取得的拍摄推理图像信息生成推理对象图像信息,由此取得推理对象图像信息。推理对象图像取得部210根据拍摄推理图像信息生成推理对象图像信息的方法在后面叙述。
[0194] 一维推理对象图像生成部220对推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像进行一维化,生成与推理对象图像信息对应的一维信号(以下称作“一维推理对象图像信号”)。
[0195] 具体而言,例如,一维推理对象图像生成部220对推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像进行光栅搜查,由此生成一维推理对象图像信号。
[0196] 下面,将推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像记作推理对象图像wt,将与推理对象图像wt对应的一维推理对象图像生成部220生成的一维~推理对象图像信号记作一维推理对象图像信号wt 来进行说明。
[0197] 已学习模型取得部230取得学习装置100输出的已学习模型信息。具体而言,例如,已学习模型取得部230从预先存储有已学习模型信息的存储装置21读出已学习模型信息,由此取得已学习模型信息。已学习模型取得部230也可以经由LAN(Local Area Network:局域网)等信息网络等从图6中未图示的学习装置100取得已学习模型信息。
[0198] 另外,在推理部240预先保持已学习模型信息的情况下,在图像处理装置200中,已学习模型取得部230不是必须的结构。
[0199] 推理部240根据一维推理对象图像生成部220生成的一维推理对象图像信号,取得与一维推理对象图像信号对应的推理结果信息。具体而言,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型信息表示的已学习模型,取得已学习模型输出的推理结果,由此取得基于推理结果的推理结果信息。
[0200] 在学习装置100生成的已学习模型输出与一维推理对象图像信号对应的一维近似信号作为推理结果的情况下,例如,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的一维近似信号。进而,推理部240取得表示根据已学习模型作为推理结果输出的一维近似信号生成的复原图像的复原图像信息作为推理结果信息。具体而言,例如,推理部240将已学习模型作为推理结果输出的一维近似信号映射到与推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像相同大小的二维图像,由此生成复原图像。推理部240生成复原图像,由此取得表示复原图像的复原图像信息作为推理结果信息。
[0201] 此外,在学习装置100生成的已学习模型输出与一维推理对象图像信号对应的推理对象图像的特征向量作为推理结果的情况下,例如,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的、与一维推理对象图像信号对应的推理对象图像的特征向量。进而,推理部240取得表示已学习模型作为推理结果输出的特征向量的特征向量信息作为推理结果信息。
[0202] 通过如上所述构成,图像处理装置200能够使用与以往相比在短时间内生成的已学习模型进行高精度推理。
[0203] 对推理对象图像取得部210根据拍摄推理图像信息生成推理对象图像信息的方法进行说明。
[0204] 推理对象图像取得部210关于拍摄推理图像取得部211取得的拍摄推理图像信息表示的拍摄推理图像,将拍摄推理图像分割成多个图像区域。推理对象图像取得部210生成并取得分别表示通过将拍摄推理图像分割成多个图像区域而得到的多个图像(以下称作“部分推理图像”)的部分推理图像信息。推理对象图像取得部210分别取得与拍摄推理图像取得部211取得的拍摄推理图像信息对应的多个部分推理图像信息中的预定的1个以上的部分推理图像信息作为推理对象图像信息。
[0205] 在推理对象图像取得部210取得部分推理图像信息作为推理对象图像信息的情况下,一维推理对象图像生成部220生成与推理对象图像取得部210取得的1个以上的推理对象图像信息分别对应的一维推理对象图像信号。推理部240取得与一维推理对象图像生成部220生成的一维推理对象图像信号对应的推理结果信息,该一维推理对象图像信号与1个以上的推理对象图像信息分别对应。
[0206] 该情况下,已学习模型是学习装置100使用部分图像作为学习用图像生成的已学习模型,具体而言,已学习模型是学习装置100根据将基于与多个拍摄图像各自的彼此相同的图像区域对应的多个部分图像的一维学习图像信号彼此并列地排列而生成的矩阵生成的已学习模型。因此,按照定义的每个图像区域存在一个已学习模型。
[0207] 通过如上所述构成,图像处理装置200能够进行专用于拍摄推理图像中的预定的1个以上的图像区域各自的部分图像的高精度推理。
[0208] 参照图8A和图8B对实施方式1的图像处理装置200的主要部分的硬件结构进行说明。
[0209] 图8A和图8B是示出实施方式1的图像处理装置200的主要部分的硬件结构的一例的图。
[0210] 如图8A所示,图像处理装置200由计算机构成,该计算机具有处理器801和存储器802。在存储器802中存储有用于使该计算机作为推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230和推理部240发挥功能的程序。处理器801读出并执行存储器802中存储的程序,由此实现推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230和推理部240。
[0211] 此外,如图8B所示,图像处理装置200也可以由处理电路803构成。该情况下,推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230和推理部240的功能也可以通过处理电路803来实现。
[0212] 此外,图像处理装置200也可以由处理器801、存储器802和处理电路803构成(未图示)。该情况下,也可以是,推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230和推理部240的功能中的一部分功能通过处理器801和存储器802来实现,其余的功能通过处理电路803来实现。
[0213] 处理器801和存储器802与图4A所示的处理器401和存储器402相同,因此省略说明。
[0214] 此外,处理电路803与图4B所示的处理电路403相同,因此省略说明。
[0215] 参照图9对实施方式1的图像处理装置200的动作进行说明。
[0216] 图9是说明实施方式1的图像处理装置200的处理的一例的流程图。
[0217] 另外,图9是图像处理装置200在推理对象图像取得部210、一维推理对象图像生成部220和推理部240的基础上还具有拍摄推理图像取得部211和已学习模型取得部230的情况下的流程图。
[0218] 在图像处理装置200不具有拍摄推理图像取得部211或已学习模型取得部230的情况下,在图9中,能够适当省略拍摄推理图像取得部211和已学习模型取得部230进行的处理。
[0219] 首先,在步骤ST901中,拍摄推理图像取得部211取得拍摄推理图像信息。
[0220] 接着,在步骤ST902中,推理对象图像取得部210取得推理对象图像信息。
[0221] 接着,在步骤ST903中,一维推理对象图像生成部220生成一维推理对象图像信号。
[0222] 接着,在步骤ST904中,已学习模型取得部230取得已学习模型信息。
[0223] 接着,在步骤ST905中,推理部240取得已学习模型输出的推理结果,取得基于推理结果的推理结果信息。
[0224] 在步骤ST905之后,图像处理装置200结束该流程图的处理,在结束后返回步骤ST901,反复执行该流程图的处理。
[0225] 如上所述,实施方式1的学习装置100具有:学习用图像取得部110,其取得表示学习用图像的学习用图像信息;一维学习图像生成部120,其对学习用图像取得部110取得的多个学习用图像信息分别表示的学习用图像进行一维化,生成与多个学习用图像信息对应的多个一维学习图像信号;矩阵生成部130,其生成将一维学习图像生成部120生成的多个一维学习图像信号彼此并列地排列而成的矩阵;奇异值分解部140,其对矩阵生成部130生成的矩阵进行奇异值分解,由此计算右奇异向量和奇异值;已学习模型生成部150,其生成基于奇异值分解部140计算的右奇异向量和奇异值的已学习模型,该已学习模型将一维推理对象图像信号作为说明变量而输出推理结果,该一维推理对象图像信号表示对拍摄推理对象物体而得到的图像即推理对象图像进行一维化而成的图像;以及已学习模型输出部160,其输出已学习模型生成部150生成的已学习模型作为已学习模型信息。
[0226] 通过这样构成,学习装置100与以往相比能够在短时间内生成能够进行高精度推理的已学习模型。
[0227] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构中,在作为说明变量输入了一维推理对象图像信号时,已学习模型生成部150根据奇异值分解部140计算的右奇异向量和奇异值,生成输出一维推理对象图像信号的近似信号即一维近似信号作为推理结果的已学习模型。
[0228] 通过这样构成,学习装置100能够生成与以往相比能够在短时间内进行高精度推理的已学习模型,该已学习模型输出基于作为说明变量输入到已学习模型的推理对象图像的一维近似信号作为推理结果。
[0229] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构中,在作为说明变量输入了一维推理对象图像信号时,已学习模型生成部150根据奇异值分解部140计算的右奇异向量和奇异值,生成输出与一维推理对象图像信号对应的推理对象图像的特征向量作为推理结果的已学习模型。
[0230] 通过这样构成,学习装置100能够生成与以往相比能够在短时间内进行高精度推理的已学习模型,该已学习模型输出与作为说明变量输入到已学习模型的一维推理对象图像信号对应的推理对象图像的特征向量作为推理结果。
[0231] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构中,一维学习图像生成部120对学习用图像取得部110取得的学习用图像信息表示的学习用图像进行光栅搜查,由此生成一维学习图像信号。
[0232] 通过这样构成,学习装置100能够简单地将学习用图像转换为一维学习图像信号。
[0233] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构中,学习用图像取得部110取得分别表示彼此相等的像素数的多个学习用图像的学习用图像信息。
[0234] 通过这样构成,学习装置100在生成已学习模型时,不对多个学习用图像实施复杂的图像处理,就能够简单地生成矩阵。
[0235] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构的基础上具有拍摄图像取得部111,该拍摄图像取得部111取得表示通过拍摄对象物体而取得的拍摄图像的、与彼此不同的多个对象物体分别对应的拍摄图像信息,学习用图像取得部110关于拍摄图像取得部111取得的多个拍摄图像信息分别表示的拍摄图像,将拍摄图像分割成多个图像区域,按照每个拍摄图像信息取得分别表示基于拍摄图像的多个部分图像的部分图像信息,由此取得与拍摄图像取得部111取得的多个拍摄图像信息分别对应的多个部分图像信息作为学习用图像信息。
[0236] 通过这样构成,学习装置100与以往相比能够在短时间内生成能够进行专用于拍摄推理对象物体而得到的拍摄图像中的预定的图像区域中的部分图像的高精度推理的已学习模型。
[0237] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构中,矩阵生成部130将与学习用图像取得部110取得的多个部分图像信息对应的多个一维学习图像信号彼此并列地排列,由此生成矩阵,该多个部分图像信息是与拍摄图像取得部111取得的多个拍摄图像信息分别对应的多个部分图像信息中的符合预定的条件的多个部分图像信息。
[0238] 通过这样构成,学习装置100与以往相比能够在短时间内生成能够进行专用于拍摄推理对象物体而得到的拍摄图像中的预定的图像区域中的部分图像的高精度推理的已学习模型。
[0239] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构中,矩阵生成部130将一维学习图像生成部120根据与拍摄图像取得部111取得的多个拍摄图像信息分别表示的拍摄图像中的彼此相同的图像区域对应的部分图像信息生成的一维学习图像信号彼此并列地排列,由此生成矩阵。
[0240] 通过这样构成,学习装置100与以往相比能够在短时间内生成能够进行专用于拍摄推理对象物体而得到的拍摄图像中的预定的图像区域中的部分图像的高精度推理的已学习模型。
[0241] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构的基础上具有聚类部112,该聚类部112对学习用图像取得部110取得的、与拍摄图像取得部111取得的多个拍摄图像信息分别对应的多个部分图像信息分别表示的部分图像进行聚类,矩阵生成部130将一维学习图像生成部120关于属于根据聚类部112聚类的结果而分类出的各类别的多个部分图像分别生成的一维学习图像信号彼此并列地排列,由此生成矩阵。
[0242] 通过这样构成,学习装置100与以往相比能够在短时间内生成能够进行专用于拍摄推理对象物体而得到的拍摄图像中的属于各类别的部分图像的高精度推理。
[0243] 此外,如上所述,实施方式1的学习装置100构成为,在上述的结构的基础上,矩阵生成部130根据预定的条件,生成与每个条件对应的矩阵,奇异值分解部140关于矩阵生成部130生成的每个条件的矩阵计算右奇异向量和奇异值,已学习模型生成部150根据与矩阵生成部130生成的每个条件的矩阵对应的右奇异向量和奇异值,生成与每个条件的矩阵对应的已学习模型。通过这样构成,学习装置100与以往相比能够在短时间内生成能够进行专用于拍摄推理对象物体而得到的拍摄图像中的预定的图像区域中的部分图像或属于根据聚类部112聚类的结果而分类出的各类别的部分图像的高精度推理的、与每个条件的矩阵对应的多个已学习模型。
[0244] 此外,如上所述,实施方式1的图像处理装置200具有:推理对象图像取得部210,其取得表示基于拍摄推理对象物体而得到的图像即拍摄推理图像的图像即推理对象图像的推理对象图像信息;一维推理对象图像生成部220,其对推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像进行一维化,生成与推理对象图像信息对应的一维推理对象图像信号;以及推理部240,其根据一维推理对象图像生成部220生成的一维推理对象图像信号,取得与一维推理对象图像信号对应的推理结果信息,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型输出的推理结果,由此取得基于推理结果的推理结果信息。
[0245] 通过这样构成,图像处理装置200能够使用与以往相比在短时间内生成的已学习模型进行高精度推理。
[0246] 此外,如上所述,实施方式1的图像处理装置200构成为,在上述的结构中,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的一维近似信号,取得表示根据已学习模型作为推理结果输出的一维近似信号生成的复原图像的复原图像信息作为推理结果信息,其中,一维近似信号是一维推理对象图像信号的近似信号。
[0247] 通过这样构成,图像处理装置200能够使用与以往相比在短时间内生成的已学习模型,从基于作为说明变量输入到已学习模型的推理对象图像的一维推理对象图像信号取得近似一维推理对象图像信号而成的一维近似信号,使用取得的一维近似信号,高精度地推理推理对象图像。
[0248] 此外,如上所述,实施方式1的图像处理装置200构成为,在上述的结构中,推理部240将已学习模型作为推理结果输出的一维近似信号映射到与推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像相同大小的二维图像,由此生成复原图像,取得表示复原图像的复原图像信息。
[0249] 通过这样构成,图像处理装置200能够使用与以往相比在短时间内生成的已学习模型,从基于作为说明变量输入到已学习模型的推理对象图像的一维推理对象图像信号取得近似一维推理对象图像信号而成的一维近似信号,使用取得的一维近似信号,高精度地推理推理对象图像。
[0250] 此外,如上所述,实施方式1的图像处理装置200构成为,在上述的结构中,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的、与一维推理对象图像信号对应的推理对象图像的特征向量,取得已学习模型作为推理结果输出的特征向量表示的特征向量信息作为推理结果信息。
[0251] 通过这样构成,图像处理装置200能够使用与以往相比在短时间内生成的已学习模型,高精度地推理与作为说明变量输入到已学习模型的一维推理对象图像信号对应的推理对象图像的特征向量。
[0252] 此外,如上所述,实施方式1的图像处理装置200构成为,在上述的结构中,一维推理对象图像生成部220对推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像进行光栅搜查,由此生成一维推理对象图像信号。
[0253] 通过这样构成,图像处理装置200能够简单地将推理对象图像转换为一维推理对象图像信号。
[0254] 此外,如上所述,实施方式1的图像处理装置200构成为,在上述的结构的基础上还具有拍摄推理图像取得部211,该拍摄推理图像取得部211取得表示拍摄推理对象物体而得到的拍摄推理图像的拍摄推理图像信息,推理对象图像取得部210关于拍摄推理图像取得部211取得的拍摄推理图像信息表示的拍摄推理图像,将拍摄推理图像分割成多个图像区域,取得分别表示基于拍摄推理图像的多个部分推理图像的部分推理图像信息,由此,分别取得与拍摄推理图像取得部211取得的拍摄推理图像信息对应的多个部分推理图像信息中的预定的1个以上的部分推理图像信息作为推理对象图像信息,一维推理对象图像生成部220生成与推理对象图像取得部210取得的1个以上的推理对象图像信息分别对应的一维推理对象图像信号,推理部240取得与一维推理对象图像生成部220生成的一维推理对象图像信号对应的推理结果信息,一维推理对象图像信号与1个以上的推理对象图像信息分别对应。
[0255] 通过这样构成,图像处理装置200能够进行专用于拍摄推理对象物体而得到的拍摄图像中的预定的图像区域中的部分图像的高精度推理。
[0256] 实施方式2
[0257] 参照图10~图13对实施方式2的图像处理装置200a进行说明。
[0258] 参照图10对应用实施方式2的图像处理装置200a的图像处理系统20a的主要部分的结构进行说明。
[0259] 图10是示出应用实施方式2的图像处理装置200a的图像处理系统20a的主要部分的结构的一例的框图。
[0260] 图像处理系统20a具有存储装置21、显示输出装置22、操作输入装置23、摄像装置24和图像处理装置200a。
[0261] 即,图像处理系统20a将实施方式1的图像处理装置200变更为图像处理装置200a。
[0262] 在图10中,对与图6所示的结构相同的结构标注相同标号并省略详细说明。即,省略存储装置21、显示输出装置22、操作输入装置23和摄像装置24的详细说明。
[0263] 图像处理装置200a具有实施方式1的图像处理装置200具有的功能,并且,新追加判定推理对象图像中映出的推理对象物体是否存在异常的功能。这里,异常表示正常的推理对象物体(良品)中没有的特征。作为异常的例子,如果是产品检查,则可举出损伤、污垢、变色、异物附着、破损、缺损、部件错误、印刷错误等。
[0264] 参照图11对实施方式2的图像处理装置200a的主要部分的结构进行说明。
[0265] 图11是示出实施方式2的图像处理装置200a的主要部分的结构的一例的框图。
[0266] 图像处理装置200a具有推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230、推理部240、异常判定部250和判定结果输出部260。
[0267] 即,图像处理装置200a在实施方式1的图像处理装置200中追加异常判定部250和判定结果输出部260。
[0268] 在图11中,对与图7所示的结构相同的结构标注相同标号并省略详细说明。即,省略图像处理装置200a具有的拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230和推理部240的详细说明。
[0269] 另外,实施方式2的图像处理装置200a具有的推理部240使用的已学习模型是实施方式1的学习装置100生成的、输出作为说明变量输入的一维推理对象图像信号的近似信号即一维近似信号作为推理结果的已学习模型。进而,该已学习模型是使用与表示映出没有异常的拍摄对象物体的拍摄图像(以下称作“良品图像”)的多个学习用图像分别对应的多个一维学习图像信号进行了学习的模型。
[0270] 即,实施方式2的图像处理装置200a具有的推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的、作为一维推理对象图像信号的近似信号的一维近似信号,取得表示根据已学习模型作为推理结果输出的一维近似信号生成的复原图像的复原图像信息作为推理结果信息。此时,复原图像使用仅根据多个良品图像学习的已学习模型来推理,因此,能够高精度地仅复原出良品图像的特征。
[0271] 异常判定部250根据推理对象图像取得部210取得的推理对象图像信息和推理部240生成的复原图像信息对推理对象图像信息表示的推理对象图像和复原图像信息表示的复原图像进行比较,由此判定推理对象图像中映出的推理对象物体是否存在异常。
[0272] 具体而言,例如,异常判定部250将推理对象图像信息表示的推理对象图像和复原图像信息表示的复原图像分别分割成具有预定的图像尺寸的多个检查块。
[0273] 下面,将对推理对象图像进行分割而成的检查块称作检查对象块,将对复原图像进行分割而成的检查块称作复原检查块来进行说明。
[0274] 这里,推理对象图像和复原图像是相同的图像尺寸的图像,进行相同的分割,因此,检查对象块的个数和复原检查块的个数相等。下面,设检查对象块的个数和复原检查块的个数均为j(j为正整数)个来进行说明。此外,在作为分割图像的说明而例示的图3B中,以Sx≤Bx且Sy≤By的方式,以各块相邻或块彼此重叠的方式进行分割,由此能够生成检查块和复原检查块。由此,针对各异常区域,能够提高异常区域(损伤、异物等)收敛于块内的检查块存在1个以上的概率。即,能够降低异所区域跨越块的边界而将异常区域分割成多个块,各块的异常得分变小而产生漏检测的概率。
[0275] 参照图12,对实施方式2的图像处理装置200a具有的异常判定部250进行比较的推理对象图像中的检查块和复原图像中的检查块即复原检查块进行说明。
[0276] 图12是示出实施方式2的图像处理装置200a具有的异常判定部250进行比较的推理对象图像中的检查对象块和复原图像中的复原检查块的一例的说明图。
[0277] 在图12中,左侧所示的图像是推理对象图像,推理对象图像中的由实线矩形包围的图像区域的图像是1个检查对象块。此外,在图12中,右侧所示的图像是复原图像,复原图像中的由实线矩形包围的图像区域的图像是与该检查对象块对应的复原检查块。
[0278] 异常判定部250关于j个检查对象块,分别对检查对象块和复原图像中与跟推理对象图像中的该检查对象块相同的图像区域对应的复原检查块进行比较,由此判定推理对象图像中映出的推理对象物体是否存在异常。如上所述,复原图像使用仅根据多个良品图像学习的已学习模型来推理,因此,能够高精度地仅复原出良品图像的特征。另一方面,关于具有良品中不存在的特征的异常部位,复原精度变低。由此,能够将检查对象块与复原检查块之间的差异大的区域判定为异常。
[0279] 更具体而言,例如,异常判定部250使用下式(9),计算第k(k为j以下的任意的正整数)个检查对象块和与该检查对象块对应的第k个复原检查块的差分评价值。
[0280]
[0281] 这里,αk是第k个检查对象块和与该检查对象块对应的第k个复原检查块的差分评价值。此外,Rk是第k个检查对象块中的像素的集合(以下称作“像素集合”),Gk是第k个复原检查块中的像素的集合,nk是Rk和Gk的像素数。
[0282] 此外,SX(x)是像素集合X中的像素x(x=1,2,…,n,n为像素集合X的像素数)的信号值,EX是像素集合X中的信号值的平均值。
[0283] 另外,式(9)求出针对各像素集合Rk、Gk减去平均值EX(x=Rk、Gk)而得到的值的绝对值差分和。由此,不表示像素集合Rk、Gk的信号值本身的差异,而表示仅着眼于纹理差异的差分评价值。由此,能够进行超过在学习中使用的多个学习用图像的偏差范围的、由于拍摄条件偏差而引起的推理对象图像的画面整体的明亮度这样的不对平均值偏差造成影响的评价。另一方面,在希望包含这种平均值偏差在内作为异常进行评价的情况下,将删除式(9)中的EX(x=Rk、Gk)后的式子定义为αk即可。
[0284] 进而,例如,异常判定部250使用下式(10)计算与j个检查对象块分别对应的差分评价值的最大值即检查得分I。
[0285]
[0286] 这里,α_basek是预定的值,并且是关于预先准备的良品图像,根据该良品图像和推理部240基于该良品图像生成的复原图像(以下称作“良品复原图像”)计算的良品图像中的检查对象块与良品复原图像中的复原检查块的差分评价值(例如利用式(9)计算的差分评价值)的最大值。
[0287] 即,在设α_basek为网罗了根据预先准备的良品图像可能产生的良品图像的偏差的值的情况下,α_basek表示根据良品图像产生的最大的异常度。
[0288] 因此,例如,在通过式(10)计算的检查得分I的值超过0(零)的情况下,异常判定部250判定推理对象图像中映出的推理对象物体是否存在异常。
[0289] 另外,异常判定部250根据通过式(10)计算的检查得分I判定推理对象图像中映出的推理对象物体是否存在异常的阈值不限于0(零)。该阈值可以是比0(零)大的值,也可以是比0(零)小的值。该阈值越大,越不容易判定为异常,因此,抑制过检测的产生概率(过检测率),另一方面,异常的漏看产生的概率(漏看率)上升。该过检测率和漏看率处于折中的关系,因此,该阈值成为本图像处理装置中的调整参数。
[0290] 判定结果输出部260输出异常判定部250判定出的结果作为判定结果信息。
[0291] 具体而言,例如,判定结果输出部260也可以将判定结果信息作为显示图像信号输出到显示输出装置22,使显示输出装置22显示输出判定结果信息。
[0292] 此外,例如,判定结果输出部260也可以将判定结果信息输出到照明装置或语音输出装置等图10中未图示的输出装置,在判定为推理对象物体存在异常的情况下,使该输出装置搁置存在该异常的意思。
[0293] 另外,实施方式2的图像处理装置200a中的推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230、推理部240、异常判定部250和判定结果输出部260的各功能可以通过实施方式1中由图8A和图8B示出一例的硬件结构中的处理器801和存储器802来实现,或者也可以通过处理电路803来实现。
[0294] 参照图13对实施方式2的图像处理装置200a的动作进行说明。
[0295] 图13是说明实施方式2的图像处理装置200a的处理的一例的流程图。
[0296] 另外,在图13中,步骤ST901~步骤ST905的处理与图9所示的步骤ST901~步骤ST905的处理相同。
[0297] 首先,在步骤ST901中,拍摄推理图像取得部211取得拍摄推理图像信息。
[0298] 接着,在步骤ST902中,推理对象图像取得部210取得推理对象图像信息。
[0299] 接着,在步骤ST903中,一维推理对象图像生成部220生成一维推理对象图像信号。
[0300] 接着,在步骤ST904中,已学习模型取得部230取得已学习模型信息。
[0301] 接着,在步骤ST905中,推理部240取得已学习模型输出的推理结果,取得基于推理结果的推理结果信息。
[0302] 接着,在步骤ST1301中,异常判定部250判定推理对象图像中映出的推理对象物体是否存在异常。
[0303] 接着,在步骤ST1302中,判定结果输出部260输出判定结果信息。
[0304] 在步骤ST1302之后,图像处理装置200a结束该流程图的处理,在结束后返回步骤ST901,反复执行该流程图的处理。
[0305] 如上所述,实施方式2的图像处理装置200a具有:推理对象图像取得部210,其取得表示基于拍摄推理对象物体而得到的图像即拍摄推理图像的图像即推理对象图像的推理对象图像信息;一维推理对象图像生成部220,其对推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像进行一维化,生成与推理对象图像信息对应的一维推理对象图像信号;以及推理部240,其根据一维推理对象图像生成部220生成的一维推理对象图像信号,取得与一维推理对象图像信号对应的推理结果信息,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型输出的推理结果,由此取得基于推理结果的推理结果信息,其中,图像处理装置200a具有的推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的一维近似信号,取得表示根据已学习模型作为推理结果输出的一维近似信号生成的复原图像的复原图像信息作为推理结果信息,其中,一维近似信号是一维推理对象图像信号的近似信号,进而,图像处理装置200a具有:异常判定部250,其根据推理对象图像取得部210取得的推理对象图像信息和推理部240生成的复原图像信息对推理对象图像信息表示的推理对象图像和复原图像信息表示的复原图像进行比较,由此判定推理对象图像中映出的推理对象物体是否存在异常;以及判定结果输出部260,其输出异常判定部250判定出的结果作为判定结果信息。
[0306] 通过这样构成,图像处理装置200a能够使用与以往相比在短时间内生成的已学习模型,从基于作为说明变量输入到已学习模型的推理对象图像的一维推理对象图像信号取得近似一维推理对象图像信号而成的一维近似信号,使用取得的一维近似信号,高精度地推理复原了推理对象图像的复原图像,进而,通过对复原图像和推理对象图像进行比较,能够判定推理对象图像中映出的推理对象物体是否存在异常。
[0307] 实施方式3
[0308] 参照图14~图16对实施方式3的图像处理装置200b进行说明。
[0309] 参照图14对应用实施方式3的图像处理装置200b的图像处理系统20b的主要部分的结构进行说明。
[0310] 图14是示出应用实施方式3的图像处理装置200b的图像处理系统20b的主要部分的结构的一例的框图。
[0311] 图像处理系统20b具有存储装置21、显示输出装置22、操作输入装置23、摄像装置24和图像处理装置200b。
[0312] 即,图像处理系统20b将实施方式1的图像处理装置200变更为图像处理装置200b。
[0313] 在图14中,对与图6所示的结构相同的结构标注相同标号并省略详细说明。即,省略存储装置21、显示输出装置22、操作输入装置23和摄像装置24的详细说明。
[0314] 图像处理装置200b具有实施方式1的图像处理装置200具有的功能,并且,新追加将推理对象图像信息分类为预定的多个组中的任意一个组的功能。
[0315] 参照图15对实施方式3的图像处理装置200b的主要部分的结构进行说明。
[0316] 图15是示出实施方式3的图像处理装置200b的主要部分的结构的一例的框图。
[0317] 图像处理装置200b具有推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230、推理部240和分类部270。
[0318] 即,图像处理装置200b在实施方式1的图像处理装置200中追加分类部270。
[0319] 在图15中,对与图7所示的结构相同的结构标注相同标号并省略详细说明。即,省略图像处理装置200b具有的拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230和推理部240的详细说明。
[0320] 另外,实施方式3的图像处理装置200b具有的推理部240使用的已学习模型是实施方式1的学习装置100生成的、输出与作为说明变量输入的一维推理对象图像信号对应的推理对象图像的特征向量作为推理结果的已学习模型。
[0321] 即,实施方式3的图像处理装置200b具有的推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的、与一维推理对象图像信号对应的推理对象图像的特征向量,取得表示已学习模型作为推理结果输出的特征向量的特征向量信息作为推理结果信息。
[0322] 分类部270根据推理部240取得的特征向量信息,将与特征向量信息对应的推理对象图像信息分类为预定的多个组中的任意一个组,输出表示分类结果的分类结果信息。
[0323] 具体而言,例如,分类部270使用推理部240取得的特征向量信息,进行基于支持向量机(Support Vector Machine:SVM)等有监督学习的分类,由此将推理对象图像信息分类为预定的多个组中的任意一个组。
[0324] 基于支持向量机等有监督学习的分类方法是公知的技术,因此省略说明。
[0325] 另外,实施方式3的图像处理装置200b中的推理对象图像取得部210、拍摄推理图像取得部211、一维推理对象图像生成部220、已学习模型取得部230、推理部240和分类部270的各功能可以通过实施方式1中由图8A和图8B示出一例的硬件结构中的处理器801和存储器802来实现,或者也可以通过处理电路803来实现。
[0326] 参照图16对实施方式2的图像处理装置200b的动作进行说明。图16是说明实施方式2的图像处理装置200b的处理的一例的流程图。
[0327] 另外,在图16中,步骤ST901~步骤ST905的处理与图9所示的步骤ST901~步骤ST905的处理相同。
[0328] 首先,在步骤ST901中,拍摄推理图像取得部211取得拍摄推理图像信息。
[0329] 接着,在步骤ST902中,推理对象图像取得部210取得推理对象图像信息。
[0330] 接着,在步骤ST903中,一维推理对象图像生成部220生成一维推理对象图像信号。
[0331] 接着,在步骤ST904中,已学习模型取得部230取得已学习模型信息。
[0332] 接着,在步骤ST905中,推理部240取得已学习模型输出的推理结果,取得基于推理结果的推理结果信息。
[0333] 接着,在步骤ST1601中,分类部270输出分类结果信息。
[0334] 在步骤ST1601之后,图像处理装置200b结束该流程图的处理,在结束后返回步骤ST901,反复执行该流程图的处理。
[0335] 如上所述,实施方式2的图像处理装置200b具有:推理对象图像取得部210,其取得表示基于拍摄推理对象物体而得到的图像即拍摄推理图像的图像即推理对象图像的推理对象图像信息;一维推理对象图像生成部220,其对推理对象图像取得部210取得的推理对象图像信息表示的推理对象图像进行一维化,生成与推理对象图像信息对应的一维推理对象图像信号;以及推理部240,其根据一维推理对象图像生成部220生成的一维推理对象图像信号,取得与一维推理对象图像信号对应的推理结果信息,推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型输出的推理结果,由此取得基于推理结果的推理结果信息,其中,图像处理装置200b具有的推理部240推理部240将一维推理对象图像信号作为说明变量输入到已学习模型,取得已学习模型作为推理结果输出的、与一维推理对象图像信号对应的推理对象图像的特征向量,取得表示已学习模型作为推理结果输出的特征向量的特征向量信息作为推理结果信息,进而,图像处理装置200b具有分类部270,该分类部270根据推理部240取得的特征向量信息,将与特征向量信息对应的推理对象图像信息分类为预定的多个组中的任意一个组,输出表示分类结果的分类结果信息。
[0336] 通过这样构成,图像处理装置200b能够使用与以往相比在短时间内生成的已学习模型,使用与作为说明变量输入到已学习模型的一维推理对象图像信号对应的推理对象图像的特征向量,将与特征向量信息对应的推理对象图像信息分类为预定的多个组中的任意一个组。
[0337] 另外,本发明能够在其发明范围内进行实施方式的任意结构要素的变形、或实施方式中的任意结构要素的省略。
[0338] 产业上的可利用性
[0339] 本发明的学习装置能够应用于学习系统或图像处理系统。
[0340] 标号说明
[0341] 10:学习系统;11:存储装置;12:显示输出装置;13:操作输入装置;100:学习装置;110:学习用图像取得部;111:拍摄图像取得部;112:聚类部;120:一维学习图像生成部;
130:矩阵生成部;140:奇异值分解部;150:已学习模型生成部;160:已学习模型输出部;20、
20a、20b:图像处理系统;21:存储装置;22:显示输出装置;23:操作输入装置;24:摄像装置;
200、200a、200b:图像处理装置;210:推理对象图像取得部;211:拍摄推理图像取得部;220:
一维推理对象图像生成部;230:已学习模型取得部;240:推理部;250:异常判定部;260:判定结果输出部;270:分类部;401、801:处理器;402、802:存储器;403、803:处理电路。