[0001] 本公开总体上涉及一种图像生成系统、图像生成方法和程序，并且更具体地，涉及均用于通过将多个图像相互叠加来生成图像的图像生成系统、图像生成方法和程序。

[0002] 专利文献1公开了一种图像显示设备(图像生成系统)，其包括图像指定装置、图像处理装置、图像合成装置和图像显示装置。图像指定装置将原始图像指定为处理目标。图像处理装置处理原始图像以生成经处理图像。图像合成装置通过将图像的部分区域替换为经处理图像的对应部分区域来生成整个图像。图像显示装置显示整个图像的全部或整个图像的部分(包括边界)。

[0003] 可以看出，专利文献1的图像显示设备可以基于原始图像来生成新图像。然而，图像显示设备难以生成适合于机器学习的图像。

[0004] 引用列表

[0005] 专利文献

[0006] 专利文献1：JP 2006‑3603A

[0018] (实施例)

[0019] 现在将参考附图描述根据示例性实施例的图像生成系统5。注意，下文将描述的示例性实施例仅是本公开的各种实施例中的示例性实施例，并且不应被解释为限制性的。相反，在不脱离本公开的范围的情况下，可以根据设计选择或任何其他因素以各种方式容易地修改示例性实施例。实施例的以下描述中所参考的附图均是示意性表示。因此，附图上所示的各个构成元件的尺寸(包括厚度)的比例并不总是反映它们的实际尺寸比例。

[0020] (概述)

[0021] 如图1所示，根据该实施例的图像生成系统5基于第一图像P1和第二图像P2来生成叠加图像P4。叠加图像P4被用作用于生成关于对象(例如，与第二对象2(参考图3)相当的对象)的学习模型82的学习数据。也就是说，叠加图像P4是用于通过机器学习来生成模型的学习数据。

[0022] 如本文所使用的，“模型”是指被设计为响应于关于要识别的对象(对象)的输入信息的输入来识别要识别的对象的状态并且输出识别结果的程序。另外，如本文所使用的，“学习模型”是指完成使用学习数据的机器学习的模型。此外，本文所使用的“学习数据(集)”是指组合包括要针对模型输入的输入信息(图像)和附加到该输入信息的标签的数据集，即所谓的“训练数据”。也就是说，在该实施例中，学习模型82是通过监督学习进行了机器学习的模型。

[0023] 本文所使用的学习模型82例如可以包括使用神经网络的模型或者通过使用多层神经网络的深度学习而生成的模型。神经网络的示例可以包括卷积神经网络(CNN)和贝叶斯(Bayesian)神经网络(BNN)。学习模型82可以通过例如将学习神经网络安装到诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的集成电路中来实现。然而，学习模型82不一定是通过深度学习而生成的模型。备选地，学习模型82例如也可以是由支持向量机或决策树生成的模型。

[0024] 在该实施例中，要识别的对象例如可以是焊接产品。图5是其中拍摄有对象4的示例性叠加图像P4(学习数据)。对象4以及要识别的对象是焊接产品。对象4包括第一基本金属41、第二基本金属42和焊道43。

[0025] 当两种或更多种焊接基本材料(例如，该示例中的第一基本金属41和第二基本金属42)经由金属焊接材料焊接在一起时，在第一基本金属41和第二基本金属42之间的边界B1(焊接点)中形成焊道43。焊道43的尺寸和形状主要取决于焊接材料。对象4还包括缺陷部分44。在以下描述中，具有缺陷部分44的点在下文中将被称为“缺陷产生点E4”。在图5中，缺陷产生点E4包括在第二基本金属42中。

[0026] 因此，当表示要识别的对象(在下文中被简称为“对象”)的图像作为检查图像P5被输入时，学习模型82识别对象的状态并且输出识别的结果。具体地，作为识别结果，学习模型82输出指示对象是缺陷产品还是无缺陷(即，良好)产品的信息，并且如果对象是缺陷产品，则输出关于缺陷的类型的信息。也就是说，使用学习模型82来确定对象是否是良好产品。换言之，使用学习模型82来进行焊接外观测试以确定焊接是否已经正确完成。

[0027] 可以取决于例如焊道的长度、焊道的高度、焊道的仰角、焊道的喉深、焊道的多余金属以及焊道的焊点的移位(包括焊道起点的偏移的程度)是否落入它们各自的容差范围内来做出关于对象是良好的还是有缺陷的判定。例如，如果以上列举的这些参数中的至少一个未能落入其容差范围内，则对象被确定为是缺陷产品。备选地，还可以取决于例如对象是否具有任何底切以及焊道是否具有任何缺陷部分(例如，焊道是否具有任何凹坑、焊道是否具有任何溅射、以及焊道是否具有任何凸起)来做出关于对象是良好的还是有缺陷的判定。例如，如果发现上面列举的这些缺陷中的至少一个，则对象被确定为是缺陷产品。

[0028] 为了进行关于模型的机器学习，需要收集关于要识别对象(包括缺陷产品)的大量图像数据项作为学习数据。然而，如果要识别的对象在对象的生产线上以低出现频率证明是有缺陷的，则生成具有高可识别性的学习模型82所需的学习数据往往很短。因此，为了克服该问题，可以通过对通过实际拍摄对象而获取的学习数据(即，第一图像P1和第二图像P2)执行数据增强处理来增加学习数据项的数量来进行关于模型的机器学习。如本文所使用的，数据增强处理是指例如通过对学习数据进行诸如合成、平移、放大或缩小(扩展或收缩)、旋转、翻转或噪声的添加之类的各种类型的处理来增加学习数据项的数量的处理。根据该实施例，通过执行数据增强处理来生成至少一个叠加图像P4(其被本发明人认为是许多叠加图像P4)，并且将其用作学习数据。另外，根据该实施例，通过对尚未被图像生成系统5进行图像处理的多个原始图像(即，多个学习数据项)执行将这些原始图像叠加(即，合成)在一起的处理来生成叠加图像P4。

[0029] 注意，用于生成叠加图像P4的多个原始图像(即，第一图像P1和第二图像P2)不一定被用作用于生成学习模型82的学习数据。也就是说，用于生成学习模型82的学习数据可以仅由多个叠加图像P4组成，或者除了该至少一个叠加图像P4之外还包括第一图像P1、第二图像P2、以及不是由图像生成系统5生成的其他图像。也就是说，用于生成学习模型82的学习数据可以包括或者可以不包括尚未被图像生成系统5进行图像处理的原始图像。另外，用于生成学习模型82的学习数据可以包括由除了图像生成系统5之外的系统生成的图像。

[0030] 如图1所示，根据该实施例的图像生成系统5包括第一图像获取器51、第二图像获取器52和图像处理器53。第一图像获取器51通过拍摄第一对象1来获取第一图像P1。第二图像获取器52通过拍摄第二对象2来获取第二图像P2。图像处理器53执行图像变换处理(处理72、73)和叠加处理74。图像变换处理包括基于第一图像P1，通过对第一对象1的预定提取部分140进行图像处理来生成变换图像P3。叠加处理74包括通过将变换图像P3叠加在第二图像P2上来生成叠加图像P4。图像变换处理包括根据第二图像P2中拍摄的第二对象2的形状来使提取部分140变形的处理。

[0031] 该实施例使得能够生成适合于机器学习的图像(叠加图像P4)。具体地，在通过将变换图像P3叠加在第二图像P2上来生成叠加图像P4之前，执行根据第二图像P2中拍摄的第二对象2的形状来使提取部分140变形的处理，从而生成变换图像P3。与不执行这种处理的情况相比，这使得更容易使叠加图像P4更加类似于不是通过叠加而生成的实际图像。例如，如果叠加图像P4是表示缺陷产品的图像，则叠加图像P4更可能类似于通过拍摄实际缺陷产品而生成的图像。这有助于提高使用叠加图像P4的机器学习的精度。

[0032] 图像生成系统5的功能也可以被实现为图像生成方法。根据该实施例的图像生成方法包括第一图像获取处理、第二图像获取处理、图像变换处理(处理72、73)和叠加处理74。第一图像获取处理包括：通过拍摄第一对象1来获取第一图像P1。第二图像获取处理包括：通过拍摄第二对象2来获取第二图像P2。图像变换处理包括：基于第一图像P1，通过对第一对象1的预定提取部分140进行图像处理来生成变换图像P3。叠加处理74包括：通过将变换图像P3叠加在第二图像P2上来生成叠加图像P4。图像变换处理包括根据第二图像P2中拍摄的第二对象2的形状来使提取部分140变形的处理。

[0033] 图像生成方法优选地还包括设置信息生成处理。设置信息生成处理包括：生成关于基于第一图像P1和第二图像P2来生成叠加图像P4的处理的设置信息81(参考图1)。

[0034] 另外，图像生成方法在计算机系统(图像生成系统5)上使用。也就是说，图像生成方法也可以被实现为程序。根据该实施例的程序被设计为使计算机系统的一个或多个处理器执行根据该实施例的图像生成方法。该程序可以存储在计算机可读非暂时性存储介质上。

[0035] (详情)

[0036] 接下来，将进一步详细描述根据该实施例的图像生成系统5。

[0037] (1)整体配置

[0038] 图1所示的图像生成系统5包括计算机系统，该计算机系统包括存储器和一个或多个处理器。通过使计算机系统的处理器执行计算机系统的存储器中存储的程序来执行图像生成系统5的至少一些功能。该程序可以存储在存储器中。备选地，该程序也可以经由电信线路(例如，互联网)来下载，或者在已经存储在非暂时性存储介质(例如，存储卡)中之后进行分发。

[0039] 图像生成系统5可以安装在作为执行焊接的场所的工厂内部。备选地，图像生成系统5的至少一些构成元件可以安装在工厂外部(例如，位于与工厂不同地点的商业设施处)。

[0040] 如上所述，图像生成系统5具有通过如上所述对原始图像(学习数据)执行数据增强处理来增加学习数据项的数量的功能。在以下描述中，使用图像生成系统5的人员在下文中将简称为“用户”。用户可以是例如在工厂中监视诸如焊接工艺步骤的制造过程的操作员或主管管理员。

[0041] 在该实施例中，通过如上所述的机器学习来生成学习模型82。学习模型82可以被实现为任何类型的人工智能或系统。在这种情况下，机器学习的算法例如可以是神经网络。然而，机器学习算法不一定是神经网络，而也例如可以是极端梯度增强(XGB)回归、随机森林、决策树、逻辑回归、支持向量机(SVM)、朴素贝叶斯分类器或k最近邻方法。备选地，机器学习算法例如也可以是高斯混合模型(GMM)或k均值聚类。

[0042] 此外，学习模型82不一定由用于将检查图像分类为由无缺陷产品和缺陷产品组成的两个类别的机器学习来生成。备选地，学习模型82也可以通过用于将检查图像分类为包括无缺陷产品、凹坑、溅射、凸起、烧穿和底切在内的多个类别的机器学习来生成。如本文所使用的，凹坑、溅射、凸起、烧穿和底切是缺陷的相应类型。备选地，学习模型82也可以通过涉及对象检测和分割的用于在检查图像上定位缺陷部分并且检测缺陷的类型的机器学习来生成。

[0043] 在该实施例中，学习方法例如可以是监督学习。然而，学习方法不一定是监督学习，而也可以是非监督学习或强化学习。

[0044] 在图1所示的示例中，图像生成系统5包括用于存储学习数据的存储设备63。存储设备63包括可编程的非易失性存储器，例如电可擦除可编程只读存储器(EEPROM)。备选地，存储设备63也可以是内置在图像生成系统5中的存储器。备选地，存储设备63也可以设置在图像生成系统5的外部。

[0045] 如图1所示，图像生成系统5包括第一图像获取器51、第二图像获取器52、图像处理器53、设置信息输入器54、用户接口55、设置信息生成器56、显示输出器57和显示设备58。图像生成系统5还包括图像输出器59、学习器60、判定器61、检查图像获取器62和存储设备63。

[0046] 在这些构成元件中，至少用户接口55、显示设备58和存储设备63各自具有实质性配置。另一方面，第一图像获取器51、第二图像获取器52、图像处理器53、设置信息输入器54、设置信息生成器56、显示输出器57、图像输出器59、学习器60、判定器61和检查图像获取器62仅表示要由图像生成系统5的一个或多个处理器执行的相应功能，而不一定具有实质性配置。

[0047] (2)第一图像获取器

[0048] 第一图像获取器51获取第一图像P1。如图2所示，第一图像P1是通过拍摄第一对象1而生成的图像。第一图像获取器51可以从设置在图像生成系统5外部的外部设备或图像生成系统5的存储设备63获取第一图像P1，以适当者为准。在图1所示的示例中，第一图像获取器51从设置在图像生成系统5外部的外部设备获取第一图像P1。例如，第一图像获取器51可以从计算机服务器获取第一图像P1。

[0049] 另外，用于通过拍摄第一对象1来生成第一图像P1的图像捕获设备可以针对图像生成系统5进行设置，或者设置在图像生成系统5的外部，以适当者为准。

[0050] 第一对象1是缺陷产品。如本文所使用的，“缺陷产品”是指已经产生缺陷的物品。图像生成系统5的用户可以适当地确定物品的什么状态应被视为已经产生缺陷的状态。

[0051] 第一图像P1是通过拍摄第一对象1的至少缺陷产生点E1而生成的图像(即，缺陷产品图像)。然而，由第一图像P1覆盖的范围不限于缺陷产生点E1，而是还可以包括第一对象1的除了缺陷产生点E1之外的点。在图2所示的示例中，由第一图像P1覆盖的范围是整个第一对象1。

[0052] 第一对象1包括第一基本金属11、第二基本金属12和焊道13。第一基本金属11、第二基本金属12和焊道13具有与上述对象4的第一基本金属41、第二基本金属42和焊道43相同的结构，因此本文将省略其描述。然而，第一对象1在与对象4具有缺陷部分44的点(即，缺陷产生点E4)不同的点处，具有形状与缺陷部分44不同的另一缺陷部分14。更具体地，第一基本金属金属11上存在缺陷部分14。

[0053] (2)第二图像获取器

[0054] 第二图像获取器52获取第二图像P2。如图3所示，第二图像P2是通过拍摄第二对象2而生成的图像。第二图像获取器52可以从设置在图像生成系统5外部的外部设备或从图像生成系统5的存储设备63获取第二图像P2，以适当者为准。在图1所示的示例中，第二图像获取器52从设置在图像生成系统5外部的外部设备获取第二图像P2。例如，第二图像获取器52可以从计算机服务器获取第二图像P2。

[0055] 另外，用于通过拍摄第二对象2来生成第二图像P2的图像捕获设备可以针对图像生成系统5进行设置，或者设置在图像生成系统5的外部，以适当者为准。

[0056] 第二对象2是无缺陷产品。如本文所使用的，“无缺陷产品”是指尚未产生缺陷的物品。在图2所示的示例中，由第二图像P2覆盖的范围是整个第二对象2。然而，这仅是示例，并且不应被解释为限制。备选地，由第二图像P2覆盖的范围也可以仅是第二对象2的一部分。

[0057] 第二对象2包括第一基本金属21、第二基本金属22和焊道23。第一基本金属21、第二基本金属22和焊道23分别具有与上述对象4的第一基本金属41、第二基本金属42和焊道43相同的结构，因此本文将省略其描述。然而，第二对象2没有与缺陷部分44相对应的部分。

[0058] (4)第一图像和第二图像

[0059] 第一图像P1例如可以是包括深度方向(即，从图像捕获设备指向第一对象1的方向)上的坐标信息的距离图像。第二图像P2例如可以是包括深度方向(即，从图像捕获设备指向第二对象2的方向)上的坐标信息的距离图像。深度方向上的坐标信息例如可以通过灰度来表示。具体地，距离图像中的兴趣点的密度越高，该兴趣点位于越深的位置。相反，距离图像中的兴趣点的密度越低，该兴趣点可以位于越深的位置。

[0060] 用于生成距离图像的图像捕获设备是诸如线传感器相机之类的距离图像传感器。图像捕获设备逐个顺序地拍摄多个对象，从而生成多个图像。根据用户的指令，从由图像捕获设备生成的多个图像中选择第一图像P1和第二图像P2。图像生成系统5优选地包括用于接受他或她的关于该选择的指令的操作单元。例如，用户接口55可以被用作操作单元。

[0061] (5)图像处理器

[0062] 图像处理器53可以被实现为例如数字信号处理器(DSP)或现场可编程门阵列(FPGA)。图像处理器53执行提取处理71、图像变换处理(处理72、73)和叠加处理74。图像处理器53根据设置信息81来执行提取处理71、图像变换处理(处理72、73)和叠加处理74。如稍后所述，设置信息81可以由用户来输入，或者由设置信息生成器56来自动生成，以适当者为准。

[0063] 在实施例的以下描述中，通过图像变换处理(处理72、73)而生成的图像在下文中将被称为“变换图像P3”。在图像变换处理(处理72、73)期间作为中间产物而生成的图像在下文中也将被称为“变换图像P3”。此外，通过叠加处理74而生成的图像在下文中将被称为“叠加图像P4”。

[0064] 提取部分140是第一对象1的一部分。提取处理71是从第一图像P1(参考图2)中拍摄的第一对象1中提取提取部分140的处理。也就是说，如图4的A所示，基于第一图像P1来生成表示提取部分140的提取图像。

[0065] 在该实施例中，提取部分140与缺陷部分14相对应。缺陷部分14与缺陷产生点E1相对应。也就是说，第一图像P1是其中已经拍摄第一对象1的缺陷产生点E1的图像。第二图像P2是其中已经拍摄作为无缺陷产品的第二对象2的图像。提取部分140覆盖缺陷产生点E1的至少一部分(例如，在该实施例中为全部)。

[0066] 处理72包括变形处理和分割处理。变形处理或分割处理中的任何一个可以先于另一个执行。在实施例的以下描述中，应在已经首先执行变形处理的至少一部分之后执行分割处理。

[0067] 变形处理是通过弯曲提取部分140来使提取部分140变形的处理。更具体地，变形处理是根据第二图像P2中拍摄的第二对象2的形状来使提取部分140变形的处理。另外，变形处理还可以包括沿预定方向扩展或压缩提取部分140的处理。此外，变形处理还可以包括使提取部分140翻转(例如，镜像反转)的处理。通过对提取图像执行变形处理，生成诸如图4的B所示的变换图像P3之类的变换图像P3。然后，叠加处理74包括根据第二对象2的形状来设置提取部分140。

[0068] 根据第二对象2的形状来使提取部分140变形可以例如将线性提取部分140变成曲线提取部分，或者将曲线提取部分140变成线性提取部分，以适当者为准。备选地，变形处理还可以将曲线提取部分140变成形状与尚未进行变形的提取部分140的形状不同的曲线提取部分140。可选地，还可以对提取部分140进行除了上述变形之外的任何类型的变形。

[0069] 处理72可以包括提取第二图像P2中拍摄的第二对象2的至少一部分的轮廓或边缘的处理。例如，第二图像P2中的亮度变化显著大于阈值的部分可以被提取为轮廓或边缘。另外，在执行变形处理时，图像处理器53可以通过沿轮廓或边缘弯曲提取部分140来使提取部分140变形。也就是说，在图像变换处理中，根据第二图像P2中拍摄的第二对象2的形状来使提取部分140变形可以是沿第二图像P2中拍摄的第二对象2的至少一部分的轮廓或边缘使提取部分140变形。在这种情况下，叠加处理74包括沿第二对象2的至少一部分的轮廓或边缘设置提取部分140。在图4的B中，已经沿图5所示的第二对象2的焊道43的轮廓的右上部分至右下部分的轮廓或边缘使提取部分140变形。

[0070] 分割处理是将提取部分140划分为多个分割段141的处理。通过对提取图像进行变形处理并且然后进行分割处理来生成诸如图4的C所示的变换图像P3之类的变换图像P3。可以看出，图像变换处理包括将提取部分140划分为多个分割段141的处理。在图4的C中，每对分割段141之间的边界由矩形框线指示。图4的D是图4的C的一部分的放大图。

[0071] 处理73包括改变从由提取部分140的灰度、提取部分140的位置、提取部分140的大小和提取部分140的取向组成的组中选择的至少一个参数的处理。也就是说，图像变换处理包括改变从由提取部分140的灰度、提取部分140的位置、提取部分140的大小和提取部分140的取向组成的组中选择的至少一个参数的处理。如果第一图像P1是距离图像，则通过改变提取部分140的灰度来使提取部分140在深度方向上的坐标改变。改变提取部分140的位置、大小和取向导致当在叠加处理74期间将变换图像P3叠加在第二图像P2上时，变换图像P3的位置、大小和取向相对于第二对象2改变。

[0072] 处理73允许以分割段141为基础改变灰度。另外，如果在分割处理之后进执行变形处理，则在变形处理期间，多个分割段141中的每一个的旋转中心C1被布置为与另一分割段141相邻，如图4的D所示。也就是说，在这种情况下，变形处理可以通过至少使分割段141围绕旋转中心C1旋转来改变至少一些分割段141的取向。备选地，可以(在XY平面上)相对于其他分割段141移动一些分割段141。在这种情况下，XY平面与旋转轴(即，旋转中心C1)成直角相交。可选地，大小可以从一个分割段141改变为另一分割段141。

[0073] 叠加处理74包括：通过将变换图像P3叠加在第二图像P2上来生成叠加图像P4。也就是说，通过图像变换处理来生成如图4的C所示的变换图像P3并且然后将变换图像P3叠加在第二图像P2(参考图3)上，生成如图5所示的叠加图像P4。

[0074] 在这种情况下，变换图像P3是通过对第一对象1的缺陷部分14进行图像处理而生成的图像。因此，在叠加图像P4中拍摄的对象4包括通过对缺陷部分14进行图像处理而生成的缺陷部分44。也就是说，叠加图像P4是至少呈现对象4的缺陷产生点E4的图像(即，缺陷产品图像)。

[0075] 另外，叠加图像P4是深度被表示为灰度的三维图像。也就是说，叠加图像P4将变换图像P3和第二图像P2在深度方向上的坐标信息表示为灰度。

[0076] 叠加处理74优选地包括对变换图像P3和第二图像P2之间的边界进行内插以将变换图像P3平滑地连接到第二图像P2的内插处理。这允许生成更自然的叠加图像P4。内插处理例如可以作为线性内插来执行。

[0077] (6)设置信息

[0078] 接下来，将描述用于定义要由图像处理器53执行的处理的设置信息81。设置信息81是用于在基于第一图像P1和第二图像P2来生成叠加图像P4的处理中使用的信息。更具体地，设置信息81包括从由提取处理71、图像变换处理(处理72、73)和叠加处理74组成的组中选择的至少一个处理的信息。

[0079] 设置信息输入器54获取设置信息81。设置信息输入器54从用户接口55获取设置信息81，该用户接口55接受用户输入设置信息81的操作。用户接口55包括从由例如鼠标、键盘和触摸板组成的组中选择的至少一个。

[0080] 设置信息81包括从以下第一信息至第六信息中选择的一条或多条信息。可以被包括在设置信息81中的第一信息是用于确定第一图像P1中的提取部分140的范围的信息。可以被包括在设置信息81中的第二信息是用于确定图像变换处理中提取部分140的分割段数的信息。可以被包括在设置信息81中的第三信息是用于输入图像变换处理中从由提取部分140的灰度、提取部分140的位置、提取部分140的大小和提取部分140的取向组成的组中选择的至少一个参数的变化的信息。可以被包括在设置信息81中的第四信息是用于确定叠加处理74中变换图像P3和第二图像P2的混合比的信息。可以被包括在设置信息81中的第五信息是关于从由多个分割段141的相应灰度、位置、大小和取向(旋转角度)组成的组中选择的至少一个参数的信息。可以被包括在设置信息81中的第六信息是关于在沿预定方向扩展或压缩提取部分140的处理中的扩展比的信息。

[0081] 图像处理器53可以将由用户使用用户接口55选择的范围定义为提取部分140的范围。图像处理器53例如还可以将由用户使用用户接口55输入的分割段数定义为提取部分140的分割段数，以生成由分割段数指定的数量的分割段141。图像处理器53例如可以根据由用户使用用户接口55输入的信息来改变每个分割段141或整个提取部分140的灰度、位置、大小和取向。例如，图像处理器53还可以按照由用户使用用户接口55输入的混合比将变换图像P3叠加在第二图像P2上。混合比例如可以是变换图像P3和第二图像P2的相应α值的比率。图像处理器53通过α混合将变换图像P3叠加在第二图像P2上。

[0082] 设置信息生成器56生成设置信息81。设置信息生成器56可以使用例如用于从图像中检测缺陷部分14(提取部分140)的预定学习模型来定义第一图像P1中的提取部分140的范围。另外，例如，设置信息生成器56根据提取部分140的大小来确定提取部分140的分割段数。

[0083] 可选地，由设置信息生成器56生成的设置信息81可以被赋予随机性。例如，设置信息生成器56可以随机地确定提取部分140(变换图像P3)相对于第二图像P2的位置、大小或取向中的至少一个。

[0084] 注意，本文所使用的短语“随机”不一定意味着所有事件都以相同的概率发生。设置信息生成器56例如可以通过参考关于第二对象2上的多个区域中的每个区域中的缺陷的发生概率的信息来随机地设置用于确定提取部分140的位置的参数，使得区域中的发生概率越高，该区域越可能被选择为提取部分140的位置。

[0085] 可选地，设置信息生成器56可以将标签附加到叠加图像P4。设置信息生成器56例如可以根据附加到第一图像P1的标签来确定要附加到叠加图像P4的标签。具体地，如果附加到第一图像P1的标签是“缺陷产品”标签，并且第一图像P1的提取部分140与缺陷产生点E1相对应，则设置信息生成器56可以将“缺陷产品”标签附加到叠加图像P4。在这种情况下，标签可以包括缺陷的类型，该类型可以与第一图像P1的缺陷的类型相同。

[0086] (7)显示输出器和显示设备

[0087] 显示输出器57向显示设备58输出信息。作为响应，显示设备58根据显示设备58已经从显示输出器57接收到的信息进行显示操作。

[0088] 显示设备58包括显示器。显示器例如可以是液晶显示器或有机电致发光(EL)显示器。显示设备58例如可以显示第一图像P1、第二图像P2、变换图像P3和叠加图像P4。当用户正在将设置信息81输入到用户接口55中时，显示设备58可以被用作用于进行关于设置信息81的显示操作的输出接口。当在显示设备58上显示第一图像P1时，用户例如可以通过操作用户接口55以移动在显示设备58上显示的光标来定义提取部分140的范围。另外，用户还可以例如通过将光标移动到显示设备58上显示的滑块并且执行拖动操作来输入提取部分140的灰度或取向或者变换图像P3和第二图像P2的相应α值。

[0089] 另外，显示输出器57还向显示设备58输出关于多个分割段141的信息。显示设备58根据显示设备58已经从显示输出器57获取的关于多个分割段141的信息来显示多个分割段141。这允许用户选择他或她的期望分割段141并且输入关于如此选择的分割段141的设置信息81。

[0090] 另外，显示设备58还显示由(稍后要描述的)判定器61提供的判定结果83。

[0091] (8)缺陷的类型

[0092] 在该实施例中，第一对象1是通过将两种或更多种焊接基本材料(例如，该实施例中的第一基本金属11和第二基本金属12)焊接在一起而形成的物品。也就是说，第一对象1是焊接产品。

[0093] 焊接产品产生的缺陷的类型的示例包括凹坑、溅射、突起、烧穿和底切。提取部分140覆盖缺陷产生点E1的至少一部分，在该缺陷产生点E1中，焊接产品已经产生从由凹坑、溅射、凸起、烧穿和底切组成的组中选择的至少一种缺陷。在该实施例中，提取部分140覆盖整个缺陷产生点E1，并且该缺陷是底切。提取部分140的灰度与底切的深度相对应。

[0094] 本文所使用的“凹坑”是指焊道13产生的凹陷。本文所使用的“溅射”是指焊道13产生的球形或截锥形凸起。本文所使用的“凸起”是指焊道13产生的圆柱形凸起。本文所使用的“烧穿”是指焊道13的已经被熔化的缺失部分。本文所使用的“底切”是指在焊道13周围产生的凹陷。

[0095] 提取部分140不一定是缺陷部分14，而也可以是没有缺陷的部分。备选地，提取部分140可以包括缺陷部分14以及缺陷部分14周围的部分。备选地，提取部分140可以包括多个缺陷部分14。

[0096] 具体地，如果第一对象1产生的缺陷是在狭窄范围中产生的缺陷(例如，凹坑、溅射或突起)，则提取部分140优选地不仅覆盖单个缺陷部分14，而且还覆盖缺陷部分14周围的部分或另一缺陷部分14。这确保了提取部分140的足够长度，从而使弯曲提取部分140的处理和划分提取部分140的处理成为更有效的处理。

[0097] (9)机器学习和通过/不通过判定

[0098] 图像输出器59向学习器60输出由图像处理器53生成的叠加图像P4。学习器60使用叠加图像P4作为学习数据(或学习数据集)来进行机器学习。以这种方式，学习器60生成学习模型82。如上所述，学习器60不仅可以使用叠加图像P4，而且还可以使用第一图像P1和第二图像P2作为学习数据。

[0099] 通过不仅将“无缺陷”或“缺陷”标签附加到多个图像数据项中的每一个，而且还在缺陷产品的情况下将指示缺陷的类型和位置的标签附加到多个图像数据项中的每一个来生成学习数据集。附加标签的操作例如可以由用户经由用户接口55来执行。备选地，附加标签的操作也可以由设置信息生成器56来执行。学习器60通过对对象的状态(即，无缺陷状态、缺陷状态、缺陷的类型和缺陷的位置)进行机器学习来生成学习模型82。

[0100] 可选地，学习器60可以尝试通过使用包括新获取的学习数据的学习数据集进行重新学习来提高学习模型82的性能。例如，如果在对象中检测到新类型的缺陷，则可以使学习器60进行关于新类型的缺陷的重新学习。

[0101] 例如，在工厂的生产线上，图像捕获设备拍摄对象以生成检查图像P5。更具体地，图像捕获设备拍摄其上已经通过实际进行焊接处理而形成焊道的对象，从而生成检查图像P5。检查图像获取器62从图像捕获设备获取检查图像P5。判定器61使用由学习器60生成的学习模型82来对由检查图像获取器62获取的检查图像P5(对象)做出通过/不通过的判定。另外，如果对象是缺陷产品，则判定器61还确定已经检测到什么类型的缺陷以及该缺陷位于何处。判定器61输出判定结果83。例如，可以向显示设备58输出判定结果83。作为响应，显示设备58显示判定结果83。这允许用户在显示设备58上检查判定结果83。备选地，还可以控制制造设备，使得被判定器61识别为缺陷产品的对象在被传递到下一个处理步骤之前被丢弃。例如，判定结果83可以被输出到数据服务器并且存储在该数据服务器中。

[0102] 如上所述，图像生成系统5包括用于获取检查图像P5的检查图像获取器62以及用于使用学习模型82对检查图像P5做出通过/不通过判定的判定器61。基于由图像处理器53生成的叠加图像P4来生成学习模型82。

[0103] (10)操作的流程

[0104] 接下来，将参考图6描述允许图像生成系统5生成叠加图像P4的处理的流程。注意，图6所示的流程仅是示例，并且不应被解释为限制。可选地，可以按照与所示顺序不同的顺序来执行图6所示的处理步骤，可以适当地省略图6所示的处理步骤中的一些，和/或可以根据需要来执行附加处理步骤。

[0105] 在步骤ST2至ST5以及ST7中获取的设置信息81可以由用户经由用户接口55来输入，或者由设置信息生成器56来生成。备选地，一些设置信息81可以由用户经由用户接口55来输入，并且其他设置信息81可以由设置信息生成器56来生成。

[0106] 首先，第一图像获取器51获取第一图像P1(在步骤ST1中)。接下来，图像处理器53获取关于提取设置的设置信息81，并且基于提取设置来执行提取处理71(在步骤ST2中)。以这种方式，生成提取图像(参考图4的A)。如本文所使用的，关于提取设置的设置信息81是指用于定义第一图像P1中的提取部分140的范围的信息。

[0107] 接下来，图像处理器53获取关于变形设置的设置信息81，并且基于变形设置来执行变形处理(在步骤ST3中)。以这种方式，生成变形图像(参考图4的B)。如本文所使用的，关于变形设置的设置信息81是指为了通过弯曲提取部分140来使提取部分140变形而要参考的信息，并且例如可以包括指示弯曲点和弯曲角度的信息。

[0108] 随后，图像处理器53获取关于分割设置的设置信息81，并且基于分割设置来执行分割处理(在步骤ST4中)。如本文所使用的，关于分割设置的设置信息81包括例如用于确定提取部分140的分割段数的信息。

[0109] 接下来，图像处理器53获取关于变换设置的设置信息81，并且基于变换设置来执行变换处理(在步骤ST5中)。如本文所使用的，关于变换设置的设置信息81是指用于输入从由提取部分140的灰度、提取部分140的位置、提取部分140的大小和提取部分140的取向组成的组中选择的至少一个参数的变化的信息。变换处理是改变从由提取部分140的灰度、提取部分140的位置、提取部分140的大小和提取部分140的取向组成的组中选择的至少一个参数的处理。可选地，变换处理允许以分割段141为基础改变灰度、位置、大小和取向(旋转角度)。

[0110] 接下来，第二图像获取器52获取第二图像P2(在步骤ST6中)。另外，图像处理器53获取关于叠加设置的设置信息81，并且基于叠加设置来执行叠加处理(在步骤ST7中)。关于叠加设置的设置信息81包括例如用于确定叠加处理74中变换图像P3和第二图像P2的混合比的信息。

[0111] 此后，图像处理器53输出由叠加处理74生成的叠加图像P4(在步骤ST8中)。

[0112] 图像处理器53确定是否已经输出预定数量(或多于预定数量)的叠加图像P4(在步骤ST9中)。如果已经输出预定数量的叠加图像P4，则图像处理器53结束生成叠加图像P4的处理。另一方面，如果尚未输出预定数量的叠加图像P4，则该过程返回到处理步骤ST1。通过重复地执行一系列处理步骤ST1至ST8来生成预定数量的叠加图像P4。

[0113] 第一图像P1的最小所需数量是1，并且第二图像P2的最小所需数量也是1。当生成一个叠加图像P4时，并且当生成另一叠加图像P4时，可以改变第一图像P1或第二图像P2中的至少一个。

[0114] 可选地，当生成另一叠加图像P4时，由图像处理器53生成的一个叠加图像P4可以被用作第一图像P1或第二图像P2。

[0115] (11)优点

[0116] 根据该实施例的图像生成系统5可以生成适合于机器学习的叠加图像P4。具体地，图像生成系统5根据第二图像P2中拍摄的第二对象2的形状来使提取部分140变形，从而使叠加图像P4成为比在将表示提取部分140的图像叠加在第二图像P2上而不进行这种变形的情况下更自然的图像。也就是说，这允许叠加图像P4再现第二对象2实际上将产生的缺陷。这使得通过使用叠加图像P4而生成的学习模型82成为允许用户精确地确定是否存在任何缺陷并且检测缺陷的类型(如果有的话)的这种模型。

[0117] 另外，以分割段141为基础对表示提取部分140的图像进行图像处理。例如，这使得与未划分提取部分140的情况相比，能够更容易地确定用于确定对表示提取部分140的图像进行图像处理的处理的参数(即，设置信息81)，从而使得更容易生成用户所期望的叠加图像P4。这有助于提高使用叠加图像P4的机器学习的精度。

[0118] (第一变型)

[0119] 接下来，将参考图7的A至图7的E描述第一变型。根据该第一变型的图像生成系统5具有与根据上述示例性实施例的其对应部分相同的配置。因此，该第一变型的与上述示例性实施例的对应部分具有相同功能的任何组成元件将由与该对应部分的附图标记相同的附图标记来指定，并且本文将省略其描述。

[0120] 如在上述示例性实施例中一样，用于在基于第一图像P1和第二图像P2来生成叠加图像P4的处理中使用的设置信息81可以由用户经由用户接口55来输入，或者可以由设置信息生成器56来生成。备选地，一些设置信息81可以由用户经由用户接口55来输入，并且其他设置信息81可以由设置信息生成器56来生成。

[0121] 在该第一变型中，在已经执行将提取部分140划分为多个分割段141的分割处理之后，图像处理器53根据第二图像P2中拍摄的第二对象2的形状来执行使提取部分140变形的处理。

[0122] 首先，如上述示例性实施例一样，图像处理器53执行从第一图像P1中拍摄的第一对象1中提取提取部分140的处理(参考图2)。作为结果，通过提取提取部分140来生成提取图像，如图7的A所示。可选地，图像处理器53可以适当地执行使提取部分140翻转(镜像反转)的处理。

[0123] 接下来，图像处理器53执行沿预定方向扩展或压缩提取部分140的处理。作为结果，生成变换图像P3，如图7的B所示。可以适当地省略扩展和压缩处理。

[0124] 随后，图像处理器53执行分割处理。作为结果，生成变换图像P3，如图7的C所示。

[0125] 图像处理器53还以分割段141为基础对提取部分140的图像进行图像处理。图像处理器53至少执行根据第二图像P2中拍摄的第二对象2的形状来使提取部分140变形的处理(在下文中被称为“弯曲处理”)。

[0126] 多个分割段141中的每一个的旋转中心C1被布置为与另一分割段141相邻(参考图7的E)。弯曲处理包括通过使至少一些分割段141围绕其旋转中心C1旋转来使提取部分140变形。作为弯曲处理的结果，生成变换图像P3，如图7的D所示。

[0127] 可选地，弯曲处理可以包括在已经使至少一些分割段141旋转之后校正变换图像P3的处理。例如，可以校正变换图像P3以将多个分割段141平滑地连接在一起。

[0128] 图像处理器53还对至少一些分割段141执行变换处理(处理73)。变换处理是改变从由提取部分140的灰度、提取部分140的位置、提取部分140的大小和提取部分140的取向组成的组中选择的至少一个参数的处理。在这种情况下，变换处理允许以分割段141为基础改变灰度、位置、大小和取向。

[0129] 在执行变换处理之后，图像处理器53将变换图像P3叠加在第二图像P2上，从而生成如图5所示的叠加图像P4。

[0130] 如上所述，根据该变型，将提取部分140划分为多个分割段141，并且旋转至少一些分割段141，从而完成弯曲处理。即使用户确定并输入关于弯曲处理的设置信息81，这也允许通过减少确定设置信息81所需的信息量来容易地确定设置信息81。

[0131] (示例性实施例的其他变型)

[0132] 接下来，将逐个列举示例性实施例的其他变型。注意，可以适当地组合采用下面要描述的变型。备选地，下面要描述的变型也可以与上述第一变型组合采用。

[0133] 将提取部分140划分为多个分割段141的分割处理不是必不可少的处理。如果不执行分割处理，则可以例如逐个像素地或者在整个提取部分140上均匀地改变诸如提取部分140的每个坐标的灰度的信息，以适当者为准。

[0134] 学习模型82不一定是用于在焊接外观测试中使用的模型，而也可以是用于在各种其他类型的检查中使用的模型。另外，学习模型82不一定是用于检查目的的模型，而也可以是用于在各种类型的图像识别中使用的模型。

[0135] 执行提取处理71的代理不一定是图像处理器53，而也可以设置在图像生成系统5的外部。

[0136] 用户接口55、显示设备58、学习器60或判定器61中的至少一个可以设置在图像生成系统5的外部。

[0137] 显示设备58可以是诸如智能电话或平板计算机之类的移动通信设备。

[0138] 由图像生成系统5处理的图像(包括第一图像P1、第二图像P2、变换图像P3、叠加图像P4和检查图像P5)不一定是三维图像，而也可以是二维图像或者甚至四维或更多维图像。

[0139] 基于第一图像P1和第二图像P2而生成的叠加图像P4不一定是缺陷产品图像，而也可以是无缺陷产品图像。

[0140] 第一图像P1中拍摄的第一对象1可以是具有与第二图像P2中拍摄的第二对象2相同或不同的形状的对象。

[0141] 第一图像P1和第二图像P2可以是相同的图像。

[0142] 第一图像P1和第二图像P2可以是缺陷产品图像或无缺陷产品图像，以适当者为准。备选地，第一图像P1和第二图像P2中的一个可以是无缺陷产品图像，而另一个可以是缺陷产品图像。

[0143] 第一图像P1可以是通过仅拍摄第一对象1的一部分而生成的图像。第二图像P2可以是通过仅拍摄第二对象2的一部分而生成的图像。

[0144] 图像处理器53可以提取多个提取部分140。在这种情况下，生成多个变换图像P3。

[0145] 图像处理器53可以根据单个提取部分140来生成多个变换图像P3。

[0146] 叠加处理74可以包括使图像处理器53将多个变换图像P3叠加在第二图像P2上。

[0147] 在变换图像P3中，多个分割段141不一定连接在一起。备选地，一些分割段141可以与其他分割段141分开设置。

[0148] 分割段141的旋转中心C1可以设置在远离分割段141的位置处。

[0149] 第一图像P1、第二图像P2、变换图像P3、叠加图像P4和检查图像P5可以是通过灰度表示对象的亮度的亮度图像数据。

[0150] 在上述示例性实施例中，“灰度”表示单一颜色(例如，黑色)的密度。备选地，“灰度”也可以表示多种不同颜色(诸如RGB的三种颜色)的相应密度。

[0151] 变换图像P3在第二图像P2上放置的范围可以由用户通过操作用户接口55来定义。例如，可以从由第一基本金属21、第二基本金属22和焊道23组成的组中选择变换图像P3在第二图像P2上放置的范围。如果已经将第一基本金属21选择为变换图像P3在第二图像P2上放置的范围，则图像处理器53可以将变换图像P3设置在第一基本金属21上的随机选择的位置处。

[0152] 根据本公开的图像生成系统5或执行根据本公开的图像生成方法的代理包括计算机系统。计算机系统可以包括作为其主要硬件组件的处理器和存储器。计算机系统通过使处理器执行计算机系统的存储器中存储的程序来执行根据本公开的图像生成系统5的至少一些功能，或者充当执行根据本公开的图像生成方法的代理。该程序可以预先被存储在计算机系统的存储器中。备选地，也可以通过电信线路下载程序，或者将程序记录在诸如存储卡、光盘或硬盘驱动器的一些非暂时性存储介质(其中的任一个是计算机系统可读的)中之后进行分发。计算机系统的处理器可以由包括半导体集成电路(IC)或大规模集成电路(LSI)的单个或多个电子电路组成。如本文所使用的，诸如IC或LSI的“集成电路”根据其集成度被称为不同的名称。诸如IC或LSI之类的集成电路的示例包括被称为“系统LSI”、“超大规模集成电路(VLSI)”和“特大规模集成电路(ULSI)”的集成电路。可选地，还可以采用在制造LSI之后进行编程的现场可编程门阵列(FPGA)或者允许重新配置LSI内部的连接或电路部分的可重配置逻辑设备作为处理器。这些电子电路可以一起集成在单个芯片上或分布在多个芯片上，以适当者为准。这些多个芯片可以一起聚集在单个设备中或分布在多个设备中，而没有限制。如本文所使用的，“计算机系统”包括微控制器，该微控制器包括一个或多个处理器和一个或多个存储器。因此，微控制器也可以被实现为包括半导体集成电路或大规模集成电路的单个或多个电子电路。

[0153] 另外，在上述实施例中，图像生成系统5的多个功能在单个设备中被集成在一起。然而，这不是图像生成系统5的必要配置。备选地，图像生成系统5的这些构成元件可以分布在多个不同的设备中。备选地，图像生成系统5的至少一些功能(例如，图像处理器53、学习器60或判定器61中的至少一个的至少一些功能)也可以被实现为服务器或云计算系统。相反，图像生成系统5的多个功能可以在单个设备中被集成在一起。

[0154] (重述要点)

[0155] 上述示例性实施例及其变型是本公开的以下方面的具体实现。

[0156] 根据第一方面的图像生成系统(5)包括第一图像获取器(51)、第二图像获取器(52)和图像处理器(53)。第一图像获取器(51)通过拍摄第一对象(1)来获取第一图像(P1)。第二图像获取器(52)通过拍摄第二对象(2)来获取第二图像(P2)。图像处理器(53)执行图像变换处理和叠加处理(74)。图像变换处理包括：基于第一图像(P1)，通过对提取部分(140)进行图像处理来生成变换图像(P3)，该提取部分(140)形成第一对象(1)的预定部分。
叠加处理(74)包括：通过将变换图像(P3)叠加在第二图像(P2)上来生成叠加图像(P4)。图像变换处理包括根据第二图像(P2)中拍摄的第二对象(2)的形状来使提取部分(140)变形的处理。

[0157] 该配置使得能够生成适合于机器学习的图像(叠加图像(P4))。具体地，在通过将变换图像(P3)叠加在第二图像(P2)上来生成叠加图像(P4)之前，执行根据第二图像(P2)中拍摄的第二对象(2)的形状来使提取部分(140)变形的处理，从而生成变换图像(P3)。与不执行这种处理的情况相比，这使得更容易使叠加图像(P4)更加类似于不是通过叠加而生成的实际图像。这有助于提高使用叠加图像(P4)的机器学习的精度。

[0158] 在根据可以与第一方面结合实现的第二方面的图像生成系统(5)中，图像变换处理还包括将提取部分(140)划分为多个分割段(141)的处理。

[0159] 该配置通过划分提取部分(140)使得更容易进行关于提取部分(140)的设置。

[0160] 在根据可以与第一方面或第二方面结合实现的第三方面的图像生成系统(5)中，图像变换处理包括改变从由提取部分(140)的灰度、提取部分(140)的位置、提取部分(140)的大小和提取部分(140)的取向组成的组中选择的至少一个参数的处理。

[0161] 该配置允许生成各种叠加图像(P4)。

[0162] 根据可以与第一方面至第三方面中任一方面结合实现的第四方面的图像生成系统(5)还包括设置信息输入器(54)。设置信息输入器(54)获取关于基于第一图像(P1)和第二图像(P2)来生成叠加图像(P4)的处理的设置信息(81)。设置信息输入器(54)从用户接口(55)获取设置信息(81)，该用户接口(55)接受由用户执行以输入设置信息(81)的操作。

[0163] 该配置允许用户指定设置信息(81)。

[0164] 根据可以与第一方面至第四方面中任一方面结合实现的第五方面的图像生成系统(5)还包括设置信息生成器(56)。设置信息生成器(56)生成关于基于第一图像(P1)和第二图像(P2)来生成叠加图像(P4)的处理的设置信息(81)。

[0165] 该配置使得即使不使用户指定设置信息(81)也能够生成设置信息(81)。

[0166] 在根据可以与第四方面或第五方面结合实现的第六方面的图像生成系统(5)中，设置信息(81)包括从以下第一信息至第四信息中选择的一条或多条信息。可以被包括在设置信息(81)中的第一信息是用于定义第一图像(P1)中的提取部分(140)的范围的信息。可以被包括在设置信息(81)中的第二信息是用于确定图像变换处理中提取部分(140)的划分数量的信息。可以被包括在设置信息(81)中的第三信息是用于输入图像变换处理中从由提取部分(140)的灰度、提取部分(140)的位置、提取部分(140)的大小和提取部分(140)的取向组成的组中选择的至少一个参数的变化的信息。可以被包括在设置信息(81)中的第四信息是用于确定叠加处理(74)中变换图像(P3)和第二图像(P2)的混合比的信息。

[0167] 该配置允许根据设置信息(81)的内容来生成变换图像(P3)。

[0168] 在根据可以与第一方面至第六方面中任一方面结合实现的第七方面的图像生成系统(5)中，第一图像(P1)是通过拍摄第一对象(1)的缺陷产生点(E1)而生成的图像。第二图像(P2)是通过拍摄作为无缺陷产品的第二对象(2)而生成的图像。提取部分(140)包括缺陷产生点(E1)的至少一部分。

[0169] 该配置允许将缺陷产品图像生成为叠加图像(P4)。

[0170] 在根据可以与第七方面结合实现的第八方面的图像生成系统(5)中，第一对象(1)是焊接产品。提取部分(140)包括缺陷产生点(E1)的至少一部分，该缺陷产生点(E1)呈现从由其均可以在焊接产品中存在的凹坑、溅射、凸起、烧穿和底切组成的组中选择的至少一种的形式。

[0171] 该配置允许将焊接产品的缺陷产品图像生成为叠加图像(P4)。

[0172] 根据可以与第一方面至第八方面中任一方面结合实现的第九方面的图像生成系统(5)还包括图像输出器(59)。图像输出器(59)向学习器(60)输出由图像处理器(53)生成的叠加图像(P4)。学习器(60)使用叠加图像(P4)作为学习数据来执行机器学习。

[0173] 该配置允许基于叠加图像(P4)通过机器学习来生成高精度学习模型(82)。

[0174] 根据可以与第一方面至第九方面中任一方面结合实现的第十方面的图像生成系统(5)还包括检查图像获取器(62)和判定器(61)。检查图像获取器(62)获取检查图像(P5)。判定器(61)使用学习模型(82)对检查图像(P5)做出通过/不通过判定。基于由图像处理器(53)已经生成的叠加图像(P4)来生成学习模型(82)。

[0175] 该配置使得能够通过使用已经基于叠加图像(P4)而生成的学习模型(82)来高精度地做出通过/不通过判定。

[0176] 在根据可以与第一方面至第十方面中任一方面结合实现的第十一方面的图像生成系统(5)中，图像变换处理中根据第二图像(P2)中拍摄的第二对象(2)的形状来使提取部分(140)变形包括：沿第二图像(P2)中拍摄的第二对象(2)的至少一部分的轮廓或边缘使提取部分(140)变形。

[0177] 该配置使得能够通过使用用于提取轮廓或边缘的已知技术来使提取部分(140)变形。

[0178] 在根据可以与第一方面至第十一方面中任一方面结合实现的第十二方面的图像生成系统(5)中，叠加图像(P4)是深度被表示为灰度的三维图像。

[0179] 该配置允许在考虑深度信息的情况下进行机器学习。

[0180] 注意，根据第二方面至第十二方面的构成元件不是图像生成系统(5)的必要构成元件，而是可以被适当地省略。

[0181] 根据第十三方面的图像生成方法包括第一图像获取处理、第二图像获取处理、图像变换处理和叠加处理(74)。第一图像获取处理包括：通过拍摄第一对象(1)来获取第一图像(P1)。第二图像获取处理包括：通过拍摄第二对象(2)来获取第二图像(P2)。图像变换处理包括：基于第一图像(P1)，通过对提取部分(140)进行图像处理来生成变换图像(P3)，该提取部分(140)形成第一对象(1)的预定部分。叠加处理(74)包括：通过将变换图像(P3)叠加在第二图像(P2)上来生成叠加图像(P4)。图像变换处理包括根据第二图像(P2)中拍摄的第二对象(2)的形状来使提取部分(140)变形的处理。

[0182] 该方法使得能够生成适合于机器学习的图像(即，叠加图像(P4))。

[0183] 根据可以与第十三方面结合实现的第十四方面的图像生成方法还包括设置信息生成处理，该设置信息生成处理包括生成关于基于第一图像(P1)和第二图像(P2)来生成叠加图像(P4)的处理的设置信息(81)。

[0184] 该方法使得即使不使用户指定设置信息(81)也能够生成设置信息(81)。

[0185] 注意，根据第十四方面的特征不是图像生成方法的必要特征，而是可以被适当地省略。

[0186] 根据第十五方面的程序被设计为使计算机系统的一个或多个处理器执行根据第十三方面或第十四方面的图像生成方法。

[0187] 该程序使得能够生成适合于机器学习的图像(即，叠加图像(P4))。

[0188] 注意，这些不是本公开的唯一方面，而是根据上述示例性实施例的图像生成系统(5)的各种配置(包括变型)也可以被实现为例如图像生成方法、(计算机)程序、或其上存储有程序的非暂时性存储介质。

[0189] 附图标记列表

[0190] 1第一对象

[0191] 2第二对象

[0192] 5图像生成系统

[0193] 51 第一图像获取器

[0194] 52 第二图像获取器

[0195] 53 图像处理器

[0196] 54 设置信息输入器

[0197] 55 用户接口

[0198] 56 设置信息生成器

[0199] 59 图像输出器

[0200] 60 学习器

[0201] 61 判定器

[0202] 62 检查图像获取器74叠加处理81设置信息82学习模型140提取部分141分割段E1缺陷产生点P1第一图像P2第二图像P3变换图像P4叠加图像P5检测图像。