技术领域
[0002] 本发明构思涉及机器学习，更具体地讲，涉及一种能够防止错误学习的机器学习装置，并且涉及一种机器学习装置的学习方法。
相关背景技术
[0003] 机器学习装置可通过生成可基于迭代学习来确定目标的类别的机器学习分类器来进行操作。机器学习分类器可用于各种领域。例如，机器学习分类器可用于确定由相机捕获的图像的类别。机器学习装置可通过以下步骤创建机器学习分类器：首先，对若干图像进行类别确定；接下来，在确定的结果与图像的实际类别之间进行比较；最后，基于比较的结果更新机器学习分类器。
[0004] 机器学习可涉及重复更新用于执行分类的各种权重。随着权重被重复更新，机器学习分类器可被训练为从图像中存在的图案确定图像的类别。
[0005] 在一些情况下，图像可具有妨碍机器学习的特定图案。这些特定图案的存在可导致来自机器学习分类器的次优结果。也就是说，机器学习分类器会被训练为对包括这些图案的图像进行错误地分类。因此，需要防止机器学习分类器因这样的图案而导致的错误学习。
具体实施方式
[0027] 下面，详细并清楚地描述本发明构思的实施例，以达到本领域技术人员可实现本发明构思的程度。
[0028] 图1是示出根据本发明构思的实施例的机器学习装置100的框图。参照图1，机器学习装置100包括总线110、处理器120、神经形态处理器130、随机存取存储器140、调制解调器150、图像数据库160、存储装置170和用户接口180。
[0029] 总线110提供机器学习装置100的组件之间的通信信道。处理器120可控制机器学习装置100。处理器120可执行操作系统、固件等以便驱动机器学习装置100。
[0030] 处理器120可将机器学习指引到神经形态处理器130并可支持神经形态处理器130的机器学习。例如，处理器120可允许神经形态处理器130通过总线110与随机存取存储器140、调制解调器150、存储装置170和用户接口180通信。
[0031] 神经形态处理器130可在处理器120的控制下执行机器学习。神经形态处理器130可包括机器学习分类器131。例如，神经形态处理器130可在处理器120的控制下构建机器学习分类器131。
[0032] 神经形态处理器130可通过调制解调器150从图像数据库160接收多个图像和多个图像的多条类信息(例如，多条第一类信息)。神经形态处理器130可通过使用图像来执行机器学习。
[0033] 例如，神经形态处理器130可通过使用机器学习分类器131从多个图像生成多个图像的多条类信息(例如，多条第二类信息)。神经形态处理器130可将多条第二类信息与多条第一类信息分别进行比较。根据比较的结果，神经形态处理器130可更新机器学习分类器131。
[0034] 例如，神经形态处理器130可更新机器学习分类器131，使得由机器学习分类器131生成的多条第二类信息与多条第一类信息相同或相似。
[0035] 从图像数据库160传送的图像中的一些图像可与引导图一起被传送。引导图可包括关于是否基于图像的某些部分更优先地(或主导地)地执行机器学习的信息。
[0036] 在特定图像与引导图一起被接收的情况下，神经形态处理器130可通过使用特定图像和引导图来生成第二类信息。神经形态处理器130可将第二类信息与第一类信息进行比较，并可根据比较的结果更新机器学习分类器131。稍后将更充分地描述使用引导图的机器学习。
[0037] 随机存取存储器140可用作处理器120或神经形态处理器130的工作存储器。随机存取存储器140可包括易失性存储器(诸如，静态随机存取存储器(SRAM)或动态随机存取存储器(DRAM))或非易失性存储器(诸如，相变RAM(PRAM)、磁性RAM(MRAM)、电阻式RAM(ReRAM)或铁电RAM(FRAM))。
[0038] 调制解调器150可从图像数据库160接收图像，并可将接收的图像传送到神经形态处理器130。在一个实施例中，图像数据库160可与机器学习装置100分开设置，并可与调制解调器150远程通信。
[0039] 存储装置170可存储由处理器120生成的数据。存储装置170可存储处理器120执行的操作系统或固件代码。存储装置170可将由神经形态处理器130生成的机器学习分类器131(例如，第一机器学习分类器)作为机器学习分类器171(例如，第二机器学习分类器)存储。存储装置170可包括非易失性存储器(诸如，NAND闪存、PRAM、MRAM、RRAM或FRAM)。
[0040] 用户接口180可包括用户输入接口和用户输出接口。用户输入接口可包括从用户接收信息的输入装置(诸如，键盘、鼠标、触摸板和麦克风)。用户输出接口可包括向用户输出信息的输出装置(诸如，监视器、光束投影仪和扬声器)。
[0041] 在一个实施例中，图像数据库160可存储半导体装置的图像。神经形态处理器130可通过调制解调器150从图像数据库160接收半导体装置的图像。图像的多条第一类信息可包括指示半导体装置的故障类型或正常性(normality)(即，没有故障的指示)的信息。
[0042] 神经形态处理器130可通过使用机器学习分类器131从图像生成指示故障类型或正常性的第二类信息。神经形态处理器130可执行机器学习，使得机器学习分类器131对来自半导体装置的图像的故障类型或正常性的信息进行分类。
[0043] 存储在图像数据库160中的多个图像中的一些图像可包括妨碍机器学习的图案。可选择地，多个图像中的一些图像可包括使执行学习变困难的特定图案。具有妨碍机器学习或使执行学习变困难的图案的图像可与引导图一起被传送到神经形态处理器130。神经形态处理器130可通过使用引导图执行机器学习，从而防止机器学习受妨碍并支持学习。也就是说，提高了机器学习分类器131的可靠性。
[0044] 由神经形态处理器130生成的机器学习分类器131可作为机器学习分类器171存储到存储装置170。机器学习分类器171可被发送到用于测试半导体装置的缺陷的测试装置。
[0045] 图1中示出的示例示出独立于处理器120设置的用于机器学习的神经形态处理器130。然而，神经形态处理器130可包括在处理器120中。可选择地，机器学习可由处理器120而不是由神经形态处理器130执行。
[0046] 图2是示出根据本发明构思的实施例的神经形态处理器130和图像数据库160的框图。为了避免不必要的复杂化，用于机器学习的数据在图2中被示为从图像数据库160直接传送到神经形态处理器130。然而，可以理解的是，用于机器学习的数据可通过调制解调器150从图像数据库160传送到神经形态处理器130。
[0047] 参照图1和图2，神经形态处理器130包括第一卷积层132_1至第三卷积层132_3、分类层133、损失层134、调整大小块135、第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块137。
[0048] 第一卷积层132_1至第三卷积层132_3以及分类层133可构成机器学习分类器131。损失层134、调整大小块135、第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块137可以是用于支持机器学习分类器131的机器学习的组件。
[0049] 第一卷积层132_1可从图像数据库160接收图像IMG。图像IMG可包括包含分别与相机的像素对应的像素值的像素数据。第一卷积层132_1可通过将它自己的核与图像IMG的像素数据进行卷积来生成第一中间像素数据DINT1。
[0050] 第二卷积层132_2可通过将它自己的核与第一中间像素数据DINT1进行卷积来生成第二中间像素数据DINT2。第三卷积层132_3可通过将它自己的核与第二中间像素数据DINT2进行卷积来生成第三中间像素数据DINT3。
[0051] 分别从第一卷积层132_1至第三卷积层132_3输出的多条数据不直接与相机的像素相关联。然而，由于多条像素数据源自图像IMG的像素，并且为了更清楚地描述本发明构思的范围和精神，因此第一卷积层132_1至第三卷积层132_3输出的数据被称为中间像素数据。
[0052] 分类层133可通过执行包括第三中间像素数据DINT3和类参数的运算来输出第二类信息ICLS2。分类层133可计算分别与分类层133生成的类对应的值。类的值可指示图像IMG属于每个类的概率。分类层133可输出具有最高概率的类的信息作为第二类信息ICLS2。
[0053] 调整大小块135可从图像数据库160接收引导图GDM。例如，引导图GDM可具有与图像IMG相同的大小。引导图GDM可包括包含分别与图像IMG的像素对应的权重的像素数据。由于引导图GDM中的数据对应于图像IMG的像素，所以引导图GDM被称为像素数据。
[0054] 例如，引导图GDM的第一像素数据可具有比第二像素数据高的权重。引导图GDM指示与第一像素数据相关联的图像IMG的像素数据应当比与第二像素数据相关联的图像IMG的像素数据更优先地(或者主导地)参考。
[0055] 调整大小块135可将引导图GDM转换为第一引导图GDM1至第四引导图GDM4，并且可将第一引导图GDM1至第四引导图GDM4传送至第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块137。第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块137所需的引导图GDM1至GDM4的大小可彼此不同。
[0056] 例如，需要的引导图的大小可随着它从第一激活图生成块136_1朝向类激活图生成块137行进而减小。调整大小块135可将引导图GDM的大小转换为具有适合于第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块137的大小的第一引导图GDM1至第四引导图GDM4。
[0057] 例如，调整大小块135可通过使用以下项中的至少一种来转换引导图GDM的大小：插值、池化和子采样。调整大小块135可将转换为适当大小的第一引导图GDM1至第四引导图GDM4分别提供给第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块
137。
[0058] 第一激活图生成块136_1可接收从第一卷积层132_1输出的第一中间像素数据DINT1和第一引导图GDM1。第一激活图生成块136_1可从第一中间像素数据DINT1生成第一激活图。第一激活图生成块136_1可将第一激活图与第一引导图GDM1之间的差(例如，D1)提供给损失层134。
[0059] 第二激活图生成块136_2可接收从第二卷积层132_2输出的第二中间像素数据DINT2和第二引导图GDM2。第二激活图生成块136_2可从第二中间像素数据DINT2生成第二激活图。第二激活图生成块136_2可将第二激活图与第二引导图GDM2之间的差(例如，D2)提供给损失层134。
[0060] 第三激活图生成块136_3可接收从第三卷积层132_3输出的第三中间像素数据DINT3和第三引导图GDM3。第三激活图生成块136_3可从第三中间像素数据DINT3生成第三激活图。第三激活图生成块136_3可将第三激活图与第三引导图GDM3之间的差(例如，D3)提供给损失层134。
[0061] 类激活图生成块137可接收从第三卷积层132_3输出的第三中间像素数据DINT3、从分类层133输出的类参数CLSP和第四引导图GDM4。类激活图生成块137可从第三中间像素数据DINT3和类参数CLSP生成类激活图。
[0062] 类参数CLSP可包括由分类层133用来生成类并且也可用作滤波器的权重。类激活图生成块137可将类激活图与第四引导图GDM4之间的差(例如，D4)提供给损失层134。
[0063] 损失层134可从分类层133接收第二类信息ICLS2，并可从图像数据库160接收第一类信息ICLS1。在没有从图像数据库160提供引导图GDM的情况下，损失层134可将第二类信息ICLS2与第一类信息ICLS1进行比较以执行机器学习。
[0064] 当从图像数据库160提供引导图GDM时，损失层134可通过将第二类信息ICLS2、第一类信息ICLS1以及从第一激活图生成块136_1至第三激活图生成块136_3和类激活图生成块137传送的差D1至D4进行比较，来执行机器学习。
[0065] 损失层134可计算第一类信息ICLS1与第二类信息ICLS2之间的差。根据计算的差，损失层134可更新第一卷积层132_1至第三卷积层132_3以及分类层133的权重(例如，神经网络中的突触的值)。损失层134可更新权重，使得第二类信息ICLS2变得更接近第一类信息ICLS1。
[0066] 此外，损失层134可更新第一卷积层132_1的权重，使得从第一激活图生成块136_1输出的差(例如，第一引导差D1)减小(例如，使得第一激活图变得更接近第一引导图GDM1)。损失层134可更新第二卷积层132_2的权重，使得从第二激活图生成块136_2输出的差(例如，第二引导差D2)减小(例如，使得第二激活图变得更接近第二引导图GDM2)。
[0067] 损失层134可更新第三卷积层132_3的权重，使得从第三激活图生成块136_3输出的差(例如，第三引导差D3)减小(例如，使得第三激活图变得更接近第三引导图GDM3)。损失层134可更新类参数CLSP，使得从类激活图生成块137输出的差(例如，第四引导差D4)减小。
[0068] 例如，损失层134可更新分类层133的类参数CLSP，使得类参数CLSP中的与第一类信息ICLS1对应的类参数变得更接近第四引导图GDM4。
[0069] 根据本发明构思的实施例，神经形态处理器130可通过基于将第一类信息ICLS1和第二类信息ICLS2进行比较的结果更新机器学习分类器131的权重，来执行反向传播。此外或可选择地，神经形态处理器130还可通过经由使用引导图GDM单独地更新机器学习分类器131的每个层的权重来执行反向传播。
[0070] 也就是说，可从在机器学习分类器131生成第二类信息ICLS2的过程中生成的第一中间像素数据DINT1至第三中间像素数据DINT3获得用于机器学习的附加信息。可在不改变机器学习分类器131的结构的情况下，通过将获得的附加信息提供给损失层134来实现将获得的附加信息应用于反向传播。
[0071] 在更新机器学习分类器131的每个层的权重时，可通过引导图GDM预期更新方向。例如，在妨碍机器学习或使执行学习变困难的图案包括在图像IMG中的情况下，可使用用于将高权重归于排除了图案的像素数据的引导图GDM。根据引导图GDM，机器学习分类器131可得知排除了图案的像素数据是优先的或主导的。因此，由于防止机器学习受到妨碍并且支持学习，提高了机器学习分类器131的可靠性。
[0072] 在机器学习分类器131包括三个卷积层132_1至卷积层132_3的情况下描述了实施例。然而，包括在机器学习分类器131中的卷积层的数量不限于三层。
[0073] 此外，在激活图生成块136_1至激活图生成块136_3以及类激活图生成块137分别被提供给卷积层132_1至卷积层132_3以及分类层133的情况下给出了描述。然而，激活图生成块或类激活图生成块可被提供给任意数量的卷积层和分类层133。
[0074] 在一个实施例中，机器学习分类器131是卷积神经网络(CNN)。然而，本发明构思不限于CNN，并且可应用于各种其他的神经网络或机器学习系统。
[0075] 图3是示出根据本发明构思的实施例的神经形态处理器130的操作方法的流程图。参照图2和图3，在操作S110中，机器学习分类器131可从图像数据库160接收图像IMG和第一类信息ICLS1。
[0076] 在操作S120中，机器学习分类器131可对图像IMG进行分类以获得第二类信息ICLS2。在操作S130中，神经形态处理器130可确定是否与图像IMG和第一类信息ICLS1一起接收到引导图GDM。
[0077] 在未接收到引导图GDM的情况下，在操作S140中，神经形态处理器130可根据分类的结果执行反向传播。例如，神经形态处理器130可将第一类信息ICLS1与第二类信息ICLS2进行比较，并且可根据比较的结果执行反向传播。操作S140可以是应用了机器学习分类器131的最终信息的第一学习操作。换言之，当没有与图像IMG一起接收到引导图GDM时，使用图像IMG执行第一学习操作。
[0078] 在接收到引导图GDM的情况下，神经形态处理器130可计算激活图。例如，第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块137可分别生成第一激活图至第三激活图以及类激活图。
[0079] 在操作S160中，神经形态处理器130的第一激活图生成块136_1至第三激活图生成块136_3以及类激活图生成块137可将第一激活图至第三激活图以及类激活图与引导图GDM1至GDM4分别进行比较。在操作S170中，神经形态处理器130可基于分类结果和比较结果来执行反向传播。
[0080] 操作S150至操作S170可表示应用了机器学习分类器131的最终信息和中间信息的第二学习操作。根据本发明构思的实施例的神经形态处理器130可根据引导图GDM是否存在来选择并执行第一学习操作和第二学习操作中的一个。例如，当与图像IMG一起接收到引导图GDM时，使用图像IMG和引导图执行与第一学习操作不同的第二学习操作。
[0081] 可在没有引导图GDM的情况下提供不具有妨碍机器学习的图案的图像或者使执行机器学习变容易的图像。因此，可通过第一学习操作将这样的图像应用于机器学习分类器131。与引导图GDM一起提供具有妨碍机器学习的图案的图像。因此，可通过第二学习操作将这样的图像应用于机器学习分类器131。
[0082] 图4是根据本发明构思的实施例的卷积层132_1至卷积层132_3中的至少一个将输入像素数据DIN应用于核K1至核K8以生成输出像素数据DOUT的示例的示图。参照图2和图4，输入像素数据DIN可以是图像IMG的像素数据、第一中间像素数据DINT1或第二中间像素数据DINT2。
[0083] 输出像素数据DOUT可以是第一中间像素数据DINT1、第二中间像素数据DINT2或第三中间像素数据DINT3。像素数据DIN或像素数据DOUT可由宽度“X”、高度“Y”和通道CH的数量来定义。例如，输入像素数据DIN可被定义为14个像素(宽度)×14个像素(高度)ד3”个通道CH的矩阵。
[0084] 核K1至核K8也可由宽度“X”、高度“Y”和通道CH的数量来定义。例如，核K1至核K8中的每个核可被定义为3个像素(宽度)×3个像素(高度)ד3”个通道CH的矩阵。核K1至核K8的通道CH的数量可与输入像素数据DIN的通道CH的数量相同。核K1至核K8的像素数据可以是CNN的多条突触数据。由于在核K1至核K8与输入像素数据DIN之间进行运算，所以核K1至K8被称作像素数据。
[0085] 卷积层可计算输入像素数据DIN与核K1至核K8中的每个核的卷积。例如，卷积层可在在输入像素数据DIN的像素上移动第一核K1的同时对第一核K1的像素数据和与第一核K1重叠的输入像素数据执行运算(例如，内积)。上述运算的结果可形成输出像素数据DOUT的一个像素值。
[0086] 由核K1至核K8计算的像素数据可形成输出像素数据DOUT的不同通道。由于核K1至核K8的数量是“8”，所以输出像素数据DOUT的通道CH的数量可以是“8”。由输出像素数据DOUT的宽度“X”和高度“Y”定义的像素的数量可随着输入像素数据DIN的像素上的核(例如，K1)的变化而变化。例如，输出像素数据DOUT可具有宽度为“X”的7个像素和高度为“Y”的7个像素。
[0087] 在一个实施例中，可通过在第一核K1与输入像素数据DIN的第一像素数据Ps1之间执行运算来获得输出像素数据DOUT的第一通道的第一像素值P1。可通过在第二核K2与输入像素数据DIN的第二像素数据Ps2之间执行运算来获得输出像素数据DOUT的第二通道的第二像素值P2。
[0088] 可通过在第八核K8与输入像素数据DIN的第三像素数据Ps3之间执行运算来获得输出像素数据DOUT的最后一个通道的第三像素值P3。核K1至核K8可被理解为从输入像素数据DIN提取特定信息的滤波器。输出像素数据DOUT可包括通过核K1至核K8提取的多条信息。
[0089] 卷积层可执行两次或更多次参照图4描述的卷积。此外，卷积层可通过使用激活函数(诸如，S形函数或修正线性单元(ReLU)函数)来执行至少一次限制像素数据的像素值的范围的激活操作。此外，卷积层可执行至少一次用于统一两个或更多个像素值的子采样，使得像素的数量减少。
[0090] 图5是示出根据本发明构思的实施例的分类层133对第三中间像素数据DINT3进行池化的示例的示图。参照图2和图5，分类层133可计算第三中间像素数据DINT3的每个通道的像素值的平均。每个通道的像素值的平均值可形成池化数据PD的每个像素的值。
[0091] 例如，第三中间像素数据DINT3的第四像素数据Ps4的平均值可形成池化数据PD的第四像素值P4。第三中间像素数据DINT3的第五像素数据Ps5的平均值可形成池化数据PD的第五像素值P5。池化数据PD可以是一维向量。
[0092] 图6是示出根据本发明构思的实施例的分类层133生成图像IMG的类的示例的示图。参照图2和图6，分类层133可在池化数据PD与类参数CLSP之间执行运算。例如，分类层133可采用池化数据PD与类参数CLSP之间的内积。内积的结果可以是类数据DCLS。
[0093] 例如，池化数据PD与类参数CLSP的第六像素数据Ps6可形成类数据DCLS的第六像素值P6。池化数据PD与类参数CLSP的第七像素数据Ps7可形成类数据DCLS的第七像素值P7。
[0094] 类参数CLSP的第六像素数据Ps6可被理解为用于检测分类层133分类的类中的一个类的特征的滤波器。属于类参数CLSP的一个高度“Y”的像素值可以是对应于一个类的滤波器。通过第六像素数据Ps6计算的类数据DCLS的第七像素值P7可指示图像IMG是一个类的概率。例如，分类层133可确定图像IMG是否属于20个类中的任何一个。然而，可使用任何合适数量的类。
[0095] 类参数CLSP的第七像素数据Ps7可被理解为用于检测分类层133分类的类中的另一个类的特征的滤波器。通过第七像素数据Ps7计算的类数据DCLS的第七像素值P7可指示图像IMG是另一个类的概率。
[0096] 分类层133可输出与类数据DCLS的像素值的最高值(例如，概率)对应的类的信息作为第二类信息ICLS2。
[0097] 图7是示出根据本发明构思的实施例的第一激活图生成块136_1至第三激活图生成块136_3中的一个生成激活图ACTM的示例的示图。参照图2和图7，激活图生成块可从输出像素数据DOUT生成激活图ACTM。输出像素数据DOUT可以是第一中间像素数据DINT1、第二中间像素数据DINT2或第三中间像素数据DINT3。
[0098] 激活图生成块可通过对输出像素数据DOUT执行逐像素运算(pixel wise operation)(例如，和或者平均)来生成激活图ACTM。属于一个宽度“X”和一个高度“Y”的通道CH的像素的值可形成激活图ACTM的一个宽度“X”和一个高度“Y”的像素的值。
[0099] 例如，输出像素数据DOUT的第八像素数据Ps8可形成激活图ACTM的第八像素值P8。输出像素数据DOUT的第九像素数据Ps9可形成激活图ACTM的第九像素值P9。
[0100] 激活图ACTM指示输出像素数据DOUT的像素单元的值的和或平均。在激活图ACTM的特定像素的值大于其他像素的值的情况下，这种情况指示生成输出像素数据DOUT的卷积层优先地(或主导地)参照特定像素的像素数据。也就是说，激活图ACTM可被理解为指示卷积块参照输入像素数据DIN的趋势。
[0101] 图8是示出根据本发明构思的实施例的第一激活图生成块136_1至第三激活图生成块136_3中的一个计算引导差D(例如，D1至D3中的一个)的示例的示图。参照图2和图8，激活图生成块可计算激活图ACTM的每个像素与引导图GDM(例如，GDM1至GDM3中的一个)的每个像素之间的差，作为引导差D的每个像素的值。
[0102] 例如，激活图ACTM的第十像素值P10与引导图GDM的第十一像素值P11之间的差是引导差D的第十二像素值P12。激活图ACTM的第十三像素值P13与引导图GDM的第十四像素值P14之间的差是引导差D的第十五像素值P15。
[0103] 损失层134更新卷积层的权重，使得引导差D减小。也就是说，损失层134可更新权重，使得卷积层优先地(或主导地)参照由引导图GDM指定的像素数据。卷积层所参照的像素数据可由引导图GDM预期，并且由于防止机器学习受到妨碍并且支持学习，提高了可靠性。
[0104] 图9是示出根据本发明构思的实施例的类激活图生成块137生成第一类激活图CACTM_1的示例的示图。参照图2和图9，类激活图生成块137可对第三中间像素数据DINT3和与类参数CLSP中的一个对应的像素数据(例如，Ps11)执行运算(例如，内积)。
[0105] 通过在第三中间像素数据DINT3的第十像素数据Ps10与类参数CLSP的第十一像素数据Ps11之间执行运算来获得第一类激活图CACTM_1的第十六像素值P16。通过对第三中间像素数据DINT3的第十二像素数据Ps12与类参数CLSP的第十一像素数据Ps11执行运算来获得第一类激活图CACTM_1的第十七像素值P17。
[0106] 第一类激活图CACTM_1可指示分类层133优先地(或主导地)参照第三中间像素数据DINT3的像素数据以确定图像IMG是否是第一类。
[0107] 图10是示出根据本发明构思的实施例的类激活图生成块137生成第二类激活图CACTM_2的示例的示图。参照图2和图10，类激活图生成块137可对第三中间像素数据DINT3和与类参数CLSP中的另一个对应的像素数据(例如，Ps13)执行运算(例如，内积)。
[0108] 通过在第三中间像素数据DINT3的第十像素数据Ps10与类参数CLSP的第十三像素数据Ps13之间执行运算来获得第二类激活图CACTM_2的第十八像素值P18。通过在第三中间像素数据DINT3的第十二像素数据Ps12与类参数CLSP的第十三像素数据Ps13之间执行运算来获得第二类激活图CACTM_2的第十九像素值P19。
[0109] 第二类激活图CACTM_2可指示分类层133优先地(或主导地)参照第三中间像素数据DINT3的像素数据以确定图像IMG是否是第二类。
[0110] 如参照图9和图10所述，类激活图生成块137可生成分别与分类层133分类的类相关联的类激活图。又例如，类激活图生成块137可计算与第一类信息ICLS1指示的类相关联的类激活图。
[0111] 在机器学习过程中，机器学习分类器131可被训练，使得图像IMG是由第一类信息ICLS1指出的类(例如，原始类)。因此，通过生成与第一类信息ICLS1对应的类激活图，可在将图像IMG分类为属于原始类时确定是否参照第三中间像素数据DINT3的任何部分。
[0112] 如参照图8所述，类激活图生成块137可计算原始类的类激活图与第四引导图GDM4之间的引导差D4。由于分类层133应当优先地(或主导地)参照的像素数据通过引导图被引导，因此可防止机器学习受到妨碍，并且可提高机器学习的可靠性。
[0113] 又例如，类激活图生成块137可计算与20个类对应的20个类激活图。类激活图生成块137可通过分别将第四引导图GDM4与20个类激活图进行比较来计算20个差D4。损失层134可基于20个差D4来更新类参数CLSP。
[0114] 图11是示出根据本发明构思的实施例的用于机器学习的第一图像IMG1和第二图像IMG2的示例的示图。参照图2和图11，第一图像IMG1可具有与圆形对应的第一类信息ICLS1(即，第一类信息)，第二图像IMG2可具有与方形对应的第一类信息ICLS1(即，第三类信息)。神经形态处理器130可执行机器学习，使得机器学习分类器131将第一图像IMG1分类为圆形类(即，第二类信息)，并将第二图像IMG2分类为方形类(即，第四类信息)。
[0115] 然而，第一图像IMG1中可存在特定图案PT，并且第二图像IMG2中可不存在特定图案。在这种情况下，机器学习分类器131可被训练为根据是否存在图案PT而不是第一图像IMG1的圆形形状或第二图像IMG2的方形形状来执行分类。
[0116] 图12是示出根据本发明构思的实施例的机器学习分类器131被训练为根据是否存在图案PT来执行分类的示例的示图。参照图2和图12，机器学习分类器131可优先地(或主导地)参照第一图像IMG1和第二图像IMG2中的存在图案PT的像素数据。例如，参照的区域可以是感兴趣区域ZOI。
[0117] 机器学习分类器131可将存在图案PT的第一图像IMG1分类为圆形类(即，第二类信息)，并可将不存在图案PT的第二图像IMG2分类为方形类(即，第四类信息)。
[0118] 在如上所述训练机器学习分类器131的情况下，机器学习分类器131可在图像IMG中存在图案PT时将图像IMG分类为圆形类，而不管图像IMG中存在的形状是圆形、方形或三角形。也就是说，第一图像IMG1中存在的图案PT会妨碍机器学习分类器131的机器学习。可选择地，第一图像IMG1中存在的图案PT可被理解为使机器学习分类器131难以学习的图案。
[0119] 根据本发明构思的实施例，在通过使用包括妨碍机器学习或使其难以学习的图案PT的第一图像IMG1来执行机器学习时提供引导图GDM。通过使用引导图GDM，防止了机器学习受到图案PT的妨碍，并且可提高机器学习的可靠性。
[0120] 在一个实施例中，可从激活图或类激活图检测机器学习分类器131是否优先地(或主导地)参照图像IMG的某些部分。在执行机器学习时，可在没有引导图GDM的情况下将图像IMG提供给机器学习分类器131。可从激活图或类激活图确定是否优先地(或主导地)参照图案PT执行机器学习。
[0121] 在优先地(或主导地)参照图案PT执行机器学习的情况下，可将图像IMG与引导图GDM一起再次提供给机器学习分类器131。例如，在恢复机器学习分类器131以排除在没有引导图GDM的情况下通过使用图像IMG执行的机器学习之后，可通过使用引导图GDM再次对图像IMG进行分类。
[0122] 图13是示出根据本发明构思的实施例的应用于第一图像IMG1的引导图GDM的示例的示图。参照图2、图12和图13，引导图GDM可被划分为第一区域R1和第二区域R2。第一区域R1的像素值(例如，权重)可大于第二区域R2的像素值(例如，权重)。第一区域R1可对应于第一图像IMG1的圆形的位置。在通过使用引导图GDM对第一图像IMG1执行机器学习的情况下，机器学习分类器131可排除图案PT并可执行机器学习。
[0123] 在引导图GDM被划分成两个区域的情况下描述了实施例。然而，引导图GDM可被划分为三个或更多个区域。三个或更多个区域的像素值(例如，权重)可彼此不同。每个区域的形状可被指定为类似于半导体装置中产生的缺陷的形状。
[0124] 图14是示出根据本发明构思的实施例的通过使用引导图GDM执行机器学习的示例的示图。参照图2和图14，机器学习分类器131可将与圆形的形状或方形的形状对应的区域设置为感兴趣区域ZOI。
[0125] 也就是说，机器学习分类器131可参照第一图像IMG1的圆形的形状将第一图像IMG1分类为圆形的类，并且可参照第二图像IMG2的方形的形状将第二图像IMG2分类为方形的类。
[0126] 根据本发明构思，机器学习分类器131可参照引导图GDM执行机器学习。可关于不具有妨碍学习或使其难以学习的图案的图像IMG以及具有妨碍学习或使难以学习的图案的图像IMG提供引导图GDM。
[0127] 在关于用作学习的材料的图像提供引导图的情况下，机器学习分类器131可在对图像进行分类时对应当优先地(或主导地)考虑的情况进行学习。例如，如图14所示，通过使用在图像的特定区域中具有高权重的引导图GDM，机器学习分类器131可被训练为考虑到相关区域而优先地(或主导地)执行分类。因此，可预期机器学习分类器131的分类方法，并且提高可靠性。
[0128] 图15是示出根据本发明构思的实施例的半导体缺陷分类系统200的框图。参照图15，半导体缺陷分类系统200包括晶片210、制造装置220、自动缺陷检查装置230、成像装置
240、图像存储装置250、半导体缺陷分类装置260和缺陷图像数据库270。
[0129] 晶片210可用作半导体装置的基底。例如，晶片210可包括具有半导体特性的材料(诸如，硅(Si)、砷化镓(GaAs)等)。制造装置220可将用于制造半导体装置的各种工艺应用于晶片210。
[0130] 例如，制造装置220可顺序地将各种工艺(诸如，蚀刻、沉积、平坦化等)应用于晶片210。制造装置220可将各种工艺应用于晶片210以在晶片210上形成各种半导体图案。
[0131] 制造装置220可输出关于制造晶片210的信息作为第一元信息MI1。例如，第一元信息MI1可包括关于处理晶片210的制造装置220的种类的信息、关于将通过处理晶片210制造的半导体装置的种类的信息等。
[0132] 第一元信息MI1还可包括关于用于制造装置220处理晶片210的工艺的种类的信息。例如，第一元信息MI1可包括关于自动缺陷检查装置230的先前检查与当前检查之间或者成像装置240的先前成像与当前成像之间的制造装置220应用于晶片210的工艺类型(或多种工艺的类型)的信息。
[0133] 第一元信息MI1还可包括关于制造装置220关于晶片210执行的工艺步骤的信息。例如，第一元信息MI1可包括应用于晶片210的工艺之中的直到自动缺陷检查装置230的当前检查或者直到成像装置240的当前成像之前应用于晶片210的工艺的信息。
[0134] 自动缺陷检查装置230可在将每个工艺应用于晶片210之后、在应用特定数量的工艺之后或者在应用多个工艺中的指定作为检查点的一个工艺之后，检查晶片210的半导体图案中是否存在缺陷。自动缺陷检查装置230可将被预测为存在缺陷的位置(多个位置)的位置信息LI传送到成像装置240。
[0135] 成像装置240可基于位置信息LI生成被预测为晶片210上的半导体图案中缺陷存在的位置的图像。例如，成像装置240可包括SEM(扫描电子显微镜)装置或OM(光学显微镜)装置。
[0136] 成像装置240可基于SEM成像输出高分辨率图像HRI、低分辨率图像LRI和参考图像RI。成像装置240可基于OM成像输出光学图像OI。
[0137] 高分辨率图像HRI和低分辨率图像LRI可以是被预测具有缺陷的位置的图像(即，基于位置信息LI的位置的图像)。参考图像RI可具有与低分辨率图像LRI相同的分辨率。参考图像RI可以是不存在缺陷的位置的图像。
[0138] 例如，参考图像RI可以是晶片210上的不与位置信息LI相关联的任何位置的图像。捕获参考图像RI的晶片210上的位置可由成像装置240随机选择或者可由管理者指定。
[0139] 成像装置240可输出关于成像装置240的信息或关于对晶片210的半导体图案进行成像的信息作为第二元信息MI2。例如，第二元信息MI2可包括关于成像装置240的种类的信息、关于成像装置240在拍摄晶片210的半导体图案的图像时的距离、位置或角度的信息以及关于被估计为具有缺陷的晶片210上的位置的信息中的至少一种信息。
[0140] 图像存储装置250可存储从成像装置240输出的高分辨率图像HRI、低分辨率图像LRI、参考图像RI和光学图像OI。图像存储装置250可响应于请求而输出高分辨率图像HRI、低分辨率图像LRI、参考图像RI和光学图像OI。
[0141] 图像存储装置250可包括易失性存储器(诸如，动态随机存取存储器(DRAM)或静态随机存取存储器(SRAM))或非易失性存储器(诸如，闪存、磁RAM(MRA)、相变RAM(PRAM)、铁电RAM(FRAM)或电阻式RAM(RRAM))。
[0142] 半导体缺陷分类装置260可从图像存储装置250接收高分辨率图像HRI、低分辨率图像LRI、参考图像RI和光学图像OI。半导体缺陷分类装置260可从制造装置220接收第一元信息MI1，并可从成像装置240接收第二元信息MI2。
[0143] 半导体缺陷分类装置260可通过使用高分辨率图像HRI、低分辨率图像LRI、参考图像RI、光学图像OI、第一元信息MI1、第二元信息MI2和第三元信息MI3，基于机器学习对与图像相关联的晶片210的半导体图案是否具有缺陷进行分类(或确定)。
[0144] 例如，第三元信息MI3可包括与半导体缺陷分类装置260的机器学习相关联的内部信息。第三元信息MI3可包括关于与半导体缺陷分类装置260的机器学习相关联的创建者的信息。
[0145] 半导体缺陷分类装置260可包括使用高分辨率图像HRI、低分辨率图像LRI、参考图像RI、光学图像OI以及第一元信息MI1至第三元信息MI3，基于机器学习来对缺陷进行识别和/或分类的分类器(例如，分类器171)。半导体缺陷分类装置260可输出分类结果CR。
[0146] 例如，可基于先前被分类为具有缺陷的半导体图案的图像来执行机器学习。可根据参照图1至图14描述的方法来执行机器学习。可从半导体图案的图像创建指示缺陷或正常状态的分类器作为机器学习的结果。半导体缺陷分类装置260可包括基于机器学习的分类器，并可对图像执行分类。
[0147] 如果分类结果CR指示特定缺陷的类，则与图像相关联的半导体图案也可被分类为具有那样的缺陷。分类结果CR也可被发送到管理者。在分类结果CR指示缺陷的情况下，高分辨率图像HRI、低分辨率图像LRI、参考图像RI和光学图像OI可被存储到缺陷图像数据库270。
[0148] 在分类结果CR指示正常状态的情况下，与图像相关联的半导体图案被分类为没有缺陷。可将分类结果CR通知给管理者。如果分类结果CR指示正常状态，则高分辨率图像HRI、低分辨率图像LRI、参考图像RI和光学图像OI可不被存储到缺陷图像数据库270。
[0149] 缺陷图像数据库270可存储由半导体缺陷分类装置260分类为具有缺陷的半导体图案的图像。在满足学习条件的情况下，可通过使用存储在缺陷图像数据库270中的图像来执行机器学习。在一些情况下，可使用表示正常状态的附加图像来执行机器学习。
[0150] 例如，可通过使用存储在缺陷图像数据库270中的图像的机器学习来更新加载到半导体缺陷分类装置260上的分类器。例如，可基于存储在缺陷图像数据库270中的图像的数量、图像的容量、存储的图像的数量达到特定值的时间之后的过去的时间或者当基于机器学习的分类的性能降低时来满足学习条件。作为另一示例，可基于管理者的控制手动满足学习条件。此外，当分类器(即，机器学习分类器)的更新完成时，分类器可被调制解调器发送到半导体缺陷分类装置260。例如，响应于基于机器学习的分类的性能达到预定水平，分类器的更新完成。作为另一示例，可基于管理者的控制手动确定分类器的更新的完成。
[0151] 在上述实施例中，通过使用各种块来描述根据本发明构思的实施例的组件。“块”可使用各种硬件装置(诸如，集成电路、专用IC(ASCI)、现场可编程门阵列(FPGA)和复杂可编程逻辑器件(CPLD))、软件(诸如，在硬件装置中驱动的固件和应用)或硬件装置和软件的组合来实现。此外，“块”可包括使用半导体装置实现的电路或知识产权(IP)块。
[0152] 根据本发明构思，存在特定图案的图像与引导图一起被训练。因此，提供一种机器学习装置和机器学习装置的机器学习方法，其中，机器学习装置防止机器学习分类器的学习由于特定图像而错误，并支持与使学习困难的图案相关联的引导。
[0153] 尽管已经参照本发明构思的示例性实施例描述了本发明构思，但是本领域普通技术人员将清楚，在不脱离由所附权利要求阐述的本发明构思的精神和范围的情况下，可进行各种变化和修改。
