[0001] 本申请要求于2022年8月31日在韩国知识产权局提交的韩国专利申请No.10‑2022‑0109750和于2023年7月13日在韩国知识产权局提交的韩国专利申请No.10‑2023‑
0090949的优先权和权益，该两个韩国专利申请的全部内容以引用方式并入本文中。

[0002] 本发明涉及异常诊断方法、异常诊断设备和工厂监测系统，并且更具体地，涉及使用基于人工智能的诊断模型对检查对象进行诊断的异常诊断方法、异常诊断设备和使用该设备的工厂监测系统。

[0003] 能够再充电和重新使用的二次电池被用作诸如智能电话、平板PC和真空吸尘器这样的小型装置的能量源以及用于个人移动装置、汽车和智能电网的能量储存系统(ESS)的中大型能量源。

[0004] 根据系统的要求，二次电池可以以诸如多个电池电芯串联或并联连接的电池模块或电池模块串联或并联连接的电池组这样的组件的形式使用。

[0005] 生产电池电芯或电池组件需要各种工艺。这里，在生产线上安装执行各工艺的自动化设备，并且将多个自动化设备有机地连接，从而使电池电芯或电池组件的批量生产成为可能。

[0006] 为确保产品质量符合所需标准，沿着生产线上在主要加工点实施监测。通常，使用的是使用安装在生产线上的主要加工点处的相机设备的基于视频的监测系统(FMVS；工厂监测视觉系统)。在FMVS的情况下，实时工艺管理是不可能的，因为操作者必须通过显示器视觉检查通过显示器输出的图像并确定特定设备或加工点中是否存在异常，并且在诊断准确性方面存在限制。

[0007] 作为用于解决上述问题的技术，需要一种合适的工厂监测解决方案，该解决方案能够实现诊断准确性显著提高的实时工艺管理。

[0058] 本发明可以以各种形式修改并且具有各种实施方式，并且其特定实施方式在附图中以示例的方式示出并且将在下面详细描述。然而，应该理解，无意将本发明限于特定实施方式，而是相反地，本发明将要涵盖落入本发明的精神和技术范围内的所有修改形式、等同形式和替代形式。在整个对附图的描述中，相同的参考标号指代相同的元件。

[0059] 应该理解，虽然在本文中可以使用诸如“第一”、“第二”、A、B等这样的术语来描述各种元件，但这些元件不应该受这些术语限制。这些术语只是用于将一个元件与另一个区分开。例如，在不脱离本发明的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件可以被称为第一元件。如在本文中使用的，术语“和/或”包括多个关联的所列项的组合或多个关联的所列项中的任一者。

[0060] 应该理解，当一个元件被称为“联接”或“连接”到另一元件时，它可以直接联接或连接到另一元件，或者可以存在中间元件。相反，当一个元件被称为“直接联接”或“直接连接”到另一元件时，不存在中间元件。

[0061] 本文中使用的术语只是出于描述特定实施方式的目的，不旨在限制本发明。如本文中使用的，单数形式“一”、“一个”和“该”也旨在包括复数形式，除非上下文另外清楚地指示。还将理解，术语“包括”、“包括有”、“包含”、“包含有”和/或“具有”在本文中使用时指明存在所述特征、整体、步骤、操作、构成元件、部件和/或其组合，并没有排除存在或添加一个或更多个其它特征、整体、步骤、操作、构成元件、部件和/或它们的组合。

[0062] 除非另有说明，否则在本文中使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的技术人员通常理解的含义相同的含义。还应该理解，诸如在通用字典中定义的术语这样的术语应该被解释为具有与其在相关领域背景下的含义一致的含义，并且将不以理想化或过度正式的含义来解释，除非在本文中如此明确定义。

[0063] 下文中，将参考附图详细地描述本发明的各种示例性实施方式。此外，根据本发明的工厂监测系统将以可以安装在生产或组装电池的工厂中并且对电池或电池处理设备执行诊断的工厂为示例进行说明，但本发明的范围不限于这些类型的检查对象。

[0064] 图1是根据本发明的实施方式的工厂监测系统的框图。

[0065] 参照图1，根据本发明的工厂监测系统100可以被配置为包括一个或更多个图像传感器110和异常诊断设备120。

[0066] 图像传感器110可以是生成用于位于工厂中的一个或更多个检查对象10的图像数据的装置。例如，图像传感器110可以对应于固定于特定位置的相机。

[0067] 图像传感器110可以通过网络连接到异常诊断设备120，并且将生成的图像数据发送到异常诊断设备120。

[0068] 图像传感器110可以生成检查对象10的特定区域的图像数据。例如，图像传感器110可以被安装在组装设施中的特定位置处，并且被配置为拍摄特定螺栓的紧固区域。又如，图像传感器110可以被安装在电解液注入装置附近的设施中，并且被配置为拍摄电解液注入装置的内部。

[0069] 图像传感器110可以每个预设单位时间生成检查对象10的图像数据，并且将该图像数据发送到异常诊断设备120。例如，图像传感器110可以每秒生成60个图像数据(60fps)，并且将图像数据发送到异常诊断设备120。

[0070] 工厂监测系统100可以被配置为包括多个图像传感器110。这里，每个图像传感器可以布置在预定义的位置处，并且可以被配置为生成对应检查对象的图像数据并将生成的图像数据发送到异常诊断设备120。

[0071] 图像传感器110可以被配置为根据安装位置、检查对象的类型、诊断目的等而具有预设的视野(FOV)。例如，被安装用于诊断多个螺栓紧固区域的图像传感器可以被配置为具有160度宽视野的传感器。又如，被安装用于诊断模具磨损的图像传感器可以被配置为具有50度窄视野的传感器。

[0072] 异常诊断设备120可以是从图像传感器110接收图像数据并且基于该图像数据来诊断检查对象中的异常的装置。这里，异常诊断设备120可以使用接收到的图像数据和预定义的诊断模型来诊断在检查对象中是否存在异常。

[0073] 异常诊断设备120可以使用接收到的图像数据和诊断模型来生成包括检查对象10中的异常的存在与否、异常的位置和异常的类型中的一者或更多者的诊断结果数据。例如，异常诊断设备120可以被配置为检测是否发生了关于位置变化、出现间隙、紧固不良或发生磨损的异常，并且指定已发生异常状况的检查对象或者检测发生异常状况的特定位置。

[0074] 图2是根据本发明的另一实施方式的工厂监测系统的框图。

[0075] 参照图2，工厂监测系统100可以被配置为包括一个或更多个图像传感器110、异常诊断设备120、诊断模型130和监测终端140。换句话说，除了图1中示出的工厂监测系统的配置之外，工厂监测系统100还可以被配置为包括诊断模型130和监测终端140。

[0076] 图像传感器110可以生成位于工厂中的一个或更多个检查对象10的图像数据，并且将生成的图像数据发送到异常诊断设备120。

[0077] 异常诊断设备120可以从图像传感器110接收图像数据，并且使用接收到的图像数据和经预先训练的基于人工智能的诊断模型130来诊断检查对象中的异常。

[0078] 诊断模型130可以被配置为接收检查对象的图像数据并且输出诊断结果数据。这里，诊断模型130可以对应于经预先训练的基于人工智能的学习模型，使得诊断模型接收作为输入数据的与检查对象有关的图像数据，并且输出诊断结果数据作为输出数据，所述诊断结果数据包括检查对象中的异常的存在与否、异常发生的位置和异常的类型中的一者或更多者。

[0079] 在实施方式中，诊断模型130可以由诊断模型生成装置200生成。这里，诊断模型生成装置200可以使用预先收集的多条学习数据来预先训练根据本发明的诊断模型，并且将已完成训练处理的诊断模型提供给工厂监测系统100。

[0080] 监测终端140可以是输出检查对象的图像和诊断结果中的一者或更多者的装置。这里，监测终端140可以被配置为从图像传感器110接收图像数据，从异常诊断设备120接收诊断结果数据，并且通过预定图形用户界面(GUI)显示图像数据和诊断结果。

[0081] 监测终端140可以通过显示装置实时地输出每单位时间接收的图像数据，并且当在特定检查对象中发生异常状况时，通过显示装置输出检查对象的诊断结果。

[0082] 换句话说，监测终端140可以是实时输出检查对象的图像和异常信息从而允许操作者直观地确定检查对象的异常状态、异常的位置和异常的类型，由此支持操作者快速实施后续措施的计算装置。

[0083] 图3是用于说明根据本发明的实施方式的诊断模型的参考图。

[0084] 参照图3，诊断模型130可以被配置为接收作为输入数据的图像数据111，所述图像数据111每单位时间从图像传感器110接收，并且输出诊断结果数据131，所述诊断结果数据131包括在检查对象中是否存在异常、异常发生的位置和异常的类型中的一者或更多者。

[0085] 这里，诊断模型130可以比较预定义的正常模式数据和接收到的图像数据111，并且基于比较结果来输出诊断结果数据。具体地，诊断模型生成装置200可以基于处于正常状态的检查对象的图像数据来生成正常模式数据。这里，诊断模型130可以被预先训练，以比较定义的正常模式数据和输入的图像数据并输出诊断结果数据。例如，诊断模型130可以将从图像传感器顺序输入的图像数据与基于正常螺栓连接图像推导出的正常螺栓紧固图案图像进行比较，并且基于比较结果来输出包括螺栓紧固是否存在缺陷以及缺陷的位置的诊断结果数据131。

[0086] 图4是用于说明根据本发明的实施方式的诊断模型的操作的参考图。

[0087] 诊断模型130可以基于正常模式数据与图像数据之间的比较结果来计算误差分数。这里，误差分数可以被定义为量化正常模式数据与输入图像数据之间的差异的数据。

[0088] 如果计算出的误差分数大于或等于预定阈值，则诊断模型130可以确定在检查对象中出现了异常状态。

[0089] 参照图4，诊断模型130可以通过将每单位时间输入的图像数据与正常模式数据依次进行比较来计算误差分数，并且当误差分数等于或大于预定阈值时，确定出现了异常状态。例如，如图4中所示，如果作为异常的标准的阈值被预定义为1.18，则可以确定在生成第8700帧图像数据的时间在检查对象中出现了异常状态。

[0090] 图5是用于说明根据本发明的实施方式的GUI的监测终端的画面的示例。

[0091] 监测终端140可以通过预定图形用户界面(GUI)显示从图像传感器110接收的图像数据和从异常诊断设备120接收的诊断结果数据。

[0092] 如图5中所示，监测终端140可以通过诊断信息输出窗口510输出每项的诊断结果数据，并且通过图像输出窗口520输出检查对象的图像。

[0093] 诊断信息输出窗口510可以被定义为根据预定义的布局来输出与是否发生异常、异常的位置(例如，检查对象或图像传感器的标识符)、异常发生的时间和异常类型有关的信息。

[0094] 图像输出窗口520可以被定义为输出检查对象的图像。这里，监测终端140可以将检查对象的异常发生区域(A)(例如，用方框指示)可视化和显示，以将它与其它区域区分开。

[0095] 因此，本发明的实施方式可以支持操作者通过诊断信息输出窗口510和图像输出窗口520直观地确定检查对象的异常状态、异常的位置和异常的类型，并且快速地实施后续措施。

[0096] 图6至图9是用于说明根据本发明的实施方式的异常诊断方法的参考图。以下，参考图6至图9，将描述可以进一步提高异常诊断设备的诊断准确性的各种实施方式。

[0097] 从图像传感器接收的图像数据的至少一部分可以被预定义为感兴趣区域。这里，诊断模型可以被配置为通过将感兴趣区域与预定义的正常模式数据进行比较来输出诊断结果数据。

[0098] 在处理设备的操作期间，由于设备的振动或操作者的操作错误，图像传感器的角度可能略有改变。这里，由图像传感器捕获的区域改变，并且图像数据中的感兴趣区域变得错位。因此，即使没有出现任何异常状态，诊断模型也可能误诊断为出现了异常状态。根据本发明的实施方式的异常诊断设备可以根据预定义的处理来校正感兴趣区域的位置，以便防止由于图像传感器的角度变形而导致的误诊断。

[0099] 具体地，异常诊断设备可以将预先存储的标准图像数据与从图像传感器接收的图像数据进行比较。这里，标准图像数据可以对应于正常状态下检查对象的图像数据。标准图像数据可以被预先存储在存储装置中，并且异常诊断设备可以顺序地将接收到的图像数据与先前存储的标准图像数据进行比较。

[0100] 异常诊断设备可以被配置为比较标准图像数据和接收到的图像数据的特征点，或者比较使用预定义的对象识别算法而识别的对象的位置。

[0101] 如果根据比较结果的位置差值大于或等于预定义阈值，则异常诊断设备可以基于比较结果来校正图像数据上的感兴趣区域的位置。这里，异常诊断设备可以基于特征点的位置差或识别到的对象的位置差，将图像数据中感兴趣区域的位置校正为正确的位置。

[0102] 此后，异常诊断设备可以基于校正后的感兴趣区域的位置来诊断在检查对象中是否存在异常。换句话说，异常诊断设备可以将位置校正后的感兴趣区域输入到诊断模型中，并且输出诊断结果数据。

[0103] 例如，参照图6，异常诊断设备可以将从图像传感器接收的图像数据610与先前存储的标准图像数据620进行比较。这里，异常诊断设备可以通过比较标准图像数据620和图像数据610的特征点或者使用预定义的对象识别算法识别螺栓紧固区域来计算螺栓紧固区域的位置差值。此后，异常诊断设备可以使用计算出的位置差值来改变图像数据610上的感兴趣区域(ROI)的位置，如图6中所示。此后，异常诊断设备可以将位置校正后的感兴趣区域输入到诊断模型中并输出诊断结果数据。

[0104] 在处理设备操作期间，由于检查对象的周围环境变化，图像数据的特性可以改变。例如，当检查对象周围的照明被关闭或者照明亮度改变时，图像数据的诸如颜色、亮度和饱和度这样的特征值可以改变。因此，即使没有出现任何异常状态，诊断模型也可能误诊断为出现了异常状态。根据本发明的实施方式的异常诊断设备可以根据预定义的处理来校正图像数据，以便防止由于检查对象的周围环境改变而导致的误诊断。

[0105] 具体地，异常诊断设备可以将预先存储的标准图像数据与从图像传感器接收的图像数据进行比较。这里，标准图像数据可以对应于正常状态下的检查对象的图像数据。标准图像数据可以被预先存储在存储装置中，并且异常诊断设备可以依次将接收到的图像数据与先前存储的标准图像数据进行比较。

[0106] 异常诊断设备可以被配置为比较接收到的图像数据和标准图像数据的特征值(例如，颜色、亮度和饱和度中的一者或更多者)。

[0107] 如果标准图像数据与接收到的图像数据之间的差大于或等于预定义阈值，则异常诊断设备可以基于比较结果来推导针对图像数据的校正函数。这里，校正函数可以被实现为将接收到的图像数据转换成标准图像数据的数据转换代码。

[0108] 此后，异常诊断设备可以基于根据校正函数校正的图像数据来诊断在检查对象中是否存在异常。换句话说，异常诊断设备可以将校正后的图像数据输入到诊断模型中并输出诊断结果数据。

[0109] 例如，参照图7，当从图像传感器接收到图像数据(B或C)时，异常诊断设备可以比较接收到的图像数据(B或C)与预先存储在存储装置中的标准图像数据(A)的特征值。如果特征值的差大于或等于预定义阈值，则异常诊断设备可以推导校正函数，该校正函数可以将接收到的图像数据(B或C)转换成标准图像数据(A)。此后，异常诊断设备可以基于推导出的校正函数来校正图像数据(B或C)，然后将校正后的图像数据输入到诊断模型中以输出诊断结果数据。

[0110] 如果在处理设备的操作期间处理设备切换到停止状态，则由图像传感器生成的图像数据可以包括除了检查对象以外的对象。例如，当处理设备停止(静止)时，工人身体的部分可以与检查对象一起被拍摄到，如图8中所示。因此，即使没有出现任何异常状态，诊断模型也可能误诊断为出现了异常状态。根据本发明的实施方式的异常诊断设备可以根据预定义的处理来校正诊断结果或者使诊断结果无效，从而防止由于检查对象的操作状态改变而导致的误诊断。

[0111] 具体地，异常诊断设备可以识别检查对象的操作状态。

[0112] 在实施方式中，异常诊断设备可以与检查对象或检查对象的控制装置相结合地检查检查对象的操作状态。

[0113] 在另一实施方式中，异常诊断设备可以使用预定义的操作状态检测算法来检查检查对象的操作状态。例如，诊断模型可以被配置为被预先训练，使得诊断模型通过学习检查对象的操作图像来确定检查对象是否在正常操作速度下操作。这里，异常诊断设备可以将从图像传感器接收到的图像数据输入到经预先训练的诊断模型中，以确定检查对象是否正在以正常速度或更低速度操作，由此确认检查对象是否被转变为停止状态。

[0114] 如果确认检查对象已被切换到停止状态，则异常诊断设备不将在转变到停止状态的点之后接收到的图像数据输入到诊断模型中，或者可以使诊断模型的诊断结果数据无效。

[0115] 此后，当确认检查对象已从停止状态改变为操作状态时，异常诊断设备可以基于接收到的图像数据来诊断在检查对象中是否存在异常。

[0116] 在处理设备操作期间，如果由于先前处理步骤中的缺陷确定而没有向处理设备供应原材料，则原材料的形状不会被包括在由图像传感器生成的图像数据中。因此，即使没有出现任何异常状态，诊断模型也可能误诊断为出现了异常状态。该误诊断情况在处理期间以非常低的频率出现。

[0117] 根据本发明的实施方式的异常诊断设备可以根据预定义的例外处理过程来校正诊断结果或者使诊断结果无效，从而防止以低频率出现的误诊断。

[0118] 具体地，诊断模型可以被配置为使用监督学习方法被预先训练，以将经受例外处理的图像数据分类为例外处理类型。这里，当被诊断模型分类为例外处理类型时，即使计算出的误差分数等于或超过预定义阈值，异常诊断设备也可以确定检查对象处于正常状态，或者使诊断结果数据无效。

[0119] 当使用根据本发明的诊断模型的诊断数据被累积时，诊断模型可以被重新训练和更新以提高诊断准确性。这里，可以通过基于诊断结果重新学习标记的图像数据来更新诊断模型。

[0120] 首先，异常诊断设备可以收集被诊断模型确定为处于异常状态下的多个图像数据。

[0121] 然后，异常诊断设备可以针对收集到的图像数据中的每一者提取特征数据，并且基于提取的特征数据将图像数据聚类成多个集群。例如，参照图9，可以基于从收集到的图像数据中提取的多个特征来创建二维地图，并且可以根据特征在二维地图上的位置将图像数据聚类成多个集群(C1～C5)。这里，可以基于操作者输入的缺陷类型信息来标记每个集群。例如，C1可以被标记为[误诊断]，C2可以被标记为[位置缺陷]，C3可以被标记为[例外处理]，C4可以被标记为[螺栓缺陷]，并且C5可以被标记为[磨损缺陷]。

[0122] 异常诊断设备可以使用针对每个集群标记的图像数据来重新训练诊断模型。这里，异常诊断设备可以将标记的图像数据发送到诊断模型生成装置，以允许诊断模型生成装置重新训练诊断模型。当重新再训练完成时，异常诊断设备可以从诊断模型生成装置接收重新训练后的诊断模型，并且用接收到的诊断模型来更新先前存储的诊断模型。

[0123] 图10是根据本发明的实施方式的异常诊断方法的操作流程图。

[0124] 图像传感器110可以每单位时间生成检查对象10的图像数据111，并且将图像数据发送到异常诊断设备120(S1010)。

[0125] 异常诊断设备120可以将从图像传感器110接收的图像数据111依次输入到经预训练的诊断模型130中(S1020)。

[0126] 异常诊断设备120可以使用诊断模型130实时诊断在检查对象中是否存在异常、异常发生的位置和异常的类型中的一者或更多者(S1030)。

[0127] 在确定在检查对象10中发生异常时，异常诊断设备120可以输出包括在检查对象中是否出现异常、异常的位置和异常的类型中的一者或更多者的诊断结果数据(S1040)。这里，异常诊断设备120可以将诊断结果数据发送到监测终端140。

[0128] 监测终端140可以使从异常诊断设备120发送的诊断结果数据与从图像传感器110接收的图像数据同步，并且通过显示装置输出它们(S1050)。

[0129] 图11是根据本发明的实施方式的异常诊断设备的框图。

[0130] 根据本发明的实施方式的异常诊断设备1100可以包括至少一个处理器1110、存储由处理器执行的至少一条指令的存储器1120和连接到网络并执行通信的收发器1130。

[0131] 所述至少一条指令可以包括从图像传感器接收与检查对象有关的图像数据的指令；以及使用接收到的图像数据和经预先训练的基于人工智能的诊断模型来诊断检查对象中的异常的指令。

[0132] 接收图像数据的指令可以包括每个预设单位时间接收检查对象的图像数据的指令。

[0133] 诊断模型可以通过接收检查对象的图像数据被预先训练，以输出诊断结果数据，所述诊断结果数据包括检查对象是否异常、异常发生的位置和异常的类型中的一者或更多者。

[0134] 诊断检查对象中的异常的指令可以包括基于预定义的正常模式数据与接收到的图像数据之间的比较结果输出诊断结果数据的指令。

[0135] 诊断检查对象中的异常的指令可以包括：基于正常模式数据与图像数据的比较结果来计算误差分数的指令；以及在计算出的误差分数大于或等于预定义阈值的情形下，确定在检查对象中出现了异常状态的指令。

[0136] 诊断检查对象中的异常的指令可以包括：将接收到的图像数据与预先存储的标准图像数据进行比较的指令；基于比较结果来校正被定义为接收到的图像数据的至少一部分的感兴趣区域的位置的指令；以及基于校正后的感兴趣区域的位置来诊断在检查对象中是否存在异常的指令。

[0137] 诊断检查对象中的异常的指令可以包括：将接收到的图像数据与预先存储的标准图像数据进行比较的指令；基于比较结果来推导用于将接收到的图像数据转换成标准图像数据的校正函数的指令；使用推导出的校正函数来校正接收到的图像数据的指令；以及将校正后的图像数据输入到诊断模型中的指令。

[0138] 诊断检查对象中的异常的指令可以包括：检查检查对象的操作状态的指令；以及在检查对象处于静止状态的情形下不将接收到的图像数据输入到诊断模型中或者使由诊断模型输出的诊断结果数据无效的指令。

[0139] 诊断检查对象中的异常的指令可以包括在图像数据被分类为预定义的例外处理类型的情形下，即使计算出的误差分数等于或大于预定义阈值也确定检查对象处于正常状态的指令。

[0140] 该至少一条指令还可以包括：收集作为诊断的结果被确定为处于异常状态下的多个图像数据的指令；提取每个图像数据的特征数据的指令；以及基于提取的特征数据将图像数据聚类成多个集群的指令。

[0141] 至少一条指令还可以包括：基于由用户输入的缺陷类型信息对每个集群执行标记的指令；以及使用标记的集群重新训练诊断模型的指令。

[0142] 异常诊断设备1100还可以包括输入接口装置1140、输出接口装置1150、存储装置1160等。异常诊断设备1100中包括的各个部件可以通过总线1170彼此连接并彼此通信。

[0143] 这里，处理器1110可以意指中央处理单元(CPU)、图形处理单元(GPU)或执行根据本发明的实施方式的方法的专用处理器。存储器(或存储装置)可以包括易失性存储介质和非易失性存储介质中的至少一者。例如，存储器可以包括只读存储器(ROM)和随机存取存储器(RAM)中的至少一者。

[0144] 根据本发明的实施方式的方法的操作可以被实现为计算机可读记录介质上的计算机可读程序或代码。计算机可读记录介质包括存储可由计算机系统读取的数据的所有类型的记录装置。另外，计算机可读记录介质可以分布在网络连接的计算机系统中，以按分布式方式存储和执行计算机可读程序或代码。

[0145] 尽管已在设备的背景下描述了本发明的一些方面，但它也可以表示根据对应方法的描述，其中，框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的背景下描述的方面也可以表示对应框或项或对应设备的特征。方法步骤中的一些或全部可以由(或使用)诸如(例如)微处理器、可编程计算机或电子电路这样的硬件装置来执行。在一些实施方式中，最重要的方法步骤中的一者或更多者可以由这样的设备执行。

[0146] 以上，已参考本发明的示例性实施方式描述了本发明，但本领域的技术人员可以理解，在不脱离所附权利要求书中描述的本发明的精神和领域的情况下，本发明可以被不同地修正和改变。