技术领域
[0001] 本发明涉及一种人工智能学习系统，更具体地，涉及一种基于深度学习的学习系统。
相关背景技术
[0002] 深度学习算法最近作为一种机器学习系统而受到关注，其也是一种人工神经网络，且其隐藏层数量比传统神经网络多很多。
[0003] 通常，人工神经网络共由三层组成，即，用于接收输入的输入层、用于执行实际学习的隐藏层、以及用于返回计算结果的输出层，如图1所示。在具有这种结构的人工神经网络中，每个节点意味着一个神经元。每个节点在数据被输入时找到加权和，应用激活函数，并将计算结果传送至下一个节点。在这种情况下，通过学习将权重分配给每个节点。先前节点(神经元)的结果被加权并输入至当前节点(神经元)，且偏置偏置被添加至该加权结果。
[0004] 通常，通过重复执行正向传播过程和反向传播过程来执行深度学习过程，该正向传播过程用于以从输入层到输出层的顺序通过多个隐藏层来计算深度学习参数和目标函数，且该反向传播过程用于考虑误差并、以从输出层到输入层的顺序通过隐藏层来修改权重。在深度学习过程中被修改的权重被重复更新直到误差最小化，并且所有计算机共享权重和深度学习参数。
[0005] 换句话说，由于在深度学习算法中执行使用学习数据的学习过程以生成具有优化参数的人工神经网络模型，因此随着学习数据片段的数量的增加，形成了能够更准确预测的人工神经网络模型。因此，深度学习过程需要大量的学习数据片段。
[0006] 然而，在用于使用深度学习算法来确定是否已经发生诸如宫颈癌的疾病的医学诊断成像设备的情况下，由于在个人信息或医疗信息的披露上的限制而在确保学习数据方面存在限制，并且难以形成能够准确预测的人工神经网络模型。特别是在罕见疾病的情况下，患者的数量少，难以在韩国和国外的医疗机构之间共享学习数据，并且需要很长的时间来积累学习数据。因此，有必要找到一种用于有效地解决这些问题的新方法。
[0007] 此外，为了在医学诊断成像设备中进行更准确的诊断，除了获取源学习数据之外，还需要准确分类要用于学习的学习数据。也就是说，除非准确且清楚地执行对学习数据的分类，否则不可避免地会降低分析特定疾病发生的准确性。因此，对于用于确定是否已经发生特定疾病的设备，有必要共享学习数据分类标准以及共享要用于学习的学习数据。
[0008] (现有技术文件)
[0009] (专利文件)
[0010] 韩国专利公开第10-2017-0083419号
具体实施方式
[0035] 下文中，将参考附图详细描述本发明的示例性实施例。在下面的描述中，如果确定了相关的公知功能或要素可能不必要地模糊本发明的主旨，则将省略对其的详细描述。
[0036] 作为参考，此处使用的术语“模块”被定义为用于实现本发明的技术精神的硬件的功能和结构组合以及驱动该硬件所需的软件。也就是说，“模块”是指预定代码和用于执行该代码的硬件资源的逻辑单元，并且对于本领域技术人员来讲显而易见的是，其不一定意味着物理连接的代码或者一种硬件。
[0037] 在下文中，将参考附图描述根据本发明的实施例的深度学习系统。
[0038] 首先，图2示出了根据本发明实施例的深度学习系统100、200和300之间的连接。
[0039] 如图2所示，根据本发明实施例的深度学习系统100、200和300通过通信网络彼此传输和接收所需信息。假设深度学习系统100、200和300中的每一个均可以包括相同的内部人工神经网络模型。
[0040] 深度学习系统100、200和300中的每一个向由管理员指定的深度学习系统传输信息且从其接收信息，并且使用由其他深度学习系统通过学习而获得的参数来更新其自身的参数，以优化内部人工神经网络模型。
[0041] 下面将参考图3描述图2中所示的深度学习系统100、200和300的配置。
[0042] 图3示出了根据本发明的实施例的深度学习系统100的框图。作为示例，包括基于卷积神经网络(CNN)的人工神经网络模型150的深度学习系统100包括：数据分类存储模块110，其被配置为接收源学习数据并存储在存储器中；学习模块120，其被配置为使用源学习数据来训练系统中的人工神经网络模型150；调整信息传输模块130，其被配置为向对外部深度学习系统200或300传输包括学习相关信息以及人工神经网络模型150的利用该学习结果修改的参数信息的调整信息，以请求调整系统中的人工神经网络模型；以及调整模块
140，其被配置为根据从外部深度学习系统200或300传输的调整信息更新人工神经网络模型150的参数信息。
[0043] 根据实施方案，除了上述要素之外，根据本发明实施例的深度学习系统100还可以包括诊断模块160，其被配置为基于通过学习模块120和调整模块140的重复操作而优化的人工神经网络模型150来诊断是否已经发生特定疾病。
[0044] 源学习数据是通过单独的存储设备或单独的数据提供服务器(在该存储设备和数据提供服务器中存储有源学习数据)以及通过可连接至深度学习系统100的图像捕获设备所传送的数据。当根据本发明的实施例的深度学习系统100用作医学诊断成像设备的一部分时，源学习数据可以是为了诊断特定疾病而捕获的待检查对象(以下称为检查目标)的图像数据。
[0045] 同时，调整信息传输模块130优先将对外部深度学习系统200或300中所包括的人工神经网络模型的初始学习状态执行同步所需的超参数作为调整信息而进行传输，然后再将根据学习结果和偏置值修改的每层的权重值W1、W2、W3...作为调整信息而进行传输。调整信息传输模块130是用于控制深度学习系统100的整体操作的控制模块，可以对与另一系统的认证和互操作执行控制。
[0046] 上述学习相关信息可以是要学习的源学习数据中的已学习的源学习数据片段的数量，已学习数据与要学习的数据的比率，或者是已学习的源学习数据片段的数量和执行学习的次数。以与在一个深度学习系统100中学习的方式相同的方式使伙伴侧深度学习系统200或300的人工神经网络模型进行学习是重要的。
[0047] 根据本发明的另一实施例的深度学习系统100、200和300可以通过修改上述要素中的数据分类存储模块110来重新实现。也就是说，数据分类存储模块110可以包括：数据接收单元，其被配置为从外部设备接收检查目标的图像数据作为源学习数据，并将接收到的图像数据存储在存储器中；以及数据分类单元，其被配置为根据多个多级分类标准对所存储的检查目标的图像数据进行分类和存储。
[0048] 在这种情况下，数据分类单元可以使用第一级分类标准(其是颜色的分类标准)、第二级分类标准(其是检查目标大小的分类标准)、第三级分类标准(其是颜色和形状的组合的分类标准)中的至少两个或更多个来分类和存储检查目标的图像数据。
[0049] 数据分类单元的第一级分类标准包括作为分类标准值的用于识别乙酸反应图像、卢戈溶液反应图像、绿色滤光器图像和正常图像中的一个或多个的颜色值。
[0050] 当数据分类存储模块110是能够根据数据分类标准进行分类的系统时，调整信息传输模块130优选地在调整信息中包括第一级分类标准、第二级分类标准和第三级分类标准中的至少两个或更多个，并且将该调整信息传输至外部深度学习系统200或300，以同步可互操作的系统。
[0051] 在将进一步描述包括上述要素的深度学习系统100、200或300的操作的同时，将对第一深度学习系统100和第二深度学习系统200彼此互操作以优化人工神经网络模型的过程进行描述。为了便于描述，第一深度学习系统100中所包括的人工神经网络模型将被称为第二人工神经网络模型，且第二深度学习系统200中所包括的人工神经网络模型将被称为第一人工神经网络模型。
[0052] 图4是用于另外描述根据本发明的实施例的深度学习过程的图。
[0053] 在图4中，假设第二深度学习系统200与第一深度学习系统100相比具有较少数量的源学习数据片段，并且具有不同的操作系统。此外，假设第一深度学习系统100和第二深度学习系统200中的每一个均具有存储单元，在该存储单元中存储要学习的源学习数据。
[0054] 在这些假设下，系统管理员访问第一深度学习系统100并设置要进行互操作的深度学习系统(S10)。可以通过输入第二深度学习系统200的连接信息和认证信息来执行该设置。
[0055] 通过该设置，可作为第一深度学习系统100的控制模块进行操作的调整信息传输模块130可以访问第二深度学习系统200并执行相互系统认证过程(S20)。
[0056] 当正常地完成了相互系统认证时，第一深度学习系统100和第二深度学习系统200可以传输和接收所需信息。在这种情况下，调整信息传输模块130将超参数设置为调整信息，以对第二深度学习系统200的第二人工神经网络模型的初始学习状态执行同步，并且优先地将调整信息传输至第二深度学习系统200(S30)。当接收到作为调整信息的超参数时，第二深度学习系统200的调整模块更新与第一人工神经网络模型相关联的参数以执行与第二人工神经网络模型的同步。
[0057] 当两个深度学习系统的初始学习状态通过超参数的发送和接收彼此同步时，第一深度学习系统100的学习模块120使用存储在存储器中的源学习数据来训练系统中的第二人工神经网络模型150(S40)。通过学习，修改构成第二人工神经网络模型150的层的权重值W1、W2、W3......。
[0058] 当学习模块120学习预定数量的源学习数据片段时，调整信息传输模块130向第二深度学习系统200传输调整信息以请求调整第一人工神经网络模型(S50)，该调整信息包括学习相关信息(源学习数据中已学习的数据片段的数量)以及根据学习结果修改的第二人工神经网络模型的参数信息(权重值和偏置值)。
[0059] 第二深度学习系统200中所包括的调整模型根据从外部第一深度学习系统100传输的调整信息来更新第二深度学习系统200中的第一人工神经网络模型的参数信息(即，权重值)(S60)。通过使用由第一深度学习系统100在一个学习过程期间修改的权重值来更新外部第二深度学习系统200中所包括的第一人工神经网络模型的权重值，第二深度学习系统200还可以获得学习第一深度学习系统100的源学习数据的效果。
[0060] 在使用从外部发送的调整信息来更新第一人工神经网络模型的参数后，第二深度学习系统200的学习模块还学习其自己的源学习数据(S70)，并且根据从第一深度学习系统100传输的学习相关信息来执行该学习。
[0061] 当基于学习相关信息完成了学习时，还对第一人工神经网络模型的参数进行修改。通过由包括在第二深度学习系统200中的调整信息传输模块130将包括经修改的权重值和偏置值的调整信息传输至第一深度学习系统100(S80)，第一深度学习系统100中所包括的调整模块140基于接收到的调整信息来更新第二人工神经网络模型150的参数信息(S90)。因此，第一深度学习系统100还可以获得学习第二深度学习系统200的源数据的效果。
[0062] 同时，第一学习系统100和第二深度学习系统200重复上述调整过程，直到获得特定性能，即，直到人工神经网络模型被优化(S100)，从而优化第一人工神经网络模型或第二人工神经网络模型。
[0063] 如上所述，通过将通过学习其自己的源学习数据而获得的参数传输至伙伴侧深度学习系统以更新人工神经网络模型的参数，能够在不共享源学习数据的情况下获得与通过学习相同的学习数据所获得的效果相同的效果。因此，有利地，能够预先解决由个人信息或医疗信息的暴露而引起的问题，并且还可以缩短由于对共享个人信息或医疗信息的限制而优化人工神经网络模型所需的时间。
[0064] 此外，本发明的优点在于，由于使用从外部系统的学习结果中获得的参数来部分地优化人工神经网络模型，因此实际上不可能恢复或推断源学习数据，从而最小化信息暴露造成的损害。
[0065] 特别地，在不共享源学习数据的情况下，本发明可以实现与通过学习相同的学习数据所获得的效果相同的效果，并且因此，即使人工神经网络模型处于只能学习少量源数据的环境下，人工神经网络模型也可以被改变为学习了大量源学习数据的人工神经网络模型。
[0066] 在上述实施例中，已经描述了在不共享源学习数据的情况下，两个深度学习系统100和深度学习系统200彼此互操作以优化人工神经网络模型的过程。
[0067] 下面将描述根据又一个实施例的深度学习系统，其被配置为在两个深度学习系统100和深度学习系统200彼此互操作以优化人工神经网络模型的同时，在准确分类用于学习的学习数据之后执行学习以优化人工神经网络模型，以提高分析特定疾病发生的准确性。
可以通过将图3中所示的数据分类存储模块110分为数据接收单元和数据分类单元来实现该深度学习系统。在以下实施例中，将作为实施例来描述精确诊断是否已发生宫颈癌所需的数据分类标准作为示例。
[0068] 首先，数据接收单元用于从诸如图像捕获设备的外部设备接收与源学习数据相对应的检查目标的图像数据并存储所接收的图像数据，且数据分类单元用于根据多个多级分类标准对检查目标的图像数据进行分类和存储。在这种情况下，数据分类单元可以使用第一级分类标准(其是颜色的分类标准)、第二级分类标准(其是检查目标大小的分类标准)、第三级分类标准(其是颜色和形状的组合的分类标准)、以及和第四级分类标准(其是曝光度和焦点的分类标准)中的至少两个或更多个来对检查目标的图像数据进行分类。
[0069] 在一些情况下，数据分类单元可以首先根据第一级分类标准(其是颜色的分类标准)对检查目标的图像数据进行分类，其次，根据第二级分类标准(其是检查目标大小的分类标准，例如子宫颈的大小)对经第一级分类的检查目标的图像数据进行分类，第三，根据第三级分类标准(其是在经第二级分类的检查目标的图像数据中的颜色和形状的组合的分类标准)对检查目标的图像数据进行分类。
[0070] 第一级分类标准可以包括作为分类标准值的用于识别乙酸反应图像、卢戈溶液反应图像、绿色滤光器图像和正常图像中的一个或多个的颜色值。
[0071] 第三级分类标准可以包括用于识别检查目标的图像数据中的血液、粘液、环、阴道镜、治疗疤痕以及手术工具中的一个或多个的颜色和形状的组合。
[0072] 例如，血液主要表现为从子宫颈的中心向下流动的红色，粘液主要表现为从子宫颈的中心向下流动的淡黄色，环主要位于子宫颈的中心并且通常地且明显地表现为回旋镖形状的线。阴道镜和其他手术工具显示为除了指示子宫颈的粉红色之外的颜色(银色、蓝色等)。因此，如上所述，通过使用每种外来物质的颜色和形态的组合，能够对影响子宫颈的外来物质进行分类。
[0073] 同时，数据分类单元可以根据曝光度和焦点分类标准单独对未根据上述三个分类标准分类的图像(即，其中未识别出病变的图像)进行分类。例如，可以使用当曝光度不足或过度时直方图极度偏向一侧的特性或者使用在焦点超出范围时未检测到边缘或色彩对比度不够高的特性来执行分类(第四分类)。在上述第一分类至第四分类处理期间，可以使用深度学习技术来执行分类。
[0074] 另外，数据分类单元还可以生成附加源学习数据(检查目标的图像数据)，以调整检查目标的图像数据的数量的平衡，即，基于分类标准而被分类和存储的源学习数据。这是为了防止仅对特定类型的子宫颈癌图像数据执行过度学习，或者防止不对特定类型(或种类)的图像执行正常学习。
[0075] 下面将参考图5和6详细描述将子宫颈的图像数据作为检查目标的图像数据而进行分类以优化人工神经网络模型的过程。
[0076] 图5示出了根据本发明的另一实施例的对检查目标的图像数据的多级分类流程，且图6是用于详细描述根据本发明的又一实施例的对检查对象的图像数据的多级分类标准的图。
[0077] 参考图5，首先，数据分类存储模块110中所包括的数据接收单元从诸如图像捕获设备的外部设备中接收子宫颈的图像数据，并存储所接收的图像数据(S200)。
[0078] 数据分类单元根据多个多级分类标准对子宫颈的一个或多个未分类图像数据片段进行分类和存储(S210)。
[0079] 例如，数据分类单元优先根据第一级分类标准(其是颜色的分类标准)对子宫颈的未分类图像数据执行第一分类。
[0080] 对于第一分类，数据分类单元可以通过使用用于识别图像的颜色值作为分类标准值来对乙酸反应图像、卢戈溶液反应图像、绿色滤光器图像和正常图像进行分类。
[0081] 详细地，由于白点出现在乙酸反应图像的子宫颈中，因此白点可与以粉红色表示的子宫颈和阴道区分开。由于在卢戈溶液反应图像中出现棕色或深橙色并且在绿色滤光器图像中完全出现绿色，因此可以通过利用指示图像特征的颜色值作为分类标准值来对子宫颈的未分类图像数据进行分类。
[0082] 当完成了第一分类时，数据分类单元根据第二级分类标准执行第二分类，第二级分类标准是对经第一次分类的图像数据中的子宫颈的大小的分类标准。
[0083] 子宫颈是500韩元硬币大小的圆圈，通常位于图像的中心。因此，针对图像中的子宫颈的大小，数据分类单元可以将图像数据第二次分类为仅仅是放大子宫颈的图像、整个子宫颈的图像、子宫颈占据约80％的图像、子宫颈占据约50％的图像、以及包括子宫颈、阴道镜和其他部分的图像等。
[0084] 随后，数据分类单元根据第三级分类标准对影响子宫颈的外来物质进行第三次分类，该第三级分类标准是对经第二次分类的子宫颈图像数据中的颜色和形状的组合的分类标准。
[0085] 如上所述，血液主要表现为从子宫颈的中心向下流动的红色，粘液主要表现为从子宫颈的中心向下流动的淡黄色，环主要位于子宫颈的中心并且通常地且明显地表现为回旋镖形状的线。阴道镜和其他手术工具显示为除了指示子宫颈的粉红色之外的颜色(银色、蓝色等)。因此，如上所述，通过使用每种外来物质的颜色和形态的组合，能够对影响子宫颈的外来物质进行分类。
[0086] 在一些情况下，数据分类单元可以基于曝光度和焦点对经第三分类的图像执行第四分类。
[0087] 如上所述，根据多级分类标准分类的图像数据以分类标准为基础存储在存储器中。
[0088] 当完成了未分类图像数据的分类时，第一深度学习系统100和第二深度学习系统200通过图4所示的过程优化其自身的人工神经网络模型。在这种情况下，为了以相同的方式应用单个深度学习系统所采用的图像数据的多级分类标准，调整信息传输模块130优选地包括调整信息中的第一级分类标准、第二级分类标准和第三级分类标准中的至少两个或更多个，并将该调整信息传输至伙伴侧深度学习系统。
[0089] 在图5中未描述的S220中，对根据分类标准分类和存储的图像数据执行学习，并且在图4的S40中执行学习。
[0090] 如上所述，通过在预先准确地分类要用于学习的学习数据并且基于分类标准执行学习的同时共享学习数据分类标准以及根据学习结果而修改的参数的不同的深度学习系统，即使是处于只有少量源数据能够被学习的环境下的人工神经网络模型也能被改变为学习了大量源学习数据的人工神经网络模型，并且通过学习根据多种分类标准制作的数据而建立的人工神经网络模型也能够比传统的系统更准确地诊断是否已经发生特定疾病。
[0091] 虽然已经参考附图中所示的实施例描述了本发明，但是本领域技术人员应当理解，该实施例仅仅是对本发明的说明，并且在不脱离本发明的精神和范围的情况下可以进行各种修改和等同。因此，本发明的技术范围应由以下权利要求限定。
