[0001] 本发明涉及模型生成系统以及模型生成方法。

[0002] 随着近年来的信息处理技术的发展，在各种领域中正在推进机器学习技术的利用。机器学习是指通过大量的数据或者某规则等的经验来构建学习模型(也简称为“模型”)，并使用该学习模型来执行某些任务的方法/技术。

[0003] 一般而言，在机器学习中，用于学习的数据(称为“学习数据”或者“训练数据”)的量越多，能够实现越高精度的学习完毕模型。相反，在数据少的情况下，难以构建足够精度的学习完毕模型。为此，引起如下情况：在构建学习模型时，在得到较多学习数据的情况下能够得到足够的精度的学习完毕模型，但在学习数据较少的情况下仅得到不充分的精度的学习完毕模型。

[0004] 在机器学习技术领域中，作为用于以较少的数据得到高精度的模型的方法，有转移学习。转移学习是指如下技术的总称：通过利用(转移)使用其他学习数据制作的学习完毕模型，即使在学习数据少的情况下也要达成足够的精度。在转移学习中，尝试用如下等方法得到精度高的模型：直接对已有的学习完毕模型进行再利用，或者将学习完毕模型作为初始值进行再学习(“微调(fine tuning)”等)，或者将学习完毕模型作为部分模型(源模型)，从而作为目标模型的一部分编入来构建新模型。例如，在专利文献1中，公开了用于转移学习的学习完毕模型的选择方法。

[0005] 现有技术文献

[0006] 专利文献

[0007] 专利文献1：日本特开2021‑182329号公报

[0027] 以下，使用附图说明本发明的实施例。不过，本发明并不解释为限定于以下所示的实施方式的记载内容。本领域技术人员容易理解，能够在不脱离本发明的思想或者主旨的范围内，变更其具体结构。此外，本说明书中的附图等中所示的各结构的位置、大小以及形状等是为了容易理解发明，有时不表示实际的位置、大小以及形状等。因此，本发明并不限定于附图等所公开的位置、大小以及形状等。

[0028] 使用图1说明本实施例的模型生成系统10的基本结构。模型生成系统10具有模型生成部11和源模型数据库12。

[0029] 源模型数据库12保存利用于构建目标模型的源模型。保存于数据库12的源模型包括学习(训练)完毕的机器学习模型(以下称为学习完毕模型)、方程式/不等式。机器学习模型的形式没有限定，包括神经网络(NN)、梯度提升树、线性回归、核岭法等机器学习模型。此外，方程式/不等式只要是说明现象的方程式/不等式即可，例如包括牛顿的运动方程式(F＝ma)、朗缪尔的吸附等温式(K＝Nθ/N(1‑θ)p)等各种方程式、切比雪夫的不等式、克劳修斯的不等式等各种不等式。此外，也可以是用户定义的方程式、不等式。其中，保存在源模型数据库12中的方程式将方程式的一个参数作为输出Y(目标变量)，将剩余的参数全部作为输入X(说明变量或者常量)来处理，以使得唯一确定目标变量的值。用户能够任意地决定将哪个参数设为输出Y。此外，保存在源模型数据库12中的不等式能够将该不等式的全部参数作为输入X来处理，将满足或不满足不等式的1或者0的信息(布尔值)作为输出Y来处理。在不等式具有等号成立条件的情况下，也能够与方程式同等地处理，即，将一个参数作为输出Y来处理。

[0030] 模型生成部11进行保存在源模型数据库12中的学习完毕模型、方程式/不等式的结合。源模型分别具有一个以上的输入X和输出Y，在模型生成部11中，确认不同的源模型的输入X和输出Y的项目名，在能够进行项目名彼此的对应建立的情况下，将输入X和输出Y结合。

[0031] 图1示出了在源模型数据库12中保存有学习完毕模型15～17的例子。模型生成部11例如由于学习完毕模型15的输出y1，1与学习完毕模型16的输入x2，1一致，因此将输出y1，1与输入x2，1结合。此外，模型生成部11例如无法将学习完毕模型15的输出y1，1与学习完毕模型17的输入x3，1建立对应，因此不将输出y1，1与输入x3，1结合。在模型生成部11中能够进行项目名彼此的建立对应的情况包括项目名彼此一致的情况、在项目名彼此确认到某种对应关系的情况。关于具体的可否结合的判定方法将后述。

[0032] 另外，作为模型生成部11的结合的规则，能够从源模型的一个输出Y与多个其他源模型的输入X结合，与此相对，源模型的一个输入X只能与其他源模型的一个输出Y结合。此外，基本上无法进行将多个源模型的输入输出循环的结合。

[0033] 实施例1

[0034] 在实施例1中，示出使用第一学习完毕模型和第二学习完毕模型并使用本实施例的模型生成系统来构建一个模型的例子，其中，该第一学习完毕模型根据实际使处理装置运转而取得的数据对预测处理装置的处理结果的机器学习模型进行了训练，该第二学习完毕模型对利用计算机软件模拟在处理装置中产生的物理现象而得到的结果进行了训练。

[0035] 如图2所示，通过将原材料21投入处理装置22而得到生成物23。在此，生成物23的状态依赖于对处理装置22从控制计算机24进行怎样的处理条件设定。因而，通过全面性地改变能对处理装置22设定的处理条件来实际利用处理装置22对原材料21进行处理，大量地取得关于在各个处理条件下得到了怎样的生成物23的学习数据，并进行机器学习模型(例如，神经网络模型)的训练，由此得到根据处理条件以一定的精度预测生成物状态的学习完毕模型。

[0036] 但是，处理装置22对原材料21进行处理需要通常长的时间，因此为了大量得到新的学习数据需要较长的时间。因而，在本实施例的模型生成系统中，说明如下方法：活用过去得到的见解、模拟技术，获得即使不得到新的学习数据也能够预测生成物状态的机器学习模型。

[0037] 例如，如图3所示，用户意图构建以处理装置22的独立的处理条件即“气体压力”、“线圈电流”、“电力”、“元素比率”、“电压”这5个控制参数作为输入X、以生成物23的“生成物状态”为输出Y的目标模型33。此外，假设在源模型数据库12中保存有第一源模型31和第二源模型32。第一源模型31是将生成物23的生成物状态作为学习数据进行了训练的学习完毕模型，其中，除了处理装置22中的“离子流量”以外还全面性地改变“电力”、“元素比率”、“电压”这3个控制参数，并使处理装置22处理原材料21，从而得到该生成物23的生成物状态。通过在处理装置22设置测量器，能够测量装置内的离子流量。通过过去的实验等，构建以“离子流量”、“电力”、“元素比率”、“电压”这四个参数为输入X、以“生成物状态”为输出Y的第一源模型31，并保存在源模型数据库12中。第二源模型32关于处理装置22的处理室内的物理现象使用物理模拟技术而构建，并保存在源模型数据库12中。第二源模型32是将“气体压力”、“线圈电流”、“电力”、“元素比率”这4个控制参数设为输入X、将“离子流量”设为输出Y的学习完毕模型。通常，模拟所需的计算时间与实际由处理装置22处理原材料21所需的时间相比非常短，能够减小学习数据的取得所涉及的成本。

[0038] 这样，如果能够进行物理模拟，则能够在短时间内大量地准备学习数据，因此例如能够使用深度学习等机器学习来生成高精度的学习完毕模型。由于通过大量的学习数据进行训练，因此期待这样的学习完毕模型以高精度预测输出Y(在第二源模型32的情况下为“离子流量”)。

[0039] 模型生成系统10通过结合第一源模型31和第二源模型32，得到期望的目标模型33。

[0040] 模型生成系统10通过包括如图4所示的处理器(CPU)41、存储器42、存贮装置43、输入装置44、输出装置45、通信装置46、总线47作为主要结构的信息处理装置40来实现。处理器41通过按照存储器42中加载的程序执行处理，来作为提供给定的功能的功能部(功能块)发挥功能。存贮装置43除了保存使功能部发挥功能的程序以外，还保存在功能部中使用的数据。存贮装置43例如使用HDD(Hard Disk Drive，硬盘驱动器)、SSD(Solid State Drive，固态驱动器)这样的非易失性存储介质。输入装置44是键盘、指向设备等，输出装置45是显示器等。通信装置46能够经由网络与其他信息处理装置进行通信。它们通过总线47能够相互通信地连接。

[0041] 另外，模型生成系统10不需要由1台信息处理装置实现，也可以由多台信息处理装置实现。此外，模型生成系统10的一部分或者全部的功能也可以作为云端上的应用来实现。

[0042] 图5表示存贮装置43中存储的程序和数据。模型生成程序51被加载到存储器42，由处理器41执行，由此使处理器41作为模型生成部11发挥功能。另外，模型生成程序51包含数据库(DB)检索程序52、结合判断程序53、模型决定程序54作为子程序。这些子程序也被加载到存储器42，由处理器41执行，由此使处理器41作为DB检索部、结合判断部以及模型决定部发挥功能。此外，模型生成系统所使用的源模型数据库12也存储于存贮装置43。

[0043] 图6示出表示使用模型生成系统10生成目标模型33的处理的流程图。首先，用户设定想要制作的目标模型的输入项目名和输出项目名(S01)。在图3的例子中，设定成为模型33的输入X的5个控制参数(“气体压力”等)的名称以及成为输出X的参数(“生成物状态”)。

[0044] 接着，DB检索部从源模型数据库12中检索具有与所设定的输入项目名相等的输入项目名的源模型以及具有与所设定的输出项目名相等的输出项目名的源模型(S02)。在存在多个候选的情况下，可以向用户提示选项进行选择，或者，系统也可以选择更新时期新的模型。在图3的例子中，检索：在输入项目名中具有“气体压力”等、在输出项目名中具有“离子流量”的第二源模型32；和在输入项目名中具有“离子流量”、“电力”等、在输出项目名中具有“生成物状态”的第一源模型31。

[0045] 接着，结合判断部使源模型的输入输出名彼此结合(S03)。在此，作为简单的例子，示出输入输出名彼此一致的情况下结合的例子。在图3的例子中，第二源模型32的输出项目名“离子流量”与第一源模型31的输入项目名“离子流量”一致。因此，将它们结合。

[0046] 接着，模型决定部将所结合的源模型显示于输出装置45(S04)。此时，例如作为包括如图3的单点划线框内所示那样的模型结合信息的模型结合图35而显示于输出装置45。在模型结合图35中，在表示源模型的框的各自左侧显示有表示输入X的输入节点，在右侧显示有表示输出Y的输出节点。进而，表示目标模型的输入X的输入节点(处理条件)在源模型的更左侧示出，目标模型的输入节点与对应的源模型的输入节点的结合、以及源模型的建立对应的节点彼此的结合通过边缘显示。这样，在显示画面中，通过设为具有输入节点相对地位于左侧、输出节点相对地位于右侧的布局的GUI进行画面显示，容易确认在源模型间是否未进行不适当的结合(例如，环路连接等)。

[0047] 用户确认GUI画面中显示的模型结合图35(S05)，在需要修正的情况下，通过在GUI画面上手动修正模型结合图35的边缘，来修正目标模型的输入节点与源模型或者源模型彼此的结合(S06)。需要修正的情况例如包括结合的节点彼此能够根据用户的领域知识判断为不适当的情况。之后，将完成的目标模型33保存在源模型数据库12中(S07)。

[0048] 这样制作的模型33仅使用学习完毕模型来制作，未必需要追加学习，但哪怕学习数据(在此，针对目标模型33的五个控制参数的处理条件和该处理条件下的生成物状态的数据集)得到少量，也推荐使用学习数据进行追加的训练(称为追加学习)。将原本的学习完毕模型的权重设为初始值，使用少量的学习数据通过追加学习来进行权重的更新被称为微调。通常，已知通过进行适当的微调，成为更高精度的学习模型的可能性提高。在进行微调时，各个模型的学习率等超参数可以由用户适当设定。

[0049] 实施例2

[0050] 在实施例2中，不仅将学习完毕模型、方程式、不等式，还将未学习的机器学习模型活用作源模型。实施例2的模型生成系统10也通过图4所示那样的信息处理装置40来实现。图8表示存贮装置43中存储的程序和数据。除了在实施例1(图5)中也保存的程序、数据之外，还保存有用于进行机器学习的机器学习程序81。机器学习程序81被加载到存储器42，由处理器41执行，由此使处理器41作为机器学习部发挥功能。另外，机器学习程序81包括模型设定程序82、学习(训练)程序83作为子程序。这些子程序也被加载到存储器42，由处理器41执行，由此使处理器41作为模型设定部、学习部发挥功能。

[0051] 图7的例子针对实施例1中制作的模型33，为了实现进一步精度提高，制作增加了输入X(控制参数)的目标模型70，作为源模型而利用未学习的机器学习模型。具体而言，目标模型70的输入X是对模型33的输入X追加了“频率”、“占空比”这两个控制参数的输入。

[0052] 在图9示出表示使用模型生成系统10生成目标模型70的处理的流程图。对与图6相同的处理标注相同的附图标记并省略重复的说明，以不同点为中心进行说明。首先，用户设定想要制作的目标模型的输入项目名和输出项目名(S01)。在图7的例子中，设定成为目标模型70的输入X的7个控制参数(“气体压力”等)的名称以及成为输出X的参数(“生成物状态”)。

[0053] 接着，用户指定在模型的学习(训练)中使用的学习数据(S1 1)。由于本事例是回归问题，所以全面性地改变成为目标模型70的输入X的七个控制参数来使处理装置22处理原材料21，将由此得到的生成物23的生成物状态作为学习数据。作为七个控制参数与生成物状态的组合的学习数据例如以csV文件的格式提供。之后，并行地实施步骤S02和步骤S13。

[0054] 在步骤S02中，DB检索部进行源模型数据库12的检索，检索模型33。在步骤S03中，结合判断部进行源模型的输入输出名的结合。在该例子中，从源模型数据库12检索到的模型是一个，但在检索到两个以上的模型的情况下，进行与实施例1同样的处理。

[0055] 接着，模型决定部将所结合的源模型显示于输出装置45(S04)。在实施例2中，也在输出装置45中显示包含图7的单点划线框内所示那样的模型结合信息的模型结合图75，但在该时刻显示于输出装置45的仅是检索到的源模型33，“频率”节点、“占空比”节点不与任何地方连接。

[0056] 用户确认GUI画面中显示的模型结合图75(S05)，由于存在未连接的处理条件，因此在GUI画面上手动修正模型结合图75(S06)。在此，追加两个未学习模型71、72，配合期望的目标模型70将源模型彼此结合。另外，未学习模型的追加、结合方法不限于图7的例子。

[0057] 接着，机器学习部使用在步骤S11中指定的学习数据，执行作为源模型33以及未学习模型71、72的结合的模型(称为“结合模型”)的学习(S12)。

[0058] 模型设定部使用户对在GUI画面上追加的未学习模型71、72进行输入输出的定义、超参数的设定。例如，在使用神经网络(NN)模型作为未学习模型的情况下，包括层数、节点数在内的各种超参数也能够由用户直接进行详细设定，或者也能够通过进行贝叶斯优化的程序自动地决定。此外，在进行贝叶斯优化的情况下，也能够详细设定进行最优化的范围。

[0059] 学习部通过学习数据使结合模型学习。在结合模型的学习(训练)时，例如，在判明了源模型33的精度高到某种程度、或者在步骤S11中指定的学习数据的量较少的情况下等，推荐将源模型33的学习率设为0，在步骤S12中的学习中不更新源模型33内部的加权。在这样的情况下，用户将在GUI画面上显示于相应的源模型的右上的锁定图标73设为开启。学习部在结合模型的学习中，在源模型33的锁定图标73被设为开启的情况下，不进行该加权的更新。将该状态称为“源固定模式”。

[0060] 另外，与此相对，在锁定图标73被设为关闭的情况下，学习部在结合模型的训练中将源模型33的加权包括在内进行更新。将该状态称为“微调模式”，例如，在微调模式下实施在实施例1中说明的追加学习。

[0061] 另一方面，机器学习部构建以期望的七个控制参数为输入X、以“生成物状态”为输出Y的模型(称为“标准模型”)(S13)。模型设定部定义标准模型的输入输出，并且使用户对标准模型进行超参数的设定，学习部通过学习数据使标准模型学习。

[0062] 另外，在使用了学习数据的模型的学习(步骤S12、S13)中，根据数据的量、信息处理装置(计算机)的规格，有时花费数小时～数日的时间。

[0063] 如果标准模型以及结合模型的学习完成，则模型决定部对这两个模型，比较学习部使用学习数据的一部分在模型的学习中进行的交叉验证(CV)结果(S14)。模型决定部根据CV值，判定哪个模型是能够进行更高精度的预测的模型，选择被判定为具有更高精度的模型作为目标模型70，并保存在源模型数据库12中(S07)。

[0064] 实施例3

[0065] 实施例3是构建包含更多的处理条件作为输入X的模型的例子，说明活用保存在源模型数据库12中的物理方程式的例子。此外，也对项目名不完全一致的节点彼此的结合方法进行说明。实施例3的模型生成系统10也通过图4所示那样的信息处理装置40来实现。图11表示存贮装置43中存储的程序、数据。除了在实施例2(图8)中也保存的程序、数据之外，还保存有同义词辞典112、节点结合历史记录113。此外，结合判断程序53包含文本挖掘程序
111作为子程序。文本挖掘程序111也被加载到存储器42，由处理器41执行，由此使处理器41作为文本挖掘部发挥功能。

[0066] 图10的例子为了实现进一步精度提高，制作与实施例2中制作的模型相比进一步增加了输入X(控制参数)的模型，作为源模型而利用未学习的机器学习模型以及物理方程式。具体而言，在实施例3中制作的模型的输入X是对模型70的输入X追加了“温度”、“处理时间”这两个控制参数的输入。

[0067] 基于用户的领域知识来追加这两个控制参数。例如，假定处理时间越长，对生成物状态越带来与时间成比例的某种影响。进而，如果知道设想在处理中产生的化学反应的反应速度，则能够推定反应速度与处理时间的积对产物状态带来大的影响。

[0068] 使用模型生成系统10生成模型的处理与图9所示的流程图相同。以特征点为中心进行说明。首先，用户设定想要制作的目标模型的输入项目名和输出项目名(S01)。在图10的例子中，设定成为所希望的目标模型的输入X的9个控制参数(“气体压力”等)的名称以及成为输出X的参数(“生成物状态”)。在接下来的步骤S02中，DB检索部进行源模型数据库12的检索，检索第一源模型31以及第二源模型32，在步骤S03中，结合判断部将第一源模型31与第二源模型32结合，在步骤S04中，模型决定部将结合的源模型显示于输出装置45。在实施例3中，也在输出装置45中显示包含图10的单点划线框内所示那样的模型结合信息的模型结合图105，但在该时刻显示于输出装置45的仅是检索到的源模型31、32，“温度”节点、“处理时间”节点、“频率”节点、“占空比”节点不与任何地方连接。

[0069] 用户确认GUI画面中显示的模型结合图105(S05)，由于存在未连接的处理条件，因此在GUI画面上手动修正模型结合图105(S06)。首先，与实施例2同样地，追加两个未学习模型103、104，配合期望的目标模型将源模型彼此结合。在该阶段中，“温度”节点、“处理时间”节点保持未连接不变。

[0070] 如上所述，认为用户在构建预测生成物状态的模型时，根据与该处理装置22相关的领域知识，想要利用作为处理条件之一的“处理时间”和处理中的化学反应的“反应速度”的概念。因而，在图10中的最终级的未学习模型104的输入项目中手动固定“反应速度”和“处理时间”这两个参数。“处理时间”是作为目标模型的输入X的参数之一，但“反应速度”是既非目标模型的输入节点也非输出节点的中间节点。

[0071] 在该时刻，由于作为未连接节点而残留有“温度”节点和“反应速度”节点，因此用户在源模型数据库12中进行具有这些项目名称的源模型的检索。由此，物理方程式的阿伦尼乌斯公式(反应速度k＝Aexp(‑E/RT))作为源模型候选而显示在GUI画面上。阿伦尼乌斯公式是表示“反应速度”、“温度”、“浓度”、“活性化能(活性化E)”的参数间的相关性的一般的关系式(公式)。在将方程式利用作源模型的情况下，需要对输出Y分配任意一个参数，并将其他参数分配为输入X。因此，基于阿伦尼乌斯公式的源模型101是以“反应速度”为输出Y、以“温度”、“浓度”、“活性化E”为输入X的源模型。其结果，结合判断部将源模型101的输入X中的“温度”节点与作为处理条件的“温度”节点结合，将作为源模型101的输出Y的“反应速度”节点与未学习模型104的被分配了“反应速度”的输入节点结合。由此，源模型101的输入X中的“浓度”节点、“活性化E”节点作为未连接而残留。

[0072] 由于源模型的所有输入节点必须与某节点连接，因此结合判断部启动文本挖掘程序111。文本挖掘部检索同义词辞典112或者节点结合历史记录113，自动地执行与“浓度”和“活性化E”相关的搜索。例如，设为在节点结合历史记录113中，过去留下过基于“压力越高则气体分子的碰撞频度越高，实质上与化学反应有关的局部的分子浓度提高”这一领域知识将“浓度”节点和“压力”节点手动结合的历史记录。结合判断部基于文本挖掘部检索到的上述信息，将“浓度”节点和“气体压力”节点结合。另一方面，关于源模型101的“活性化E”节点，由于未进行结合判断部的自动结合，因此设定常数节点102，通过从常数节点102向源模型101输入常数来结束源模型间的结合修正。

[0073] 在此，示出了在结合目标的检索中检索同义词辞典112、节点结合历史记录113的例子，但使用分配给各节点的单位的维度信息推测结合目标的方法也是有用的。例如，如果‑1 ‑2是压力(Pa)，则利用能够使用SI单位系统如m ·kg·s 那样表现的情况，能够评价单位间的类似、不类似。进而，也可以具备存储了用户预先许可节点的结合的项目名彼此的项目对应建立表。

[0074] 此外，不仅能够检索结合目标，还能够这样将节点名称的类似、结合历史记录也包括在内来进行源模型数据库12的检索(步骤S02)。在该情况下，检索许多源模型，因此例如优选以对应的变量的数量为基准赋予优先顺序并提示给用户。

[0075] 以上，对模型生成系统的多个实施例进行了说明。只要组合不产生矛盾，就能够适当组合上述实施例所公开的多个构成要素。进而，也可以从上述实施例所示的全部构成要素中删除几个构成要素。

[0076] ‑附图标记说明‑

[0077] 10：模型生成系统，11：模型生成部，12：源模型数据库，15～17：学习完毕模型，21：原材料，22：处理装置，23：生成物，24：控制计算机，31：第一源模型，32：第二源模型，33：模型，35：模型结合图，40：信息处理装置，41：处理器(CPU)，42：存储器，43：存贮装置，44：输入装置，45：输出装置，46：通信装置，47：总线，51：模型生成程序，52：数据库检索程序，53：结合判断程序，54：模型决定程序，70：模型，71、72：未学习模型，73：锁定图标，75：模型结合图，81：机器学习程序，82：模型设定程序，83：学习程序，101：源模型，102：常数节点，103、
104：未学习模型，105：模型结合图，111：文本挖掘程序，112：同义词辞典，113：节点结合历史记录。