[0001] 本发明关于一种使用机器学习的物性值预测方法及物性值预测系统。

[0002] 电子基板是铜等金属与树脂的层压结构，电子基板的品质对应于金属与树脂界面的密合度。通过对经以化学品实施表面处理而粗面化的金属表面的形状进行评价，能够评价电子基板的金属的密合度。作为评价项目之一，例如测量密合强度，但却有花费工时的问题。

[0003] 例如，于专利文献1记载有使用机器学习来推定橡胶材料的物性值。

[0004] [先前技术文献]

[0005] [专利文献]

[0006] [专利文献1]日本特开2021－60457号公报

[0038] ＜第1实施形态＞

[0039] 以下，参照附图来说明本发明的第1实施形态。

[0040] [学习系统、预测系统]

[0041] 第1实施形态的预测系统2(装置)使用预测模型21，基于对经以化学品实施表面处理的金属(铜)的表面进行拍摄所得到的影像，来预测金属的物性值(例如密合强度)。学习系统1(装置)是使用教导数据，以机器学习来建构预测模型21。

[0042] 如图1所示，预测系统2具有影像取得部20与预测部22。学习系统1具有教导数据D1与使预测模型21学习的学习部10。教导数据D1被存储于存储器1b。学习部10以处理器1a实现。影像取得部20及预测部22则以处理器2a实现。于第1实施形态中，虽是1个装置中的处理器1a、2a实现各部，但并不限定于此。例如，亦可构成为使用网络将各处理分散，多个处理器执行各部的处理。亦即，1个或多个处理器执行处理。

[0043] 影像取得部20取得拍摄预测对象的原材料所得到的影像G1。于第1实施形态中，影像取得部20取得以电子显微镜拍摄经表面处理之金属(铜)表面所得到的SEM影像(灰阶影像)。拍摄预测对象的原材料所得到的影像G1为垂直像素数h×水平像素数w的影像数据。

[0044] 预测模型21是以机器学习而建构成使用教导数据D1，将影像输入作为说明变数且输出关于原材料的物性值的模型，其中该教导数据D1是使拍摄原材料所得到的影像(例如SEM影像、相机影像)与关于该原材料的物性值(例如密合强度)相关联而成的。学习系统1的学习部10将预测模型21的参数更新成预测结果与教导数据的实测值一致。于图1中，教导数据D1中，输入影像1～N(N表示学习用影像数)与为对应于各个输入影像1～N的实测值的物理量(X1、X2、…、XN)相对应。

[0045] 预测模型21可利用各种模型，于第1实施形态中，预测模型21具有从输入影像输出特征量图G2的特征量图输出部21a、与将特征量图G2转换成物性值(Y)的转换部21b。于第1实施形态中，特征量图输出部21a是使用UNet。UNet为基于U字型卷积神经网络(CNN：Convolutional Neural Network)的学习模型。转换部21b则是采用全域均值池化(GAP：
Global Average Pooling)。特征量图G2具有将对应于输入影像G1的垂直像素h的像素数h’与对应于输入影像的水平像素w的像素数w’相乘所得到的数的像素数的数据，各像素具有与关于原材料的物性值相关的特征量。转换部21b将特征量图G2转换成“为1个数的物理量(Y)”。此处的“对应”，包含特征量图成为与原输入影像相同尺寸的影像的情形，或成为尺寸与原输入影像不同但长宽比(aspect ratio)相同的影像的情形，意指可通过对特征量图进行放大处理而与原输入影像的尺寸一致。

[0046] [实施例]

[0047] [实施例1]

[0048] 实施例1使输入影像G1为以电子显微镜拍摄经化学品处理后的铜箔所得到的SEM影像的示例。图2表示SEM影像的一示例。关于SEM影像的拍摄条件，倍率为3500倍，倾斜角(tilt angle)为45度。物理量设为密合强度[N/mm]。这是经使用化学品A处理铜表面的示例。对90张影像测量了90个密合强度。将90个数据中的半数使用作为学习用数据，剩余半数的数据则用于预测。实测密合强度与预测值的均方误差为0.0008。图3是横轴为实测密合强度，纵轴为预测的密合强度，将预测值与实测值的组合数据标绘出所得到的图。

[0049] [实施例2]

[0050] 实施例2与实施例1同样地将SEM影像作为输入影像G1。为经使用化学品B处理铜表面的示例。对72张影像测量了72个密合强度。将72个中的半数作为学习用数据，剩余半数则作为预测用数据。实测密合强度与预测值的均方误差为0.0012。SEM影像的拍摄条件与实施例1相同。

[0051] [实施例3]

[0052] 实施例3与实施例1同样地将SEM影像作为输入影像G1。这是经使用化学品C处理铜表面的示例。对39张影像测量了39个密合强度。将39个中的半数作为学习用数据，剩余半数则作为预测用数据。实测密合强度与预测值的均方误差为0.0021。SEM影像的拍摄条件与实施例1相同。

[0053] [实施例4]

[0054] 实施例4是使用实施例3的SEM影像，从1张SEM影像推测多个物性值的示例。具体而言，通过将1个UNet的输出设定为多类，而可从同一个UNet输出(计算)多个物性值。多个物性值为密合强度、粗糙度参数(Sdr、Sdq)。是将用以预测密合强度的第1UNet、用以预测Sdr的第2UNet及用以预测Sdq的第3UNet加以并列化而成的构成。密合强度的均方误差为0.001，Sdr的均方误差为0.0003，Sdq的均方误差为0.0868。

[0055] [实施例5]

[0056] 实施例5为经使用化学品D处理铜表面的示例。输入影像G1是以光学相机所拍摄的相机影像，而非SEM影像。关于相机影像，仅进行将黑色背景加以分离的处理。将相机影像所含的每个RGB成分分为3个单色影像，再将3个单色影像输入于预测模型21。物性值设为表面粗糙度Ra(算术平均)。使用960组数据，将半数作为教导数据，剩余半数则用于预测数据。均方误差为0.0153。

[0057] 另外，亦可将具有RGB成分的相机影像转换成灰阶影像，且将灰阶影像的强度(明度)输入于预测模型21。由于输入灰阶影像的情形与每个RGB成分输入3个单色影像的情形并无须特别说明的差异，故于实施例5使用了RGB成分。

[0058] [实施例6]

[0059] 实施例6与实施例5同样地将相机影像作为输入影像G1。为经使用化学品D处理铜表面的示例。物性值设为CIE 1976明度指数L＊。使用320组数据，将半数作为教导数据，剩余半数则用于预测数据。均方误差为11.05。L＊是依照JIS Z 8781－4。

[0060] [实施例7]

[0061] 实施例7与实施例5同样地将相机影像作为输入影像G1。为经使用化学品D处理铜表面的示例。物性值设为CIE 1976色彩空间中的色座标a＊。使用320组数据，将半数作为教导数据，剩余半数则用于预测数据。均方误差为0.0062。a＊是依照JIS Z 8781－4。

[0062] [实施例8]

[0063] 实施例8与实施例5同样地将相机影像作为输入影像G1。为经使用化学品D处理铜表面的示例。物性值设为CIE 1976色彩空间中的色座标b＊。使用320组数据，将半数作为教导数据，剩余半数则用于预测数据。均方误差为0.1294。b＊是依照JIS Z 8781－4。

[0064] [原材料的物性值的预测方法]

[0065] 使用图4说明上述预测系统2所执行的原材料的物性值的预测方法。

[0066] 首先，于步骤ST1中，影像取得部20取得拍摄预测对象的原材料所得到的预测对象影像。于第1实施形态中，取得SEM影像或相机影像。于下个步骤ST2、3中，将所取得的预测对象影像输入于预测模型21，输出关于原材料的物性值。具体而言，于步骤ST2中，特征量图输出部21a是被输入预测对象影像而输出特征量图G2。于步骤ST3中，转换部21b将特征量图G2转换为关于原材料的物性值。

[0067] ＜变形例＞

[0068] (1－1)于图1所示的实施形态中，预测模型21虽以输出特征量图G2的特征量图输出部21a构成，但亦可为不输出特征量图，输出物性值的模型。例如，亦可使用为神经网络的一种的ResNet。当然，若为能够处理影像之非线性模型，就可加以利用。

[0069] (1－2)于上述实施形态中，预测物性值的预测对象的原材料，虽是通过利用以化学品(蚀刻剂，研磨液(化学、电解))等进行的化学反应处理实施表面处理的金属(铜)的表面，但若为具有均一且微细的表面形状的原材料，则不限定于此。例如，亦可以是通过使研磨或压延、激光等外力发挥作用的机械加工处理实施过表面处理的金属表面。亦可为分散、混合有各种颜料的涂料的涂装面。又，此情形时的涂料的性质状态(液体、粉体等)并无限定。可以是通过电镀、无电电镀等进行过镀覆处理的金属的表面。亦可为经添加、分散添加剂进行成形加工的膜的表面。亦可为具有用以接受油墨(ink)的涂覆层或其他赋予功能性的涂覆层的纸表面。原材料并无限定，亦可为经使用轮压成形(calender molding)或压纹成形等成形加工之原材料表面。

[0070] (1－3)于上述实施形态中，作为关于原材料的物性值，可举密合强度，但并不限定于此。例如亦可为与密合性、接合性、气密性、拨水性、拨油性、抗污性、滑动性、表面性(光泽、粗糙度)、色调、触感、热物理性质、抗菌性、传输损耗相关的物性值。

[0071] (1－4)于上述实施形态中，虽例举通过SEM及相机所取得的金属表面的影像作为原材料影像的对象，但并不限定于此。波形或波谱、映射影像(mapping image)、数字等可作为影像汇入的数据亦可成为对象。作为一例，可举通过显微分光法(红外、拉曼、UV‑Vis等)或能量分散X光光谱术(SEM‑EDX)、及使用于非破坏性检查之类的超音波检查所得到的波谱或使用其的映射影像等。

[0072] 如上述，第1实施形态的物性值预测方法，是1个或多个处理器执行的方法，可使之为以下：取得拍摄预测对象的原材料所得到的预测对象影像G1，对已机器学习成将拍摄原材料所得到的影像输入作为说明变数且输出关于原材料的物性值(Y)的预测模型输入预测对象影像G1，将映现于预测对象影像G1的关于原材料的物性值(Y)输出作为预测值。

[0073] 以此方式，由于可使用经机器学习的预测模型21预测映现于预测对象影像G1的关于原材料(金属)的物性值，故相较于以试验等测量物性值的情形，能够削减金钱成本或时间成本。

[0074] 虽无特别限定，但亦可使之如第1实施形态，预测模型21具有特征量图输出部21a与转换部21b，该特征量图输出部21a从所输入之影像G1输出特征量图G2，该转换部21b则将特征量图G2转换成预测值。

[0075] 由此，由于可从特征量图G2得到预测值，故可尝试以特征量图G2说明预测模型21所预测的根据。

[0076] 虽无特别限定，但亦可使之如第1实施形态，所拍摄的上述原材料为经实施表面处理的金属的表面、涂料的涂装面、经镀覆处理的金属的表面、膜的表面、纸表面及受到成形加工的原材料表面的任一者。为较适合的一示例。

[0077] 第1实施形态的系统具备执行上述方法的1个或多个处理器。

[0078] 第1实施形态的程序为使1个或多个处理器执行上述方法的程序。

[0079] 通过执行此等程序，亦可得到上述方法所达成的作用效果。

[0080] 以上，是基于附图说明本发明的实施形态，但关于具体的构成，应理解为不限定于此等实施形态。本发明的范围不仅包含上述实施形态的说明，而且还包含权利要求书所示的范围、以及与权利要求书均等的意义及范围内的所有变更。

[0081] ＜第2实施形态＞

[0082] 图5为表示第2实施形态的学习系统1及预测系统2的方块图。第2实施形态相较于第1实施形态，预测系统2的构成不相同。具体而言，第2实施形态的预测系统2对第1实施形态的预测系统2增加了界定部23、提取部24及重叠影像输出部25。界定部23、提取部24及重叠影像输出部25可通过处理器2a来实现。

[0083] 如图5所示，多个预测对象影像与映现于各个预测对象影像的为原材料的已知实测值的物理量(X)相关联地被存储于存储器2b。影像取得部20将被存储于存储器2b的多个预测对象影像分别输入于预测模型21(特征量图输出部21a及转换部21b)。预测模型21所算出的预测物性值(Y)及特征量图输出部21a所输出的特征量图，是于存储器2b中与预测对象影像及实测物性值(X)相关联地被存储。

[0084] 图5所示的界定部23根据存储于存储器2b的多个预测对象影像中的实测物性值为同程度的影像相关的预测结果，来界定出预测不良影像与预测良好影像。预测不良影像为实测值与预测值的误差在第1阈值以上的影像。图6是标绘出与图3所示的预测对象影像群不同的预测对象影像群的预测值与实测值的组合数据的图，横轴为实测密合强度[N/mm]，纵轴为所预测的密合强度[N/mm]。如图6所示，以斜线表示预测物性值(预测密合强度)与实测物性值(实测密合强度)一致之处，靠近斜线的数据(标绘点)为预测良好影像，远离斜线的数据(标绘点)则为预测不良影像。预测对象影像的预测精度，可用从标绘点至斜线的垂线的长度来表示。若垂线的长度长，则预测物性值与实测物性值之差大，可判定为预测不良影像，若垂线的长度短，则预测物性值与实测物性值之差小，可判定为预测良好影像。虽可用人眼观察，然后选择相对较靠近斜线的预测良好影像与相对较远离斜线的预测不良影像，但亦能够以程序来自动选择。界定部23构成为可执行下述处理，亦即将实测值与预测值的误差(垂线的长度)在第1阈值以上的影像界定为预测不良影像，将实测值与预测值的误差(垂线的长度)在第2阈值以下的影像界定为预测良好影像。第2阈值较第1阈值小。第1阈值及第2阈值可为固定值，亦可为可变值。例如，可视实测值与预测值的误差的最大值来设定第1阈值及第2阈值。亦可使第1阈值为最大误差的100％以下且90％以上，并将第2阈值设定为最大误差的0％以上且10％以下。又，或亦可将实测值与预测值的误差为最大的影像界定为预测不良影像，使实测值与预测值的误差为最小的影像为预测良好影像。

[0085] 图6为将预测值与实测值的组合数据标绘出所得到的图，表示将预测不良影像G3及预测良好影像G4加以界定的示例图。如图6所示，界定部23对多个预测对象影像中的实测物性值为同程度的影像，将实测值与预测值的误差为最大的影像界定为预测不良影像G3，将实测值与预测值的误差可视为最小的影像界定为预测良好影像G4。所谓实测物性值为同程度，意指如图6中涂灰所示般，实测物性值虽不相同，但位于规定范围内即可。关于规定范围，可考虑数据的分散情形作适当设定。图7是表示预测不良影像G3(SEM影像)。图8是表示预测良好影像G4(SEM影像)。图9是将由预测不良影像G3(SEM影像)所得到的特征量图作为影像显示。图10是将由预测良好影像G4(SEM影像)所得到的特征量图作为影像显示。即使人们观察图7～图10，亦难以理解预测精度产生差异的原因。

[0086] 图11是显示构成预测不良影像G3的特征量图的多个特征量的频率分布(直方图)与构成预测良好影像G4的特征量图的多个特征量的频率分布(直方图)的图。图11的横轴表示特征量，同图的纵轴表示像素数(亦即频率)。图11的实线为预测不良影像G3的直方图，同图的虚线则为预测良好影像G4的直方图。若观察图11，则虽认为两者的特征量图的特征量分布相似，显示出铜表面的SEM影像的特征，但具有若干不同。于本实施例中，于特征量为－1以上且1以下的范围可观察到很大的频率分布差异。提取出此等特征量群(特征量为－1以上且1以下)作为表示预测不良的主因的特征量群。另，亦能以人眼观察来提取差异大的特征量群，或亦能以程序自动地进行提取。具体而言，认为对每个由2个直方图所形成的闭合区域，算出2个直方图的差的积分值，提取积分值最大的范围的特征量群。

[0087] 亦即，提取部24可基于构成预测不良影像G3的特征量图的多个特征量的频率分布(图11的实线)与构成预测良好影像G4的特征量图的多个特征量的频率分布(图11的虚线)的差异，提取表示预测不良的主因的特征量群。图12为仅显示预测不良影像G3的特征量图中所提取出的特征量群的图。图13为仅显示预测良好影像G4的特征量图中所提取出的特征量群的图。于图12及图13中，以黑色表示所提取出的特征量部分，其他则以色彩表示。特征量图分别为与原预测不良影像G3及原预测良好影像G4相同尺寸的影像，或多为长宽比相同，通过直接或放大处理特征量图而可使位置关系与原影像对应，可理解为存在所提取出的特征量群的原影像的部分对预测精度造成影响。因此，通过将图12、13与原SEM影像加以对照，而可利用于追查预测不良的主因，有时能够进行与预测精度相关的说明。

[0088] 重叠影像输出部25，其输出将提取部24所提取出的特征量群的位置重叠于预测不良影像G3或预测良好影像G4的至少一者所显示的重叠影像。图14是表示将提取出的特征量群的位置重叠于预测不良影像G3所显示的重叠影像的一示例图。图15是表示将提取出的特征量群的位置重叠于预测良好影像G4所显示的重叠影像的一示例图。特征量群的位置可用颜色表示，亦可用其他标记表示。

[0089] 由此，可一眼就辨视出预测对象影像与特征量群的位置，从而有用。

[0090] 使用图16说明第2实施形态的上述预测系统2所执行的原材料的物性值的预测方法。

[0091] 首先，于步骤ST101中，预测部22输入原材料的物性值的实测值为已知的多个预测对象影像，输出多个预测对象影像各自的原材料的物性值的预测值及特征量图。

[0092] 接着于步骤ST102中，界定部23根据多个预测对象影像中的实测物性值为同程度的影像的预测结果，界定出实测值与预测值的误差在第1阈值以上的预测不良影像G3、及实测值与预测值的误差在小于第1阈值的第2阈值以下的预测良好影像G4。

[0093] 接着于步骤ST103中，提取部24基于构成预测不良影像G3的特征量图的多个特征量的频率分布与构成预测良好影像G4的特征量图的多个特征量的频率分布的差异，提取表示预测不良的主因的特征量群。

[0094] 接着于步骤ST104中，重叠影像输出部25输出将特征量群之位置重叠于预测不良影像G3或预测良好影像G4的至少一者所显示的重叠影像。

[0095] 如上述般，第2实施形态的物性值预测方法是1个或多个处理器执行的方法，可使之为以下：对已机器学习成将拍摄原材料所得到的影像输入作为说明变数且输出物性值的预测模型21，输入物性值的实测值为已知的多个预测对象影像，输出多个预测对象影像各自的预测值及特征量图，根据多个预测对象影像中的实测物性值为同程度的影像的预测结果，界定出实测值与上述预测值的误差在第1阈值以上的预测不良影像G3及实测值与预测值的误差在小于第1阈值的第2阈值以下的预测良好影像G4，基于构成预测不良影像G3的特征量图的多个特征量的频率分布与构成预测良好影像G4的特征量图的多个特征量的频率分布的差异，提取表示预测不良的主因的特征量群，上述预测模型21具有从拍摄原材料所得到的影像输出特征量图的特征量图输出部21a、与将特征量图转换为关于原材料的物性值的转换部21b。

[0096] 若以此方式，则构成预测不良影像G3的特征量图的多个特征量的频率分布与构成上述预测良好影像的特征量图的多个特征量的频率分布的差异大的特征量群，由于表示预测不良的主因的可能性高，故可利用于追查预测不良的主因，能够提供可进行关于预测精度的说明的可能性。

[0097] 虽无特别限定，但亦可使之如第2实施形态，输出将特征量群的位置重叠于预测不良影像G3或预测良好影像G4的至少一者所显示的重叠影像。

[0098] 若以此方式，则由于可将特征量群重叠于预测不良影像或预测良好影像加以辨视，故是有用的。

[0099] 虽无特别限定，但亦可使之如第2实施形态，所拍摄的上述原材料为经实施表面处理的金属的表面、经涂装的涂料的表面、经镀覆的金属的表面、膜表面及纸表面的任一者。为较适合的一示例。

[0100] 第2实施形态的系统具备执行上述方法的1个或多个处理器。

[0101] 第2实施形态的程序为使1个或多个处理器执行上述方法的程序。

[0102] 通过执行此等程序，亦可得到上述方法所达成的作用效果。

[0103] [变形例]

[0104] (2－1)于第2实施形态中，虽设置有重叠影像输出部25，但可省略重叠影像输出部25。

[0105] (2－2)于第2实施形态中，虽以拍摄经实施表面处理的铜表面所得到的SEM影像与预测密合强度的示例进行说明，但拍摄对象的原材料与第1实施形态同样地可作各种变更。又，预测对象的物性值亦与第1实施形态与同样地可作各种变更。

[0106] 可将上述各实施形态所采用的结构采用于其他任意的实施形态。各部的具体构成，非仅限定于上述实施形态，亦可于不脱离本发明的意旨的范围作各种变形。

[0107] 例如，于权利要求书、说明书及附图中所示的装置、系统、程序及方法中的动作、次序、步骤及阶段等各处理的执行顺序，只要不是于后处理使用前处理的输出，则能以任意顺序实现。即使关于权利要求书、说明书及附图中的流程，为了方便而使用“首先”、“接着”等加以说明，但并非意指必须以此顺序执行。

[0108] 图1所示的各部虽是以1个或多个处理器执行规定程序而实现，但亦能以专用存储器或专用电路构成各部。上述实施形态的系统1(2)是于一台电脑的处理器1a(2a)中构装有各部，但亦可使各部分散，以多台电脑或云端来构装。亦即，亦能以1个或多个处理器执行上述方法。

[0109] 系统1(2)含有处理器1a(2a)。例如，处理器1a(2a)可设为中央处理单元(CPU)、微处理器或能够执行电脑可执行指令的其他处理单元。又，系统1(2)含有用以存放系统1(2)的数据的存储器1b(2b)。于一例中，存储器1b(2b)包含电脑储存媒体，包含RAM、ROM、EEPROM、快闪存储器或其他存储器技术、CD－ROM、DVD或其他光碟储存器、盒式磁带(magnetic cassette)、磁带、磁碟储存器或其他磁储存装置、或者可用以存放期望的数据然后系统1可存取的任意的其他媒体。