[0001] 本申请涉及模型融合领域，具体涉及一种数字化模型融合方法及装置。

[0002] HI模型(Human Intelligence Model)：基于知识驱动，将人的认知和经验进行建模形成的数字化模型，称为HI模型。其优点是逻辑、参数具有明确的物理意义，模型参数易于调整，所得的模型具有很强的适应性。HI模型往往需要很多关键参数，这些参数如果不能很好的获取，会影响模型的效果。HI模型本质上是人的各种经验知识和方法的固化，它更多是从业务逻辑原理、思路、想法出发，强调的是因果关系。

[0003] AI模型(Artificial Intelligence Model)：主要基于数据驱动，使用机器学习等相关算法形成的模型，称为AI模型。AI模型中，一些数据分析模型也被广泛使用，包括基本的数据分析模型(如对数据做回归、聚类、分类、降维等基本处理的算法模型)、机器学习模型(如利用神经网络等模型对数据进行进一步辨识、预测等)以及智能控制结构模型，AI模型更多的是从数据本身出发，不过分考虑机理原理，更加强调端对端的相关关系。

[0004] 发明人发现，目前针对模型融合，学术界和工业界的重心主要在AI模型的融合，更具体的来说，主要在对AI模型的结果进行融合，即所谓模型集成的方法。模型集成的方法多是从模型结果出发，对多个小模型进行融合集成，常见方法有Voting、Bagging、Boosting等，而对模型本身的考虑不足，同时，模型融合缺乏对多个不同所有者的考虑。当参与融合的不同模型归属不同所有者时，各模型推理所使用的数据可能因为数据隐私性的原因，无法直接参与融合。针对HI模型的融合，以及HI和AI模型的融合，目前没有具体的方法。

[0044] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0045] 考虑到目前针对模型融合，学术界和工业界的重心主要在AI模型的融合，更具体的来说，主要在对AI模型的结果进行融合，即所谓模型集成的方法。模型集成的方法多是从模型结果出发，对多个小模型进行融合集成，常见方法有Voting、Bagging、Boosting等，而对模型本身的考虑不足，同时，模型融合缺乏对多个不同所有者的考虑。当参与融合的不同模型归属不同所有者时，各模型推理所使用的数据可能因为数据隐私性的原因，无法直接参与融合。针对HI模型的融合，以及HI和AI模型的融合，目前没有具体的方法的问题，本申请提供一种数字化模型融合方法及装置，通过确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合；根据所述模型融合类型，确定对应的模型融合方式并进行模型融合，能够有效、准确和便捷的实现数字模型间的融合。

[0046] 为了能够有效、准确和便捷的实现数字模型间的融合，本申请提供一种数字化模型融合方法的实施例，参见图1，所述数字化模型融合方法具体包含有如下内容：

[0047] 步骤S101：确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合。

[0048] 可选的，模型归属于不同的所有者，按模型推理的所涉及的数据分为本地和异地。因此，融合方式可以分为六种：HI融合，AI融合，HI+AI融合，HI协融合，AI协融合，HI+AI协融合，其中，协融合是指需要多方协作的一种融合方式类型。

[0049] 其中，HI融合指的是同一所有者中的一组HI模型进行融合。

[0050] AI融合指的是同一所有者中的一组AI模型进行融合。

[0051] HI+AI融合指的是同一所有者中的一组HI模型和一组AI模型进行融合。

[0052] HI协融合指的是不同所有者的一组HI模型进行融合。

[0053] AI协融合指的是不同所有者的一组AI模型进行融合。

[0054] HI+AI协融合是不同所有者的一组HI模型和一组AI模型进行融合。

[0055] 步骤S102：根据所述模型融合类型，确定对应的模型融合方式并进行模型融合。

[0056] 可选的，根据所述模型融合类型的不同，至少可以对应设定3种模型融合方式，包括：特征融合(特征层面的融合)、参数融合(参数层面的融合)以及结果融合(模型层面的融合)。

[0057] 可选的，特征层面融合：6种情况都适用，具体为提取各模型的特征，进行特征层面的融合，构建新的模型。同时，还包括特征层面集成，即将多个参与模型特征集成使用；特征层面压缩，即通过对比学习等，压缩使用关键特征。

[0058] 可选的，参数层面融合：适用于AI和AI融合。相似结构的AI模型之间，进行参数层面的融合，使用部分层的模型参数，作为新模型初始参数。

[0059] 可选的，模型层面融合：6种情况都适用，包括模型结果集成和过程集成。同时还可以包括，模型压缩：将复杂模型压缩为较为简单的模型；模型集成：多个模型集成为一个新的模型。

[0060] 可选的，在进行融合前可以预先设定本次模型融合的目标，例如目标A：更好的性能，目标B：更快的速度。

[0061] 可选的，提取待融合模型的信息，信息包括模型特征、模型结构、模型参数、模型评价指标。

[0062] 其中，对于AI模型，模型特征为经过数据处理后，AI模型的输入层。模型结构为AI模型使用的算法、网络结构。模型参数为模型中通过训练得到的各层参数。

[0063] 其中，对于HI模型，模型特征为经过数据处理后，专家决策所使用的数据项目。模型结构为专家思路网络结构。模型参数为专家决策每层判断所设置的阈值。

[0064] 其中，模型评价指标为模型的准确率等评估值。

[0065] 可选的，针对模型融合分类情况，选择合适的融合方式。其中，参数层面只适用于AI融合和AI协融合。特征层面融合和模型层面融合适用于所有6中融合分类情况。

[0066] 从上述描述可知，本申请实施例提供的数字化模型融合方法，能够通过确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合；根据所述模型融合类型，确定对应的模型融合方式并进行模型融合，能够有效、准确和便捷的实现数字模型间的融合。

[0067] 在本申请的数字化模型融合方法的一实施例中，参见图2，上述步骤S102还可以具体包含如下内容：

[0068] 步骤S201：提取所述模型的特征信息，其中，所述特征信息包括：模型特征、模型结构、模型参数以及模型评价指标；

[0069] 步骤S202：若所述模型融合类型为HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合中的任意一种，则根据所述模型融合的预设融合目标和所述模型的模型特征进行特征融合，得到经过所述特征融合后的模型。

[0070] 具体包括以下步骤：

[0071] 1，设参与融合的N个模型特征集合分别为Features1,Features2,..,FeaturesN。

[0072] 2，对于融合目的A(更好的性能)，我们取各模型的特征并集作为特征集合Features＝Features1∪Features2∪..∪FeaturesN。

[0073] 3，对于融合目的B(更快的速度)，我们取各模型的特征交集作为特征集合：Features＝Features1∩Features2∩..∩FeaturesN。新的融合模型将基于这个融合的特征集合进行。

[0074] 此外，在本申请的另一实施例中，对于目的B，还可以采用关键特征提取，提取各模型中最关键的特征集合，作为特征集合。

[0075] 具体的，以获得的特征集合作为融合模型特征，使用参与融合的各模型中模型评价指标最好的AI模型进行适配，得到融合模型。

[0076] 可选的，如果参与融合的都为HI模型，则使用基准分类模型，基于融合模型特征，获得融合模型。

[0077] 在本申请的数字化模型融合方法的一实施例中，参见图3，上述步骤S102还可以具体包含如下内容：

[0078] 步骤S301：提取所述模型的特征信息，其中，所述特征信息包括：模型特征、模型结构、模型参数以及模型评价指标；

[0079] 步骤S302：若所述模型融合类型为AI融合和AI协融合中的任意一种，则根据所述模型的模型结构，确定两个所述模型之间相似度超过阈值的同层参数，并根据所述同层参数进行参数融合，得到经过所述参数融合后的模型。

[0080] 具体包括以下步骤：

[0081] 1,比对参与融合的模型S1和S2的模型结构，找出相同的部分。

[0082] 2,针对浅层深度学习模型，找出两个模型各层结构中的连续的相同层。

[0083] 3，以各模型中，准确率较高的模型，相同层的参数，作为融合模型的参数，设置给各参与方。

[0084] 4，参与方获得融合模型。

[0085] 在本申请的数字化模型融合方法的一实施例中，参见图4，上述步骤S102还可以具体包含如下内容：

[0086] 步骤S401：提取所述模型的特征信息，其中，所述特征信息包括：模型特征、模型结构、模型参数以及模型评价指标；

[0087] 步骤S402：若所述模型融合类型为HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合中的任意一种，则根据所述模型融合的预设融合目标和所述模型的模型评价指标进行结果融合，得到经过所述结果融合后的模型。

[0088] 具体包括以下步骤：

[0089] 1，对于融合目的A(更好的性能)，选择模型集成。将多个HI模型和AI模型，进行结果层面的融合。

[0090] 2，在参与融合的各模型中，选取模型评价指标最好的N个。(N为配置参数)[0091] 3，将所选模型Model1,Model2,...，ModelN集成为一个融合模型ModelS。

[0092] 4，对于某份输入数据Input，各所选模型的输出为Output1,Output2,...,OutputN,其中，Outputi为第i个模型的输出结果。将ModelS的输出定义为OutputS＝Output1∪Output2∪...∪OutputN。

[0093] 5，对于融合目的B(更快的速度)，选择模型压缩.

[0094] 6，在参与融合的各模型中，选取模型评价指标最好的模型Model1。

[0095] 7，设置压缩比例R。将模型Model1进行压缩，得到融合模型ModelS。

[0096] 8可选的，以浅层神经网络模型为例，压缩的步骤为：

[0097] (1)选取除了输入和输出层之外的所有中间层Layer1,Layer2，...，LayerK[0098] (2)对LayerI，压缩神经元数量，保留R*N个神经元，得到LayerIS其中R为LayerI的原始神经元数量。

[0099] (3)将输入层、Layer1S、Layer2S、...、LayerKS、输出层组合，得到融合模型。

[0100] 在本申请的一具体实施例中，以涉黄人员模型融合为例，南京建立关于涉黄人员的HI模型A，其中使用到的特征包括：1.年龄；2.半年内是否存在与超过4个男性开房的情况；3.是否与涉黄嫌疑人员存在开房记录。

[0101] 包头建立了关于涉黄人员的AI模型B，其中使用到的特征包括：1.年龄；2.半年内开房次数，3.文化程度。

[0102] 步骤1：确定融合类型，两个模型分别属于不同所有者，所以是HI+AI协融合方式。

[0103] 步骤2：提取所述模型的特征信息，其中，所述特征信息包括：模型特征、模型结构、模型参数以及模型评价指标。

[0104] 模型A：模型特征包括上面的3点；模型结构为HI模型()；模型参数无；模型评价指标无。

[0105] 模型B：模型特征包括上面的3点；模型结构为AI模型(比如浅层神经网络)；模型参数；模型评价指标(准确率90％)。

[0106] 步骤3：

[0107] 我们选择特征层面融合，并选择更好的性能。

[0108] 将两个模型的特征取并集得到

[0109] 1.年龄；2.半年内是否存在与超过4个男性开房的情况；3.是否与涉黄嫌疑人员存在开房记录；4.半年内开房次数；5.文化程度。

[0110] 步骤4：

[0111] 以获得的上述特征集合作为融合模型特征，使用参与融合的各模型中模型评价指标最好的AI模型进行适配，得到融合模型。

[0112] 这里使用模型B进行适配，修改模型B的输入层。

[0113] 得到融合模型C。

[0114] 为了能够有效、准确和便捷的实现数字模型间的融合，本申请提供一种用于实现所述数字化模型融合方法的全部或部分内容的数字化模型融合装置的实施例，参见图5，所述数字化模型融合装置具体包含有如下内容：

[0115] 模型融合类型确定模块10，用于确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合；

[0116] 模型融合方式确定模块20，用于根据所述模型融合类型，确定对应的模型融合方式并进行模型融合。

[0117] 从上述描述可知，本申请实施例提供的数字化模型融合装置，能够通过确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合；根据所述模型融合类型，确定对应的模型融合方式并进行模型融合，能够有效、准确和便捷的实现数字模型间的融合。

[0118] 在本申请的数字化模型融合装置的一实施例中，参见图6，所述模型融合方式确定模块20包括：

[0119] 特征信息提取单元21，用于提取所述模型的特征信息，其中，所述特征信息包括：模型特征、模型结构、模型参数以及模型评价指标；

[0120] 特征融合单元22，用于若所述模型融合类型为HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合中的任意一种，则根据所述模型融合的预设融合目标和所述模型的模型特征进行特征融合，得到经过所述特征融合后的模型。

[0121] 在本申请的数字化模型融合装置的一实施例中，参见图7，所述模型融合方式确定模块20包括：

[0122] 特征信息提取单元23，用于提取所述模型的特征信息，其中，所述特征信息包括：模型特征、模型结构、模型参数以及模型评价指标；

[0123] 参数融合单元24，用于若所述模型融合类型为AI融合和AI协融合中的任意一种，则根据所述模型的模型结构，确定两个所述模型之间相似度超过阈值的同层参数，并根据所述同层参数进行参数融合，得到经过所述参数融合后的模型。

[0124] 在本申请的数字化模型融合装置的一实施例中，参见图8，所述模型融合方式确定模块20包括：

[0125] 特征信息提取单元25，用于提取所述模型的特征信息，其中，所述特征信息包括：模型特征、模型结构、模型参数以及模型评价指标；

[0126] 结果融合单元26，用于若所述模型融合类型为HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合中的任意一种，则根据所述模型融合的预设融合目标和所述模型的模型评价指标进行结果融合，得到经过所述结果融合后的模型。

[0127] 从硬件层面来说，为了能够有效、准确和便捷的实现数字模型间的融合，本申请提供一种用于实现所述数字化模型融合方法中的全部或部分内容的电子设备的实施例，所述电子设备具体包含有如下内容：

[0128] 处理器(processor)、存储器(memory)、通信接口(Communications Interface)和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述通信接口用于实现数字化模型融合装置与核心业务系统、用户终端以及相关数据库等相关设备之间的信息传输；该逻辑控制器可以是台式计算机、平板电脑及移动终端等，本实施例不限于此。在本实施例中，该逻辑控制器可以参照实施例中的数字化模型融合方法的实施例，以及数字化模型融合装置的实施例进行实施，其内容被合并于此，重复之处不再赘述。

[0129] 可以理解的是，所述用户终端可以包括智能手机、平板电子设备、网络机顶盒、便携式计算机、台式电脑、个人数字助理(PDA)、车载设备、智能穿戴设备等。其中，所述智能穿戴设备可以包括智能眼镜、智能手表、智能手环等。

[0130] 在实际应用中，数字化模型融合方法的部分可以在如上述内容所述的电子设备侧执行，也可以所有的操作都在所述客户端设备中完成。具体可以根据所述客户端设备的处理能力，以及用户使用场景的限制等进行选择。本申请对此不作限定。若所有的操作都在所述客户端设备中完成，所述客户端设备还可以包括处理器。

[0131] 上述的客户端设备可以具有通信模块(即通信单元)，可以与远程的服务器进行通信连接，实现与所述服务器的数据传输。所述服务器可以包括任务调度中心一侧的服务器，其他的实施场景中也可以包括中间平台的服务器，例如与任务调度中心服务器有通信链接的第三方服务器平台的服务器。所述的服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式装置的服务器结构。

[0132] 图9为本申请实施例的电子设备9600的系统构成的示意框图。如图9所示，该电子设备9600可以包括中央处理器9100和存储器9140；存储器9140耦合到中央处理器9100。值得注意的是，该图9是示例性的；还可以使用其他类型的结构，来补充或代替该结构，以实现电信功能或其他功能。

[0133] 一实施例中，数字化模型融合方法功能可以被集成到中央处理器9100中。其中，中央处理器9100可以被配置为进行如下控制：

[0134] 步骤S101：确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合。

[0135] 步骤S102：根据所述模型融合类型，确定对应的模型融合方式并进行模型融合。

[0136] 从上述描述可知，本申请实施例提供的电子设备，通过确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合；根据所述模型融合类型，确定对应的模型融合方式并进行模型融合，能够有效、准确和便捷的实现数字模型间的融合。

[0137] 在另一个实施方式中，数字化模型融合装置可以与中央处理器9100分开配置，例如可以将数字化模型融合装置配置为与中央处理器9100连接的芯片，通过中央处理器的控制来实现数字化模型融合方法功能。

[0138] 如图9所示，该电子设备9600还可以包括：通信模块9110、输入单元9120、音频处理器9130、显示器9160、电源9170。值得注意的是，电子设备9600也并不是必须要包括图9中所示的所有部件；此外，电子设备9600还可以包括图9中没有示出的部件，可以参考现有技术。

[0139] 如图9所示，中央处理器9100有时也称为控制器或操作控件，可以包括微处理器或其他处理器装置和/或逻辑装置，该中央处理器9100接收输入并控制电子设备9600的各个部件的操作。

[0140] 其中，存储器9140，例如可以是缓存器、闪存、硬驱、可移动介质、易失性存储器、非易失性存储器或其它合适装置中的一种或更多种。可储存上述与失败有关的信息，此外还可存储执行有关信息的程序。并且中央处理器9100可执行该存储器9140存储的该程序，以实现信息存储或处理等。

[0141] 输入单元9120向中央处理器9100提供输入。该输入单元9120例如为按键或触摸输入装置。电源9170用于向电子设备9600提供电力。显示器9160用于进行图像和文字等显示对象的显示。该显示器例如可为LCD显示器，但并不限于此。

[0142] 该存储器9140可以是固态存储器，例如，只读存储器(ROM)、随机存取存储器(RAM)、SIM卡等。还可以是这样的存储器，其即使在断电时也保存信息，可被选择性地擦除且设有更多数据，该存储器的示例有时被称为EPROM等。存储器9140还可以是某种其它类型的装置。存储器9140包括缓冲存储器9141(有时被称为缓冲器)。存储器9140可以包括应用/功能存储部9142，该应用/功能存储部9142用于存储应用程序和功能程序或用于通过中央处理器9100执行电子设备9600的操作的流程。

[0143] 存储器9140还可以包括数据存储部9143，该数据存储部9143用于存储数据，例如联系人、数字数据、图片、声音和/或任何其他由电子设备使用的数据。存储器9140的驱动程序存储部9144可以包括电子设备的用于通信功能和/或用于执行电子设备的其他功能(如消息传送应用、通讯录应用等)的各种驱动程序。

[0144] 通信模块9110即为经由天线9111发送和接收信号的发送机/接收机9110。通信模块(发送机/接收机)9110耦合到中央处理器9100，以提供输入信号和接收输出信号，这可以和常规移动通信终端的情况相同。

[0145] 基于不同的通信技术，在同一电子设备中，可以设置有多个通信模块9110，如蜂窝网络模块、蓝牙模块和/或无线局域网模块等。通信模块(发送机/接收机)9110还经由音频处理器9130耦合到扬声器9131和麦克风9132，以经由扬声器9131提供音频输出，并接收来自麦克风9132的音频输入，从而实现通常的电信功能。音频处理器9130可以包括任何合适的缓冲器、解码器、放大器等。另外，音频处理器9130还耦合到中央处理器9100，从而使得可以通过麦克风9132能够在本机上录音，且使得可以通过扬声器9131来播放本机上存储的声音。

[0146] 本申请的实施例还提供能够实现上述实施例中的执行主体为服务器或客户端的数字化模型融合方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的执行主体为服务器或客户端的数字化模型融合方法的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：

[0147] 步骤S101：确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合。

[0148] 步骤S102：根据所述模型融合类型，确定对应的模型融合方式并进行模型融合。

[0149] 从上述描述可知，本申请实施例提供的计算机可读存储介质，通过确定模型融合类型，其中，所述模型包括HI模型和AI模型，所述模型融合类型包括HI融合、AI融合、HI+AI融合、HI协融合、AI协融合以及HI+AI协融合；根据所述模型融合类型，确定对应的模型融合方式并进行模型融合，能够有效、准确和便捷的实现数字模型间的融合。

[0150] 本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

[0151] 本发明是参照根据本发明实施例的方法、设备(装置)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0152] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0153] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0154] 本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。