技术领域
[0001] 本发明涉及数据处理技术领域，特别涉及一种监控报告生成方法及装置、存储介质及电子设备。
相关背景技术
[0002] 随着大数据分析和人工智能的深入推进，越来越多领域应用数据模型来处理业务，为了保障业务运行的稳定，需要对模型进行监控。
[0003] 目前，通常是通过人工的方式对模型进行监控和验证，然而，随着模型数量和复杂度日益提升，验证与撰写报告的工作量不断增多，造成人工成本高，并且通过人工监控和验证的方式，无法准确监控各模型的运行情况，还可能额外引入操作风险，不利于模型的管理。
具体实施方式
[0051] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052] 在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0053] 本发明实施例提供了一种监控报告生成方法，该方法可以应用于电子设备，所述方法的方法流程图如图1所示，具体包括：
[0054] S101：响应于模型监控指令，确定所述模型监控指令对应的业务模型以及监控配置参数；所述监控配置参数包括数据源参数、指标参数和指标阈值参数。
[0055] 在本实施例中，可以先接收模型监控指令，模型监控指令可以是用户点击预设的控件触发的指令，也可以是用户点击预设的功能按键触发的指令，还可以是一些应用程序在运行过程中自动触发的指令。
[0056] 可选的，模型监控指令可以用户指示对业务模型进行监控。
[0057] 其中，业务模型可以为各类模型，例如，可以是信用风险评估模型、恶意交易识别模型、反欺诈模型等。
[0058] 可选的，监控配置参数可以是模型监控指令所对应的模型监控指标体系的参数，根据数据源参数可以确定出业务模型的数据源，根据指标参数可以确定出业务模型的监控指标，根据指标阈值参数可以确定出监控指标的指标阈值。
[0059] 在一些实施例中，可以接收用户对监控配置参数的修改操作，根据修改操作中的修改信息对监控配置参数进行调整，获得更新后的监控配置参数，可以根据更新后的监控配置参数生成监控报告。
[0060] S102：从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据，所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种。
[0061] 在本实施例中，目标数据还可以包括业务模型的模型信息、依赖于所述运行结果数据的业务数据等，其中，源数据、运行结果数据、模型信息和业务数据等均包括多个目标字段，可以从各个数据表中抽取各个目标字段，由各个目标字段组成目标数据。
[0062] S103：根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标。
[0063] 在本实施例中，可以对目标数据中的各个目标字段进行加工计算，获得业务模型的监控指标。
[0064] 可选的，监控指标可以包括但不限于区分力指标、区分力稳定性指标、群体稳定性指标、审慎性指标、准确性指标、一致性指标、全面性指标等。
[0065] 其中，数据表可以是客户基础信息表、征信表、产品表、贷款交易流水表、评级申请表、中间结果表、评级结果表等。
[0066] S104：根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板，生成所述业务模型的监控报告，所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息；所述指示信息包括风险指示信息和模型优化指示信息中的至少一种，所述风险指示信息用于指示所述业务模型的风险，所述模型优化提示信息用于指示优化所述业务模型。
[0067] 在本实施例中，风险指示信息可以根据风险等级生成，模型优化指示信息可以根据监控结果生成，监控报告模型可以包括已填充数据的模型基本信息模块、数据监控模块、模型能力模块和监控意见模块等其中至少一种。
[0068] 在一些实施例中，在所述监控结果表征所述业务模型存在异常的情况下，将所述监控报告发往所述业务模型对应的模型管理方，以指示所述模型管理方优化所述业务模型。
[0069] 在本实施例中，监控结果可以根据至少一个监控指标与该监控指标对应的指标预警阈值比较得到。
[0070] 可选的，监控结果可以归属于监控报告的模型意见模块，监控意见模块中的监控意见是根据监控指标自动给出的智能文本，包含了基本结论和优化意见，基本结论也即监控结果。
[0071] 能够准确地对模型进行监控，提高监控广度和灵活性，减少模型风险和人工操作风险。
[0072] 在本发明提供的一实施例中，基于上述的方案，可选的，所述确定所述模型监控指令对应的业务模型，包括：
[0073] 对所述模型监控指令进行解析，获得所述监控指令中的执行参数；
[0074] 获取所述执行参数中的模型标识；
[0075] 根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
[0076] 在本实施例中，执行参数可以包括至少一个模型标识，可以将每个模型标识与各个备选业务模型的标识进行比对，若备选业务模型的标识与该模型标识一致，则确定该备选业务模型为监控指令对应的业务模型。
[0077] 在本发明提供的一实施例中，基于上述的方案，可选的，所述从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据，包括：
[0078] 获取所述执行参数中的验证时间点；
[0079] 到达所述验证时间点时，确定所述数据源参数对应的各个数据表；
[0080] 通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
[0081] 在本实施例中，执行参数中还可以包括至少一个验证时间点，到达每个验证时间点时，可以通过数据库组件在数据库的各个数据表中获得与业务模型相关联的目标数据，然后根据每个验证时间点获取到的目标数据，获得业务模型在每个验证时间点下的监控指标；根据业务模型在各个验证时间点下的监控指标以及监控报告模型，生成监控报告，从而能够实现多个验证时间点采集到的监控指标之间的相互验证和核对，提升了监控报告的准确性。
[0082] 在本发明提供的一实施例中，基于上述的方案，可选的，所述根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标的过程，如图2所示，包括：
[0083] S201：根据所述指标参数确定所述业务模型的各个监控指标计算方式。
[0084] 在本实施例中，先确定业务模型的模型监控指标体系，模型监控指标体系包括指标参数、每个指标参数对应的监控指标计算方式、监控指标之间的关系以及指标预警阈值，可以根据指标参数确定业务模型的各个监控指标计算方式。
[0085] S202：基于所述目标数据以及每个所述监控指标计算方式，计算得到所述业务模型的每个监控指标。
[0086] 在本实施例中，目标数据包括多个目标字段，根据每个监控指标计算方式以及每个监控指标计算方式所需的目标字段，计算出每个监控指标计算方式对应的监控指标。
[0087] 在本发明提供的一实施例中，基于上述的方案，可选的，所述根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板，生成所述业务模型的监控报告的过程，如图3所示，包括：
[0088] S301：获取所述业务模型对应的监控报告模板，所述监控报告模板包括模型基本信息模块、数据监控模块、模型能力模块和监控意见模块中的至少一种模块，每个所述模块的内容样式包括图片、表格和文本中的至少一种。
[0089] 在本实施例中，在业务模型的数量为多个的情况下，各业务模型的监控报告模板可以相同或不同。
[0090] 其中，监控报告模板包含了符合内外部管理需求的章节框架，如至少应当包含数据检验和模型能力验证等内容，以及相应的图片、表格、文本样式，保证模板的规范性。同时，用户可自定义对获取的指标进行二次加工，满足模板的灵活性。监控报告模板具有智能词条功能，智能词条功能可依据实际数据结果给出分析意见或结论，部分替代专家分析。
[0091] S302：确定各个所述监控指标之间的关系，所述关系包括勾稽关系和制约关系中的至少一种。
[0092] 在本实施例中，可以根据业务模型的模型监控指标体系确定业务模型的各指标之间的关系。
[0093] S303：根据各个所述监控指标以及各个所述监控指标之间的关系，生成所述监控报告模板所需的管理数据。
[0094] 在本实施例中，监控指标和管理数据可以用于生成监控报告的智能词条。
[0095] S304：根据各个所述监控指标、所述指标阈值参数、所述管理数据以及所述监控报告模板，生成所述业务模型的监控报告。
[0096] 在本实施例中，可以确定各个监控指标以及管理数据在监控报告模板中的填充位置，根据每个监控指标的填充位置以及管理数据的填充位置，将每个监控指标以及管理数据填充到监控报告模板中，以生成业务模型的监控报告，还可以根据指标阈值参数确定各个监控指标对应的指标阈值，将至少一个监控指标与所述至少一个监控指标对应的指标阈值进行比较，从而生成监控结果以及风险等级，根据监控结果以及风险等级中的至少一种生成提示信息，以获得业务模型的监控报告。
[0097] 与图1所述的方法相对应，本发明实施例还提供了一种监控报告生成装置，用于对图1中方法的具体实现，本发明实施例提供的监控报告生成装置可以应用于电子设备中，其结构示意图如图4所示，具体包括：
[0098] 确定单元401，用于响应模型监控指令，确定所述模型监控指令对应的业务模型以及监控配置参数；所述监控配置参数包括数据源参数、指标参数和指标阈值参数；
[0099] 执行单元402，用于从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据，所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种；
[0100] 第一生成单元403，用于根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标；
[0101] 第二生成单元404，用于根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板，生成所述业务模型的监控报告，所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息；所述指示信息包括风险指示信息和模型优化指示信息中的至少一种，所述风险指示信息用于指示所述业务模型的风险，所述模型优化提示信息用于指示优化所述业务模型。
[0102] 在本发明提供的一实施例中，基于上述的方案，具体的，所述确定单元401，包括：
[0103] 解析子单元，用于对所述模型监控指令进行解析，获得所述监控指令中的执行参数；
[0104] 第一获取子单元，用于获取所述执行参数中的模型标识；
[0105] 确定子单元，用于根据所述模型标识在各个备选业务模型中确定出所述监控指令对应的业务模型。
[0106] 在本发明提供的一实施例中，基于上述的方案，具体的，所述执行单元402，包括：
[0107] 第二获取子单元，用于获取所述执行参数中的验证时间点；
[0108] 第一执行子单元，用于到达所述验证时间点时，确定所述数据源参数对应的各个数据表；
[0109] 第二执行子单元，用于通过预设的数据库组件在各个所述数据表中获得与所述业务模型相关联的目标数据。
[0110] 在本发明提供的一实施例中，基于上述的方案，具体的，所述第一生成单元，包括：
[0111] 第一处理子单元，用于根据所述指标参数确定所述业务模型的各个监控指标计算方式；
[0112] 计算子单元，用于基于所述目标数据以及每个所述监控指标计算方式，计算得到所述业务模型的每个监控指标。
[0113] 在本发明提供的一实施例中，基于上述的方案，具体的，所述第二生成单元，包括：
[0114] 第三获取子单元，用于获取所述业务模型对应的监控报告模板，所述监控报告模板包括模型基本信息模块、数据监控模块、模型能力模块和监控意见模块中的至少一种模块，每个所述模块的内容样式包括图片、表格和文本中的至少一种；
[0115] 第二处理子单元，用于确定各个所述监控指标之间的关系，所述关系包括勾稽关系和制约关系中的至少一种；
[0116] 第一生成子单元，用于根据各个所述监控指标以及各个所述监控指标之间的关系，生成所述监控报告模板所需的管理数据；
[0117] 第二生成单元，用于根据各个所述监控指标、所述指标阈值参数、所述管理数据以及所述监控报告模板，生成所述业务模型的监控报告。
[0118] 上述本发明实施例公开的监控报告生成装置中的各个单元和模块具体的原理和执行过程，与上述本发明实施例公开的监控报告生成方法相同，可参见上述本发明实施例提供的监控报告生成方法中相应的部分，这里不再进行赘述。
[0119] 本发明实施例还提供了一种存储介质，所述存储介质包括存储的指令，其中，在所述指令运行时控制所述存储介质所在的设备执行上述监控报告生成方法。
[0120] 本发明实施例还提供了一种电子设备，其结构示意图如图5所示，具体包括存储器501，以及一个或者一个以上的指令502，其中一个或者一个以上指令502存储于存储器501中，且经配置以由一个或者一个以上处理器503执行所述一个或者一个以上指令502进行以下操作：
[0121] 响应于模型监控指令，确定所述模型监控指令对应的业务模型以及监控配置参数；所述监控配置参数包括数据源参数、指标参数和指标阈值参数；
[0122] 从所述数据源参数对应的各个数据表中获得与所述业务模型相关联的目标数据，所述目标数据包括所述业务模型所依赖的源数据和所述业务模型的运行结果数据中的至少一种；
[0123] 根据所述目标数据以及所述指标参数生成所述业务模型的各个监控指标；
[0124] 根据各个所述监控指标、所述指标阈值参数和所述业务模型对应的监控报告模板，生成所述业务模型的监控报告，所述监控报告至少包括所述业务模型的监控结果、风险等级和指示信息；所述指示信息包括风险指示信息和模型优化指示信息中的至少一种，所述风险指示信息用于指示所述业务模型的风险，所述模型优化提示信息用于指示优化所述业务模型。
[0125] 目前，模型的前提条件和参数设定出现错误，或者模型被不恰当的使用，可能造成严重的经济损失、声誉损失等，同时模型监测报告通常涉及大量数据分析和文本描述。本发明可将各种管理规范嵌入到自动生成模型监测报告的流程中，形成指标体系、模板体系、自动生成报告工具的完整方案及装置。本发明可有效减少人工操作、提高报告效率、减少文本撰写工作量。如图6所示，为本发明提供的一种监控报告生成过程的示例图，具体如下：
[0126] 通过数据库组件可以调用各个模型所依赖的源数据，以及模型运行的结果数据。
[0127] 模型监控指标体系包含了各个指标的计算逻辑、指标间的勾稽关系和制约关系、指标预警阈值等内容。将源数据加工成撰写模型监控报告所需的指标和管理用数据。
[0128] 模型监控模板体系包含了符合内外部管理需求的章节框架，如至少应当包含数据检验和模型能力验证等内容，以及相应的图片、表格、文本样式，保证模板的规范性。同时，用户可自定义对获取的指标进行二次加工，满足模板的灵活性。最后，智能词条功能可依据实际数据结果给出分析意见或结论，部分替代专家分析。
[0129] 报告生成组件包括输入执行参数并一键执行、报告预览、下载、导出的功能。同时，在触发预警条件时向管理员自动发送报告的功能。
[0130] 在本实施例中提供的方案中，可以自动地调用相关数据，进行智能整合与分析，自动给出模型运行判定结果，减少对人工分析的依赖。
[0131] 在本实施例中提供的方案中，提高了模型监控情况的可视化程度。以报表、图片或文本形式展示分析结果，生成图文并茂的监控报告。
[0132] 在本实施例中提供的方案中，可以根据预先设定的阈值，对模型的各项指标实现报警，提高模型管理的及时性。
[0133] 需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0134] 最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0135] 为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本发明时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
[0136] 通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0137] 以上对本发明所提供的一种监控报告生成方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
