技术领域
[0001] 本发明涉及模型管理技术领域,具体地,涉及一种模型管理方法及系统。
相关背景技术
[0002] 模型在调用前会被存储在相应的位置,并且需要被发布成服务才能实现价值。但是不同的建模语言和训练框架需要通过不同代码实现模型存储,导致建模开发效率低下,误码率高。
具体实施方式
[0019] 下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0020] 本领域技术人员知道,本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此,本公开可以具体实现为以下形式,即:完全的硬件、完全的软件(包括固件、驻留软件、微代码等),或者硬件和软件结合的形式。
[0021] 鉴于目前通过不同代码实现模型存储,导致建模开发效率低下,误码率高,本发明实施例提供一种模型管理方法,以提供模型存储的统一接口,屏蔽不同模型的访问差异,提高建模开发效率,降低误码率。以下结合附图对本发明进行详细说明。
[0022] 图1是本发明一实施例中模型管理方法的流程图。如图1所示,模型管理方法包括:
[0023] S101:根据预先获得的模型导入请求中的模型编号确定模型类型。
[0024] 在执行S101之前,还包括:将RestFul接口作为外部请求的统一入口,接收用户在可视化图形界面提供的用户登录页面中输入的用户名和密码,进行用户登录校验。用户登录也可以对接第三方单点登陆集成,每当有新的第三方用户校验通过并登录时,会自动创建该用户的唯一编号并记录在用户表中。在用户登录成功后存储当前用户的登录信息,后续每次收到外部请求(如模型导入请求)都会校验当前用户的登录状态,登录信息会同步到元数据库中。其中,RestFul接口还与分布式缓存库连接,用于存储当前已登录用户的session(时域)信息。
[0025] S102:当模型类型为流式生成模型时,登记流式生成模型的模型管理信息,对流式生成模型进行SDK封装并将封装后的流式生成模型发送至外部的文件存储系统进行存储。
[0026] 其中,模型管理信息包括模型名称、模型说明、清理策略和模型存储路径,模型管理信息会同步到元数据库中。模型可以为人工智能模型;人工智能模型为根据训练数据总结出的数据结构,基于此数据结构可以对新的数据做预测,判定其目标分类或取值。
[0027] S103:当模型类型为外部上传模型时,发送模型获取指令至外部的模型生成系统,接收来自模型生成系统的外部上传模型,登记外部上传模型的模型管理信息并将外部上传模型发送至文件存储系统进行存储。
[0028] 具体实施时,外部的模型生成系统根据模型获取指令发送外部上传模型,可以通过可视化图形界面提供的模型导入功能接收来自模型生成系统的外部上传模型。
[0029] 图1所示的资产配置数据的推送方法的执行主体可以为计算机。由图1所示的流程可知,本发明实施例的模型管理方法先根据预先获得的模型导入请求中的模型编号确定模型类型;当模型类型为流式生成模型时,进行SDK封装并将封装后的模型发送至外部的文件存储系统进行存储;当模型类型为外部上传模型时,发送模型获取指令获取模型并将模型发送至文件存储系统进行存储。本发明可以提供模型存储的统一接口,屏蔽不同模型的访问差异,无需关注模型是流式生成模型还是外部上传模型,也无需做单独适配,因此可以提高建模开发效率,降低误码率。
[0030] 一实施例中,模型管理方法还包括:
[0031] 接收模型查询请求;根据模型查询请求中的用户信息获取对应的用户权限;在可视化图形界面显示用户权限对应的模型名称和模型说明。
[0032] 具体实施时,可以通过RestFul接口接收模型查询请求并根据模型查询请求中的登录信息校验用户的登录状态,校验成功后获取对应的用户权限。查询得到的模型名称和模型说明可以用于后续的模型调用。
[0033] 一实施例中,模型管理方法还包括:
[0034] 接收模型调用请求;根据SDK接口提供的模型调用API调用模型调用请求中的模型名称对应的模型存储路径。
[0035] 具体实施时,用户发送模型调用请求,根据模型调用请求中的登录信息校验用户的登录状态和模型调用权限,校验成功后调用模型名称对应的模型存储路径,以获取相关的模型数据供用户调用。
[0036] 一实施例中,模型管理方法还包括:通过RestFul接口接收用户在可视化图形界面发起的模型维护请求,根据模型维护请求中的登录信息校验用户的登录状态和模型维护权限,校验成功后对模型管理信息进行更新与维护,并将信息同步到元数据库。
[0037] 一实施例中,模型管理方法还包括:按照指定周期和清理策略对保存的模型相关数据进行模型清理。清理策略包括保留时间和保留大小,模型清理时,超过保留大小或保留时间的模型相关数据会被删除。
[0038] 本发明实施例的具体流程如下:
[0039] 1、获取模型导入请求,根据模型导入请求中的模型编号确定模型类型。
[0040] 2、当模型类型为流式生成模型时,登记流式生成模型的模型管理信息,对流式生成模型进行SDK封装并将封装后的流式生成模型发送至外部的文件存储系统进行存储;当模型类型为外部上传模型时,发送模型获取指令至外部的模型生成系统,接收来自模型生成系统的外部上传模型,登记外部上传模型的模型管理信息并将外部上传模型发送至文件存储系统进行存储。
[0041] 3、通过RestFul接口接收模型查询请求并根据模型查询请求中的登录信息校验用户的登录状态,校验成功后获取对应的用户权限,显示用户权限对应的模型名称和模型说明。
[0042] 4、接收模型调用请求,根据SDK接口提供的模型调用API调用模型名称对应的模型存储路径。
[0043] 5、通过RestFul接口接收用户在可视化图形界面发起的模型维护请求,对模型管理信息进行更新与维护。
[0044] 6、按照指定周期和清理策略对保存的模型相关数据进行模型清理。
[0045] 综上,本发明实施例的模型管理方法先根据预先获得的模型导入请求中的模型编号确定模型类型;当模型类型为流式生成模型时,进行SDK封装并将封装后的模型发送至外部的文件存储系统进行存储;当模型类型为外部上传模型时,发送模型获取指令获取模型并将模型发送至文件存储系统进行存储,可以提供模型存储的统一接口,屏蔽不同模型的访问差异,提高建模开发效率,降低误码率。
[0046] 另外,本发明还通过用户权限设置提高了模型调用的安全性,提供可视化图形界面供用户进行操作,用户可以在可视化界面查询到当前已有的模型名称和模型说明,方便易用。
[0047] 基于同一发明构思,本发明实施例还提供了一种模型管理系统,由于该系统解决问题的原理与模型管理方法相似,因此该系统的实施可以参见方法的实施,重复之处不再赘述。
[0048] 图2是本发明实施例中模型管理系统的结构框图。如图2所示,模型管理系统包括:
[0049] 模型类型确定单元,用于根据预先获得的模型导入请求中的模型编号确定模型类型;
[0050] 流式模型处理单元,用于当模型类型为流式生成模型时,登记流式生成模型的模型管理信息,对流式生成模型进行SDK封装并将封装后的流式生成模型发送至外部的文件存储系统进行存储;
[0051] 外部模型处理单元,用于当模型类型为外部上传模型时,发送模型获取指令至外部的模型生成系统,接收来自模型生成系统的外部上传模型,登记外部上传模型的模型管理信息并将外部上传模型发送至文件存储系统进行存储。
[0052] 在其中一种实施例中,模型管理信息包括模型名称、模型说明、清理策略和模型存储路径。
[0053] 在其中一种实施例中,还包括:
[0054] 第一接收单元,用于接收模型查询请求;
[0055] 权限获取单元,用于根据模型查询请求中的用户信息获取对应的用户权限;
[0056] 显示单元,用于显示用户权限对应的模型名称和模型说明。
[0057] 在其中一种实施例中,还包括:
[0058] 第二接收单元,用于接收模型调用请求;
[0059] 调用单元,用于根据SDK接口提供的模型调用API调用模型调用请求中的模型名称对应的模型存储路径。
[0060] 综上,本发明实施例的模型管理系统先根据预先获得的模型导入请求中的模型编号确定模型类型;当模型类型为流式生成模型时,进行SDK封装并将封装后的模型发送至外部的文件存储系统进行存储;当模型类型为外部上传模型时,发送模型获取指令获取模型并将模型发送至文件存储系统进行存储,可以提供模型存储的统一接口,屏蔽不同模型的访问差异,提高建模开发效率,降低误码率。
[0061] 本发明实施例还提供能够实现上述实施例中的模型管理方法中全部步骤的一种计算机设备的具体实施方式。图3是本发明实施例中计算机设备的结构框图,参见图3,所述计算机设备具体包括如下内容:
[0062] 处理器(processor)301和存储器(memory)302。
[0063] 所述处理器301用于调用所述存储器302中的计算机程序,所述处理器执行所述计算机程序时实现上述实施例中的模型管理方法中的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
[0064] 根据预先获得的模型导入请求中的模型编号确定模型类型;
[0065] 当模型类型为流式生成模型时,登记流式生成模型的模型管理信息,对流式生成模型进行SDK封装并将封装后的流式生成模型发送至外部的文件存储系统进行存储;
[0066] 当模型类型为外部上传模型时,发送模型获取指令至外部的模型生成系统,接收来自模型生成系统的外部上传模型,登记外部上传模型的模型管理信息并将外部上传模型发送至文件存储系统进行存储。
[0067] 综上,本发明实施例的计算机设备先根据预先获得的模型导入请求中的模型编号确定模型类型;当模型类型为流式生成模型时,进行SDK封装并将封装后的模型发送至外部的文件存储系统进行存储;当模型类型为外部上传模型时,发送模型获取指令获取模型并将模型发送至文件存储系统进行存储,可以提供模型存储的统一接口,屏蔽不同模型的访问差异,提高建模开发效率,降低误码率。
[0068] 本发明实施例还提供能够实现上述实施例中的模型管理方法中全部步骤的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述实施例中的模型管理方法的全部步骤,例如,所述处理器执行所述计算机程序时实现下述步骤:
[0069] 根据预先获得的模型导入请求中的模型编号确定模型类型;
[0070] 当模型类型为流式生成模型时,登记流式生成模型的模型管理信息,对流式生成模型进行SDK封装并将封装后的流式生成模型发送至外部的文件存储系统进行存储;
[0071] 当模型类型为外部上传模型时,发送模型获取指令至外部的模型生成系统,接收来自模型生成系统的外部上传模型,登记外部上传模型的模型管理信息并将外部上传模型发送至文件存储系统进行存储。
[0072] 综上,本发明实施例的计算机可读存储介质先根据预先获得的模型导入请求中的模型编号确定模型类型;当模型类型为流式生成模型时,进行SDK封装并将封装后的模型发送至外部的文件存储系统进行存储;当模型类型为外部上传模型时,发送模型获取指令获取模型并将模型发送至文件存储系统进行存储,可以提供模型存储的统一接口,屏蔽不同模型的访问差异,提高建模开发效率,降低误码率。
[0073] 以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
[0074] 本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block),单元,和步骤可以通过电子硬件、电脑软件,或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability),上述的各种说明性部件(illustrative components),单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用,可以使用各种方法实现所述的功能,但这种实现不应被理解为超出本发明实施例保护的范围。
[0075] 本发明实施例中所描述的各种说明性的逻辑块,或单元,或装置都可以通过通用处理器,数字信号处理器,专用集成电路(ASIC),现场可编程门阵列或其它可编程逻辑装置,离散门或晶体管逻辑,离散硬件部件,或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器,可选地,该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算装置的组合来实现,例如数字信号处理器和微处理器,多个微处理器,一个或多个微处理器联合一个数字信号处理器核,或任何其它类似的配置来实现。
[0076] 本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地,存储媒介可以与处理器连接,以使得处理器可以从存储媒介中读取信息,并可以向存储媒介存写信息。可选地,存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中,ASIC可以设置于用户终端中。可选地,处理器和存储媒介也可以设置于用户终端中的不同的部件中。
[0077] 在一个或多个示例性的设计中,本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现,这些功能可以存储与电脑可读的媒介上,或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如,这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置,或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外,任何连接都可以被适当地定义为电脑可读媒介,例如,如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘,磁盘通常以磁性复制数据,而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。