首页 / 一种数据处理方法、装置、电子设备及计算机可读介质

一种数据处理方法、装置、电子设备及计算机可读介质公开 发明

技术领域

[0001] 本申请涉及大数据处理技术领域,尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。

相关背景技术

[0002] 作为最核心的服务系统之一,权益中心需要统一管理权益活动的创建、管理,优惠券的发放、消费和核销结算等,每次权益优惠活动都会有海量的数据需要存储、检索、修改,这导致数据库的性能不仅关系到用户体验,还直接影响到业务的稳定运行和成本效益。各项参数控制了数据库系统的读写、内存、缓存、日志文件和网络等各个方面,但目前数据库参数的配置大都是由数据库管理员执行,数据库的参数配置仅依靠手动调优已经难以满足数据库的规模和应用程序的复杂性,与数据库参数配置相关的数据处理效率低、准确性低。

具体实施方式

[0059] 以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。需要说明的是,本申请技术方案中对数据的获取、传输、存储、使用、处理等均符合国家法律法规的相关规定。需要说明的是,在本申请实施例中,可能提及某些软件、组件、模型等业界已有方案,应当将它们认为是示范性的,其目的仅仅是为了说明本申请技术方案实施中的可行性,但并不意味着申请人已经或者必然用到了该方案。本申请的技术方案中,所涉及的用户个人信息的采集、分析、使用、传输、存储等方面,均符合相关法律法规的规定,被用于合法且合理的用途,不在这些合法使用等方面之外共享、泄露或出售,并且接受监管部门的监督管理。对用户个人信息采取必要措施,以防止对此类用户个人信息数据的非法访问,确保有权访问个人信息数据的人员遵守相关法律法规的规定,确保用户个人信息安全。一旦不再需要这些用户个人信息数据,应当通过限制甚至禁止数据收集和/或删除数据的方式将风险降至最低。
[0060] 当使用时,包括在某些相关应用程序中,通过对数据去标识来保护用户隐私,例如在使用时通过移除特定标识符、控制所存储数据的量或特异性、控制数据如何被存储、和/或其他方法去标识。
[0061] 图1是根据本申请一个实施例的数据处理方法的主要流程的示意图,如图1所示,数据处理方法主要包括如下的步骤S101‑步骤S105。
[0062] 步骤S101,运行接收到的推算出的目标参数配置,进而获取性能指标数据。
[0063] 本实施例中,数据处理方法的执行主体(例如,可以是控制器)在接收到数据处理请求后,可以接收推算出的目标参数配置,并在数据库管理系统(DBMS)实时运行接收到的推算出的目标参数配置,并获取数据库管理系统基于目标参数配置运行得到的性能指标数据。示例的,数据库管理系统的性能指标数据可以包括:优化的配置参数值以及对应的响应时间、吞吐量、CPU利用率、内存利用率等。
[0064] 具体地,在运行接收到的推算出的目标参数配置之前,方法还包括:调用优化器以根据知识库中已有的数据推算出一个用于得到高于预设阈值的性能的目标参数配置。
[0065] 调用优化器以根据知识库中已有的大量的配置参数数据推算出一个用于得到高于预设阈值的性能的目标参数配置,即推算出一个可能得到更高数据库管理系统性能的参数配置。
[0066] 步骤S102,响应于未达到迭代结束条件,根据性能指标数据更新知识库,获取知识库中更新后的配置参数。
[0067] 迭代结束条件可以包括迭代次数、迭代时间或者其他成本的限制。若未达到迭代结束条件,并且获取的性能指标数据对应的性能高于知识库中的已存储的性能指标数据对应的性能,则执行主体可以根据获取的性能指标数据中的优化的配置参数值以及对应的响应时间、吞吐量、CPU利用率、内存利用率等对比、更新知识库中的配置参数以及对应的配置参数值。获取知识库中更新后的配置参数。
[0068] 步骤S103,调用解释性框架以识别更新后的配置参数的重要性值。
[0069] 具体地,调用解释性框架以识别更新后的配置参数的重要性值,包括:将更新后的配置参数输入至解释性框架,以确定每个输入的更新后的配置参数在决策中的重要性值。
[0070] 解释性框架例如SHAP,是机器学习和数据科学中的一个重要概念,它代表着可解释性和模型理解能力。使用SHAP,可以准确、快速地识别每个输入的配置参数在提高数据库性能的决策中的重要性值。
[0071] 步骤S104,根据重要性值,确定待调整参数和待合并参数,合并待合并参数,以得到合并参数。
[0072] 执行主体可以获取待调整参数对应的预设的第一重要性值范围以及获取待合并参数对应的预设的第二重要性值范围,将在第一重要性值范围内的重要性值对应的配置参数确定为待调整参数,将在第二重要性值范围内的重要性值对应的配置参数确定为待合并参数,对待合并参数进行合并以得到合并参数,从而可以避免遗漏参数,提高数据库参数配置调优的效率。第一重要性值范围内的任意一个第一重要性值均高于第二重要性值范围内的任意一个第二重要性值,以保证对于待调整参数和待合并参数进行确定的准确性,从而提高相应数据处理的准确性。
[0073] 步骤S105,确定待调整参数和合并参数的参数类型和离散步长,进而基于迭代结束条件在数据库进行对待调整参数和合并参数的调优测试,以确定待调整参数和合并参数的调优参数值,输出调优参数值。
[0074] 参数类型可以包括数值型和分类型。各个参数类型的参数均有特殊值,将一个偏置特殊值抽样概率p关联到优化器中,假设[0,max]是该参数的取值范围,其中0是特殊取值。如果某次迭代中,优化器推算得到的参数取值是v,那我们会将这个值缩放到[0,1],如果缩放后的值在[0,p]范围内,本次迭代中参数的取值为0,否则将均匀放大到[1,max]范围内取值。数据库不同参数的取值可以是离散的,也可以是连续的,同时取值范围也有很大的差别。对于一些有很大取值范围的参数,小的更改不太可能显著地影响数据库的性能;还有些参数则是需要精细地调整。为平衡这些影响,为不同取值范围的参数设定不同k值,即离散步长。假如某个参数的取值范围是[0,1000],设定的离散步长k=100,则该参数新的值域为一个离散集[0,100,200,...,1000],低于k=100的数值修改将被认为对数据库性能没有影响。
[0075] 具体地,确定待调整参数和合并参数的调优参数值,包括:确定待调整参数和合并参数的取值范围,根据取值范围和离散步长,确定每一个待调整参数和每一个合并参数对应的离散集;在迭代结束条件的约束下在数据库中基于离散集进行对待调整参数和合并参数的数值修改调优测试,将本次迭代调优测试得到的参数取值缩放至第一取值范围,其中,第一取值范围的最小值为特殊取值;获取关联至优化器的偏置特殊值抽样概率,基于偏置特殊值抽样概率得到第二取值范围,其中,第二取值范围的最小值为特殊取值;基于取值范围和第一取值范围确定第三取值范围;若参数取值在第二取值范围内,则确定本次迭代调优测试的参数的调优参数值为特殊取值,若参数取值不在第二取值范围内,则基于参数取值和第三取值范围确定本次迭代调优测试的参数的调优参数值。
[0076] 示例的,以待调整参数和合并参数中的一个参数的取值范围[0,max],例如可以为[0,1000]为例,根据取值范围[0,1000]和离散步长k=100,确定每一个待调整参数和每一个合并参数对应的离散集[0,100,200,...,1000];基于离散集[0,100,200,...,1000]进行对待调整参数和合并参数的数值修改调优测试,将本次迭代调优测试得到的参数取值缩放至第一取值范围,例如[0,1],其中,第一取值范围[0,1]的最小值0为特殊取值;获取关联至优化器的偏置特殊值抽样概率p,基于偏置特殊值抽样概率p得到第二取值范围[0,p],其中,第二取值范围[0,p]的最小值0为特殊取值;获取本次迭代调优测试的参数的取值范围[0,1000],其中,取值范围[0,1000]的最小值0为特殊取值,基于取值范围[0,1000]和第一取值范围[0,1]确定第三取值范围[1,1000];若参数取值在第二取值范围[0,p]内,则确定本次迭代调优测试的参数的调优参数值为特殊取值0,若参数取值不在第二取值范围[0,p]内,则基于参数取值和第三取值范围[1,1000]确定本次迭代调优测试的参数的调优参数值。
[0077] 本实施例通过运行接收到的推算出的目标参数配置,进而获取性能指标数据;响应于未达到迭代结束条件,根据性能指标数据更新知识库,获取知识库中更新后的配置参数;调用解释性框架以识别更新后的配置参数的重要性值;根据重要性值,确定待调整参数和待合并参数,合并待合并参数,以得到合并参数;确定待调整参数和合并参数的参数类型和离散步长,进而基于迭代结束条件在数据库进行对待调整参数和合并参数的调优测试,以确定待调整参数和合并参数的调优参数值,输出调优参数值。提高数据库参数配置调优效率和准确性,实现数据库的参数配置满足数据库的规模和应用程序的复杂性。
[0078] 图2是根据本申请一个实施例的数据处理方法的主要流程示意图,如图2所示,数据处理方法主要包括如下的步骤S201‑步骤S207。
[0079] 步骤S201,运行接收到的推算出的目标参数配置,进而获取性能指标数据。
[0080] 示例的,控制器可以接收优化器根据知识库已有的数据推算出的一个可能得到更高性能的目标参数配置,然后使用此目标参数配置在数据库管理系统中运行,待数据库管理系统执行5‑10分钟后,控制器收集数据库管理系统的性能指标数据,并将数据发送到知识库,最后对比、更新知识库。
[0081] 步骤S202,响应于未达到迭代结束条件,根据性能指标数据更新知识库,获取知识库中更新后的配置参数。
[0082] 迭代结束条件可以是迭代次数、迭代时间,或者其他成本的限制。若在未达到迭代结束条件时获取的性能指标数据对应的性能高于知识库中已存储的性能指标数据对应的性能,则执行主体可以根据获取的性能指标数据对比、更新知识库,以提高数据处理的准确性。
[0083] 步骤S203,调用解释性框架以识别更新后的配置参数的重要性值。
[0084] 步骤S204,将大于预设重要性阈值的更新后的配置参数确定为待调整参数,将小于预设重要性阈值的更新后的配置参数确定为待合并参数,合并待合并参数,以得到合并参数。
[0085] 将小于预设重要性阈值的更新后的配置参数确定为待合并参数,合并待合并参数,以得到合并参数,即将几个不重要的参数合并为一个,能够显著提高数据库参数配置调优的效率,同时可以避免遗漏参数。
[0086] 步骤S205,确定待调整参数和合并参数的参数类型和离散步长,进而基于迭代结束条件在数据库进行对待调整参数和合并参数的调优测试,以确定待调整参数和合并参数的调优参数值,输出调优参数值。
[0087] 基于确定出的待调整参数和合并参数的参数类型和离散步长、迭代结束条件、数据库,执行对待调整参数和合并参数的调优测试,以准确确定出待调整参数和合并参数的调优参数值,输出调优参数值。
[0088] 步骤S206,确定待调整参数和合并参数的设定偏离值,基于设定偏离值和对应的参数的调优参数值,确定数据库性能提升作用参数。
[0089] 优化器根据已有的数据推算得到的配置,经过DBMS测试后可能使数据库达到更高性能,但是数据库性能的提高无法归因于特定的值,即参数数量很大的时候优化器无法准确找到是哪些参数的变化导致数据库性能的提升。为此,为参数设定偏离值(即设定偏差)为α,评估特殊值的样本数服从二项分布 ,其中可以默认设置α=20%。示例的,当调优参数值(即迭代优化得到的参数取值)超过初始参数值的设定偏离值α(例如20%)时就可以确定是该参数的变化导致数据库性能的提升,即该参数即为使得数据库性能提升的参数,则该参数即为数据库性能提升作用参数。
[0090] 步骤S207,输出数据库性能提升作用参数。
[0091] 执行主体可以以各种形式输出数据库性能提升作用参数,例如以图形、表格的形式输出数据库性能提升作用参数,以便于用户准确确定出是哪些参数的变化导致数据库性能的提升,便于用户决策。
[0092] 图3是根据本申请一个实施例的数据处理方法的主要流程示意图。数据库参数配置调优是一个优化问题,以基于贝叶斯优化的参数调优方法为例,使用贝叶斯优化算法寻找当前场景下数据库参数的最优配置。示例的,设数据库系统有n个配置参数 ,参数对应的阈值为 ,配置空间 ,参数的取值可以是连续的,也可以是离散的,抑或是分类型的取值,设性能指标评估函数为 ,则目标就是得到一组最优配置 ,其中 。参数配置调优的模型框架主要由知识库、优化器和控制器三部分组成。知识库保存了已评估的记录 ,并且每次评估优化都会更新;优化器是根据知识库已有的记录,推算可能得到更高性能的配置(Suggest new Configuration) ;控制器则是控制整个调优过程的执行,记录参数以及把结果 发送到知识库。调优过程是不断迭代的,调优过程为:首先优化器根据知识库已有的数据推算出一个可能得到更高性能的参数配置,然后使用此配置(即使用设置参数)在数据库管理系统(DBMS)中运行,待DBMS执行5‑10分钟后,向控制器传递参数,控制器会收集DBMS的性能指标数据,并将收集的性能指标数据发送到知识库,最后对比、更新知识库。重复上述步骤,直到迭代结束(条件可以是迭代次数、迭代时间,或者其他成本的限制)。
[0093] 数据库管理系统有大量的配置参数,有很多参数对数据库性能的影响较小,所以调整部分(重要的)参数配置就可以使数据库性能接近最佳情况,参数的减少可显著提高调优过程。
[0094] 根据先前的工作,先使用SHAP对数据库参数的重要性进行排序,然后定义一个参数配置空间 ,参数对应的阈值为 ,其中d远小于n。将几个“不重要”的、取值类似的参数合并成一个,并定义 与 ,与 的映射关系。通过这个方法能够显著提高数据库参数配置调优的效率,同时可以避免遗漏参数。
[0095] 优化器根据已有的数据推算得到的配置,经过DBMS测试后可能使数据库达到更高性能,但是数据库性能的提高无法归因于特定的值,即参数数量很大的时候优化器无法准确找到是哪些参数的变化导致数据库性能的提升。为此,为参数设定偏离值为 ,评估特殊值的样本数服从二项分布 ,其中默认设置 =20%。示例的,当迭代优化得到的参数取值超过初始参数值的设定偏离值(例如20%)时就可以确定是该参数的变化导致数据库性能的提升。
[0096] 数据库的参数类型可分为数值型和分类型参数。分类型的参数:如skip_name_resolve、query_cache_type、autocommit等,它们控制了某些功能的启用/禁用,选择不同的值会导致数据库性能实质性的变化。很多数值型的参数也会有特殊值,当这些参数的取值为特殊值,会启用/禁用一些功能;而取其他值的时候,就和其他普通的数值型参数类似,比如设置缓冲区或缓存的大小、索引处理的速度、刷新延迟等。为此将一个偏置特殊值抽样概率p关联到优化器中,假设[0,max]是该参数的取值范围,其中0是特殊取值。如果某次迭代中,优化器推算得到的参数取值是v,则将这个值缩放到[0,1],如果缩放后的值在[0,p]范围内,本次迭代中参数的取值为0,否则将均匀放大到[1,max]范围内取值。
[0097] 数据库不同参数的取值可以是离散的,也可以是连续的,同时取值的范围也有很大的差别。对于一些有很大取值范围的参数,小的更改不太可能显著地影响数据库的性能;还有些参数则是需要精细地调整,如innodb_flush_log_at_trx_commit,这个参数影响着日志刷新到磁盘的频率,参数取值微小的变化都会对数据库性能产生影响。为平衡这些影响,为不同取值范围的参数设定不同k值(即离散步长)。假如某个参数的取值范围是[0,
1000],设定的k=100,则该参数新的值域为一个离散集[0,100,200,...,1000],低于k=100的数值修改将被认为对数据库性能没有影响。
[0098] 示例的,在mysql数据库进行参数调优测试,使用多个配置的数据库设置作为初始的知识库,使用python在SAMC(基于顺序模型算法)的基础上构建优化器,分别迭代优化100次,每次迭代DBMS运行5分钟后评估,调优结束后DBMS最终的吞吐量平均提升11.16%。
[0099] 本申请实施例中,数据库管理系统有大量的配置参数,通过对数据库参数的重要性进行排序,并将“不重要”或取值类似的参数合并,能够显著提高数据库参数配置调优的效率,同时可以避免遗漏参数;为参数设定偏离值,能够有效提高优化器推算更优参数值的概率;针对具有特殊值的参数,将偏置特殊值抽样概率关联到优化器中,能够有效提高优化器参数调优的效率;调整具有较大取值范围的参数取值,能够提高数据库参数迭代调优的效率和稳定性,降低调优时间。
[0100] 图4是根据本申请实施例的数据处理装置的主要单元的示意图。如图4所示,数据处理装置400包括运行单元401、获取单元402、识别单元403、参数确定单元404和调优测试单元405。
[0101] 运行单元401,被配置成运行接收到的推算出的目标参数配置,进而获取性能指标数据。
[0102] 获取单元402,被配置成响应于未达到迭代结束条件,根据性能指标数据更新知识库,获取知识库中更新后的配置参数。
[0103] 识别单元403,被配置成调用解释性框架以识别更新后的配置参数的重要性值。
[0104] 参数确定单元404,被配置成根据重要性值,确定待调整参数和待合并参数,合并待合并参数,以得到合并参数。
[0105] 调优测试单元405,被配置成确定待调整参数和合并参数的参数类型和离散步长,进而基于迭代结束条件在数据库进行对待调整参数和合并参数的调优测试,以确定待调整参数和合并参数的调优参数值,输出调优参数值。
[0106] 在一些实施例中,数据处理装置还包括图4中未示出的推算单元,被配置成:调用优化器以根据知识库中已有的数据推算出一个用于得到高于预设阈值的性能的目标参数配置。
[0107] 在一些实施例中,识别单元403进一步被配置成:将更新后的配置参数输入至解释性框架,以确定每个输入的更新后的配置参数在决策中的重要性值。
[0108] 在一些实施例中,参数确定单元404进一步被配置成:将大于预设重要性阈值的更新后的配置参数确定为待调整参数,将小于预设重要性阈值的更新后的配置参数确定为待合并参数。
[0109] 在一些实施例中,调优测试单元405进一步被配置成:确定待调整参数和合并参数的取值范围,根据取值范围和离散步长,确定每一个待调整参数和每一个合并参数对应的离散集;基于离散集进行对待调整参数和合并参数的数值修改调优测试,将本次迭代调优测试得到的参数取值缩放至第一取值范围,其中,第一取值范围的最小值为特殊取值;获取关联至优化器的偏置特殊值抽样概率,基于偏置特殊值抽样概率得到第二取值范围,其中,第二取值范围的最小值为特殊取值;基于取值范围和第一取值范围确定第三取值范围;若参数取值在第二取值范围内,则确定本次迭代调优测试的参数的调优参数值为特殊取值,若参数取值不在第二取值范围内,则基于参数取值和第三取值范围确定本次迭代调优测试的参数的调优参数值。
[0110] 在一些实施例中,数据处理装置还包括图4中未示出的数据库性能提升作用参数确定单元,被配置成:确定待调整参数和合并参数的设定偏离值,基于设定偏离值和对应的参数的调优参数值,确定数据库性能提升作用参数;输出数据库性能提升作用参数。
[0111] 需要说明的是,本申请的数据处理方法和数据处理装置在具体实施内容上具有相应关系,故重复内容不再说明。
[0112] 图5示出了可以应用本申请实施例的数据处理方法或数据处理装置的示例性系统架构500。
[0113] 如图5所示,系统架构500可以包括终端设备501、502、503,网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
[0114] 用户可以使用终端设备501、502、503通过网络504与服务器505交互,以接收或发送消息等。终端设备501、502、503上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
[0115] 终端设备501、502、503可以是具有数据处理屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0116] 服务器505可以是提供各种服务的服务器,例如对用户利用终端设备501、502、503所提交的数据处理请求提供支持的后台管理服务器(仅为示例)。后台管理服务器可以运行接收到的推算出的目标参数配置,进而获取性能指标数据;响应于未达到迭代结束条件,根据性能指标数据更新知识库,获取知识库中更新后的配置参数;调用解释性框架以识别更新后的配置参数的重要性值;根据重要性值,确定待调整参数和待合并参数,合并待合并参数,以得到合并参数;确定待调整参数和合并参数的参数类型和离散步长,进而基于迭代结束条件在数据库进行对待调整参数和合并参数的调优测试,以确定待调整参数和合并参数的调优参数值,输出调优参数值。提高数据库参数配置调优效率和准确性,实现数据库的参数配置满足数据库的规模和应用程序的复杂性。
[0117] 需要说明的是,本申请实施例所提供的数据处理方法一般由服务器505执行,相应地,数据处理装置一般设置于服务器505中。
[0118] 应该理解,图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
[0119] 下面参考图6,其示出了适于用来实现本申请实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
[0120] 如图6所示,计算机系统600包括中央处理单元(CPU)601,其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM603中,还存储有计算机系统600操作所需的各种程序和数据。CPU601、ROM602以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
[0121] 以下部件连接至I/O接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(CRT)、液晶征信授权查询处理器(LCD)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。
[0122] 特别地,根据本申请公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本申请公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时,执行本申请的系统中限定的上述功能。
[0123] 需要说明的是,本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
[0124] 附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
[0125] 描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括运行单元、获取单元、识别单元、参数确定单元和调优测试单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0126] 作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备运行接收到的推算出的目标参数配置,进而获取性能指标数据;响应于未达到迭代结束条件,根据性能指标数据更新知识库,获取知识库中更新后的配置参数;调用解释性框架以识别更新后的配置参数的重要性值;根据重要性值,确定待调整参数和待合并参数,合并待合并参数,以得到合并参数;确定待调整参数和合并参数的参数类型和离散步长,进而基于迭代结束条件在数据库进行对待调整参数和合并参数的调优测试,以确定待调整参数和合并参数的调优参数值,输出调优参数值。
[0127] 本申请的计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本申请实施例中的数据处理方法。
[0128] 根据本申请实施例的技术方案,可以提高数据库参数配置调优效率和准确性,实现数据库的参数配置满足数据库的规模和应用程序的复杂性。
[0129] 上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。

当前第1页 第1页 第2页 第3页
相关技术
数据处理相关技术
方法装置相关技术
钟贵强发明人的其他相关专利技术