技术领域
[0001] 本发明涉及数据挖掘技术领域,具体为一种数据挖掘方法和数据挖掘系统。
相关背景技术
[0002] 数据挖掘是目前人工智能和数据库领域研究的热点问题,所谓数据挖掘是指从数据库的大量数据中揭示出隐含的、先前未知的并有潜在价值的信息的非平凡过程。数据挖掘是一种决策支持过程,它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等,高度自动化地分析企业的数据,做出归纳性的推理,从中挖掘出潜在的模式,帮助决策者调整市场策略,减少风险,做出正确的决策。现有数据挖掘的方法计算量普遍较大,存在安全隐患,同时整体流程较为繁琐,加长了运转周期,整体智能化水平较差,工作人员无法及时进行某一环节对应查看,因此本发明需要设计一种数据挖掘方法和数据挖掘系统来解决上述出现的问题。
[0003] 发明内容:本发明的目的就在于为了解决上述问题而提供一种数据挖掘方法和数据挖掘系统,解决了背景技术中提到的现有数据挖掘的方法计算量普遍较大,存在安全隐患,同时整体流程较为繁琐,加长了运转周期,整体智能化水平较差,工作人员无法及时进行某一环节对应查看问题。
[0004] 为了解决上述问题,本发明提供了一种技术方案:一种数据挖掘方法,包括以下具体步骤:
S1、构建数据挖掘系统,采集数据信息,识别其中的数据质量,进行初步筛分的同时进行安全阻拦;
S2、对步骤S1中的采集数据进行数据预处理,同时建立视图;
S3、对步骤S2中的视图进行模型训练,对模型的效果进行评价,集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集;
S4、对步骤S3中的频繁页面集进行关联规则整合,同时通过评估模型进行对应评估,进行可视化成像。
[0005] 作为优选,所述步骤S2中的数据预处理包括数据清理、数据转换、数据聚集和数据整合。
[0006] 作为优选,所述步骤S3中的模型训练包括训练模式和测试模式两种实施方式。
[0007] 作为优选,所述步骤S4中在完成对应评估后,需要回顾检讨探测的过程,查找建模结果中与现实生活中发生结果的差距,检查探测过程的可能出现的错误。
[0008] 作为优选,所述步骤S1中采集的数据信息包括不同用户和客体活动数据信息。
[0009] 一种数据挖掘方法的数据挖掘系统,作为优选,包括数据知识库、数据视图处理单元、数据模式挖掘功能单元和数据评估单元,所述数据知识库的输出端与数据视图处理单元的输入端通讯连接,所述数据视图处理单元的输出端与数据模式挖掘功能单元的输入端通讯连接,所述数据模式挖掘功能单元的输出端与数据评估单元的输入端通讯连接。
[0010] 作为优选,所述数据知识库包括数据采集模块和数据安全阻拦模块,所述数据采集模块的输出端与数据安全阻拦模块的输入端通讯连接,所述数据安全阻拦模块的输出端与数据视图处理单元的输入端通讯连接;所述数据采集模块用于采集不同用户、客体活动数据信息,识别其中的数据质量,进行初步筛分,所述数据采集模块同时用于将采集的数据发送至所述数据安全阻拦模块内部,进行安全阻拦;
所述数据安全阻拦模块用于接收所述数据采集模块发送的采集数据,对其中的风险问题进行把控阻拦,所述风险问题包括病毒问题、防火墙问题、传输速度问题和通讯网络问题,所述数据安全阻拦模块还用于将上述问题发生至所述数据评估单元内部进行预警,所述数据安全阻拦模块同时用于将经过安全处理之后的采集数据发送至所述数据视图处理单元内部,进行后续视图建立与处理。
[0011] 作为优选,所述数据视图处理单元包括数据预处理模块和视图建立模块,所述数据预处理模块的输出端与视图建立模块的输入端通讯连接,所述视图建立模块的输出端与数据模式挖掘功能单元的输入端通讯连接;所述数据预处理模块用于接收所述数据知识库发送的采集数据,进行数据清理、数据转换、数据聚集和数据整合,所述数据预处理模块还用于将数据整合的成果发送至所述视图建立模块内部,进行后续视图建立;
所述视图建立模块用于接收所述数据预处理模块发送的整合的成果,对数据的稀疏程度选用35%‑50%的比例来建立视图,所述视图建立模块同时用于将所述视图发送至数据模式挖掘功能单元内部,进行后续挖掘。
[0012] 作为优选,所述数据模式挖掘功能单元包括数据挖掘模块和模型训练模块,所述模型训练模块的输出端与数据挖掘模块的输入端通讯连接,所述数据挖掘模块的输出端与数据评估单元的输入端通讯连接;所述数据挖掘模块用于接收所述模型训练模块发送的训练成果,集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集,所述数据挖掘模块同时用于将频繁页面集发送至数据评估单元内部,进行评估操作;
所述模型训练模块用于接收所述数据视图处理单元发送的视图,进行模型训练,分为训练模式和测试模式,用训练模式的数据进行训练建立模型,利用测试模式,对模型进行修正,对模型的效果进行评价,所述模型训练模块还用于将完成上述训练的视图发送至所述数据挖掘模块内部,进行后续挖掘。
[0013] 作为优选,所述数据评估单元包括评估模块、关联规则整合模块和可视化模块,所述评估模块的输出端与关联规则整合模块的输入端通讯连接,所述关联规则整合模块的输出端与可视化模块的输入端通讯连接;所述评估模块用于将模型输出的结果与现实生活中发生的结果进行对比,进一步评估模型,决定后续的数据挖掘的步骤并做出相应的调整,所述评估模块同时用于将上述调整数据发送所述关联规则整合模块内部;
所述关联规则整合模块用于接收所述评估模块发送的调整数据,进行关联规则整合,所述关联规则整合模块同时用于将上述数据发送至所述可视化模块内部进行可视化成像;
所述可视化模块用于对完成关联规则整合的数据进行可视化操作,进行查询、调度,所述可视化模块还用于接收所述数据安全阻拦模块发送的预警信息,进行对应处理。
[0014] 本发明的有益效果是:本发明在进行使用时,通过构建数据挖掘系统,形成完整的流程,采集数据信息,识别其中的数据质量,进行初步筛分的同时进行安全阻拦,对采集数据进行数据预处理,同时建立视图,进行模型训练,对模型的效果进行评价,集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集,进行关联规则整合,同时通过评估模型进行对应评估,进行可视化成像,通过数据安全阻拦模块对其中的风险问题进行把控阻拦,通过评估模块将模型输出的结果与现实生活中发生的结果进行对比,进一步评估模型,决定后续的数据挖掘的步骤并做出相应的调整,缩短了整体周期,对数据挖掘时及相应的分挖掘结果进行管理、可视化和存储,提高挖掘数据管理的智能化水平,同时提高了使用时的整体安全性。
[0015] 附图说明:为了易于说明,本发明由下述的具体实施及附图作以详细描述。
[0016] 图1是本发明一种数据挖掘方法和数据挖掘系统的方法步骤流程图;图2是本发明一种数据挖掘方法和数据挖掘系统的整体拓扑图;
图3是本发明一种数据挖掘方法和数据挖掘系统的数据知识库拓扑图;
图4是本发明一种数据挖掘方法和数据挖掘系统的数据视图处理单元拓扑图;
图5是本发明一种数据挖掘方法和数据挖掘系统的数据模式挖掘功能单元拓扑图;
图6是本发明一种数据挖掘方法和数据挖掘系统的数据评估单元拓扑图。
[0017] 具体实施方式:如图1、图2、图3、图4、图5和图6所示,本具体实施方式采用以下技术方案:
一种数据挖掘方法,包括以下具体步骤:
S1、构建数据挖掘系统,采集数据信息,识别其中的数据质量,进行初步筛分的同时进行安全阻拦;
S2、对步骤S1中的采集数据进行数据预处理,同时建立视图;采集的数据信息包括不同用户和客体活动数据信息;数据预处理包括数据清理、数据转换、数据聚集和数据整合;
S3、对步骤S2中的视图进行模型训练,模型训练包括训练模式和测试模式两种实施方式,对模型的效果进行评价,集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集;
S4、对步骤S3中的频繁页面集进行关联规则整合,同时通过评估模型进行对应评估,进行可视化成像,在完成对应评估后,需要回顾检讨探测的过程,查找建模结果中与现实生活中发生结果的差距,检查探测过程的可能出现的错误。
[0018] 一种数据挖掘方法的数据挖掘系统,进一步的,包括数据知识库、数据视图处理单元、数据模式挖掘功能单元和数据评估单元,所述数据知识库的输出端与数据视图处理单元的输入端通讯连接,所述数据视图处理单元的输出端与数据模式挖掘功能单元的输入端通讯连接,所述数据模式挖掘功能单元的输出端与数据评估单元的输入端通讯连接。
[0019] 进一步的,所述数据知识库包括数据采集模块和数据安全阻拦模块,所述数据采集模块的输出端与数据安全阻拦模块的输入端通讯连接,所述数据安全阻拦模块的输出端与数据视图处理单元的输入端通讯连接;所述数据采集模块用于采集不同用户、客体活动数据信息,识别其中的数据质量,进行初步筛分,所述数据采集模块同时用于将采集的数据发送至所述数据安全阻拦模块内部,进行安全阻拦;所述数据安全阻拦模块用于接收所述数据采集模块发送的采集数据,对其中的风险问题进行把控阻拦,所述风险问题包括病毒问题、防火墙问题、传输速度问题和通讯网络问题,所述数据安全阻拦模块还用于将上述问题发生至所述数据评估单元内部进行预警,所述数据安全阻拦模块同时用于将经过安全处理之后的采集数据发送至所述数据视图处理单元内部,进行后续视图建立与处理。
[0020] 进一步的,所述数据视图处理单元包括数据预处理模块和视图建立模块,所述数据预处理模块的输出端与视图建立模块的输入端通讯连接,所述视图建立模块的输出端与数据模式挖掘功能单元的输入端通讯连接;所述数据预处理模块用于接收所述数据知识库发送的采集数据,进行数据清理、数据转换、数据聚集和数据整合,所述数据预处理模块还用于将数据整合的成果发送至所述视图建立模块内部,进行后续视图建立;所述视图建立模块用于接收所述数据预处理模块发送的整合的成果,对数据的稀疏程度选用35%‑50%的比例来建立视图,所述视图建立模块同时用于将所述视图发送至数据模式挖掘功能单元内部,进行后续挖掘。
[0021] 进一步的,所述数据模式挖掘功能单元包括数据挖掘模块和模型训练模块,所述模型训练模块的输出端与数据挖掘模块的输入端通讯连接,所述数据挖掘模块的输出端与数据评估单元的输入端通讯连接;所述数据挖掘模块用于接收所述模型训练模块发送的训练成果,集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集,所述数据挖掘模块同时用于将频繁页面集发送至数据评估单元内部,进行评估操作;所述模型训练模块用于接收所述数据视图处理单元发送的视图,进行模型训练,分为训练模式和测试模式,用训练模式的数据进行训练建立模型,利用测试模式,对模型进行修正,对模型的效果进行评价,所述模型训练模块还用于将完成上述训练的视图发送至所述数据挖掘模块内部,进行后续挖掘。
[0022] 进一步的,所述数据评估单元包括评估模块、关联规则整合模块和可视化模块,所述评估模块的输出端与关联规则整合模块的输入端通讯连接,所述关联规则整合模块的输出端与可视化模块的输入端通讯连接;所述评估模块用于将模型输出的结果与现实生活中发生的结果进行对比,进一步评估模型,决定后续的数据挖掘的步骤并做出相应的调整,所述评估模块同时用于将上述调整数据发送所述关联规则整合模块内部;所述关联规则整合模块用于接收所述评估模块发送的调整数据,进行关联规则整合,所述关联规则整合模块同时用于将上述数据发送至所述可视化模块内部进行可视化成像;所述可视化模块用于对完成关联规则整合的数据进行可视化操作,进行查询、调度,所述可视化模块还用于接收所述数据安全阻拦模块发送的预警信息,进行对应处理。
[0023] 实施例1S1、构建数据挖掘系统,通过数据采集模块采集不同用户、客体活动数据信息,识别其中的数据质量,进行初步筛分,通过数据安全阻拦模块对其中的病毒问题、防火墙问题、传输速度问题和通讯网络问题进行把控阻拦;
S2、通过数据预处理模块对采集数据进行数据清理、数据转换、数据聚集和数据整合,通过视图建立模块对数据的稀疏程度选用35%‑50%的比例来建立视图;
S3、通过模型训练模块采用训练模式和测试模式两种方式进行模型训练,用训练模式的数据进行训练建立模型,利用测试模式,对模型进行修正,对模型的效果进行评价,通过数据挖掘模块集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集;
S4、通过评估模块进一步评估模型,决定后续的数据挖掘的步骤并做出相应的调整,通过关联规则整合模块进行关联规则整合,通过可视化模块对完成关联规则整合的数据进行可视化操作,进行查询、调度。
[0024] 实施例2当数据挖掘系统连接到网络管理中:
S1、构建数据挖掘系统,通过数据采集模块采集不同网络用户、网络客体活动数据信息,识别其中的网络数据质量,进行初步筛分,通过数据安全阻拦模块对其中的网络病毒问题、网络防火墙问题、网络传输速度问题和网络通讯网络问题进行把控阻拦;
S2、通过数据预处理模块对采集网络数据进行数据清理、数据转换、数据聚集和数据整合,通过视图建立模块对网络数据的稀疏程度选用35%‑50%的比例来建立网络视图;
S3、通过模型训练模块采用训练模式和测试模式两种方式进行模型训练,用训练模式的网络数据进行训练建立模型,利用测试模式,对模型进行修正,对模型的效果进行评价,通过数据挖掘模块集成形成的数据仓库的网络数据上应用数据挖掘的算法,挖掘出频繁页面集;
S4、通过评估模块进一步评估模型,决定后续的网络数据挖掘的步骤并做出相应的调整,通过关联规则整合模块进行关联规则整合,通过可视化模块对完成关联规则整合的数据进行可视化操作,进行查询、调度。
[0025] 具体的:在实际的应用中,具有多个数据知识库,分别与数据视图处理单元、数据模式挖掘功能单元和数据评估单元进行配合使用,多个数据知识库分别位于不同的地理位置,构建数据挖掘系统,通过数据采集模块采集不同用户、客体活动数据信息,识别其中的数据质量,进行初步筛分,通过数据安全阻拦模块对其中的病毒问题、防火墙问题、传输速度问题和通讯网络问题进行把控阻拦;通过数据预处理模块对采集数据进行数据清理、数据转换、数据聚集和数据整合,通过视图建立模块对数据的稀疏程度选用35%‑50%的比例来建立视图;通过模型训练模块采用训练模式和测试模式两种方式进行模型训练,用训练模式的数据进行训练建立模型,利用测试模式,对模型进行修正,对模型的效果进行评价,通过数据挖掘模块集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集;通过评估模块进一步评估模型,决定后续的数据挖掘的步骤并做出相应的调整,通过关联规则整合模块进行关联规则整合,通过可视化模块对完成关联规则整合的数据进行可视化操作,进行查询、调度,本发明在进行使用时,通过构建数据挖掘系统,形成完整的流程,采集数据信息,识别其中的数据质量,进行初步筛分的同时进行安全阻拦,对采集数据进行数据预处理,同时建立视图,进行模型训练,对模型的效果进行评价,集成形成的数据仓库的数据上应用数据挖掘的算法,挖掘出频繁页面集,进行关联规则整合,同时通过评估模型进行对应评估,进行可视化成像,通过数据安全阻拦模块对其中的风险问题进行把控阻拦,通过评估模块将模型输出的结果与现实生活中发生的结果进行对比,进一步评估模型,决定后续的数据挖掘的步骤并做出相应的调整,缩短了整体周期,对数据挖掘时及相应的分挖掘结果进行管理、可视化和存储,提高挖掘数据管理的智能化水平,同时提高了使用时的整体安全性。
[0026] 尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。