首页 / 一种基于智慧安全管理平台的日志数据存储方法

一种基于智慧安全管理平台的日志数据存储方法有效专利 发明

技术领域

[0001] 本发明涉及电数字数据处理技术领域,具体涉及一种基于智慧安全管理平台的日志数据存储方法。

相关背景技术

[0002] 目前,越来越多的企业将安全管理作为企业管理的重要组成部分。并且安全管理成为了企业实现安全生产的有效手段,它旨在针对人们在生产过程中的安全问题,进行有关生产的决策、计划等活动,使得生产过程中人与机器相互协调,达到安全生产,所以在安全管理平台储存的日志数据至关重要,日志数据往往是监督安全生产的主要凭据。对于安全管理平台的日志数据存储,保证其准确且完整是安全管理平台的重要环节,但日志数据随着时间的推移往往不断壮大,所需的存储空间往往越来越大,存储空间过大往往会影响服务器的运行。
[0003] 目前,对一段时间内的日志数据进行压缩存储时,往往采用常规的数据压缩存储方式,其中,常规的数据压缩存储方式可以为GZIP压缩存储方式。常规的数据压缩存储方式往往对各个日志数据一视同仁的进行存储,可能导致丢失重要的日志数据,并且,常规的数据压缩对于日志数据的适应能力欠缺,往往没有考虑各个日志数据的特殊性,往往影响日志数据的压缩效率,并且,可能会存储多个相同的日志数据,往往增加了存储空间的占用,往往增加了进行压缩存储的计算量,因此采用常规的数据压缩存储方式,对日志数据进行压缩存储的效率往往较低。

具体实施方式

[0019] 为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的技术方案的具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一个实施例。此外,一个或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
[0020] 除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0021] 本发明提供了一种基于智慧安全管理平台的日志数据存储方法,该方法包括以下步骤:获取连续时刻的智慧安全管理平台的日志数据,得到日志数据集合;
对日志数据集合中的每个日志数据进行重要程度分析处理,得到日志数据对应的重要程度;
根据日志数据集合中的各个日志数据对应的重要程度,对日志数据集合中的每个日志数据进行编码处理,得到日志数据对应的编码;
根据日志数据集合中的各个日志数据对应的编码,对日志数据集合中的日志数据进行分类压缩存储。
[0022] 下面对上述各个步骤进行详细展开:参考图1,示出了根据本发明的一种基于智慧安全管理平台的日志数据存储方法的一些实施例的流程。该基于智慧安全管理平台的日志数据存储方法,包括以下步骤:
步骤S1,获取连续时刻的智慧安全管理平台的日志数据,得到日志数据集合。
[0023] 在一些实施例中,可以获取连续时刻的智慧安全管理平台的日志数据,得到日志数据集合。
[0024] 其中,连续时刻可以是连续的一段时间。例如,连续时刻可以包括某一天的每一时刻,每一时刻可以是每一秒。
[0025] 作为示例,可以获取某一天的每一时刻的智慧安全管理平台的日志数据,得到日志数据集合。其中,日志数据可以包括工业设备在某一秒运行时的多个参数对应的字符串。例如,某参数可以是速度,在某一秒的速度可以是每秒钟16米,则该参数在这一秒对应的字符串可以为每秒钟16米。
[0026] 工业设备可以包括但不限于:脱硫设备、自动驾驶车辆和自动洗碗机。例如,当上述工业设备为脱硫设备时,日志数据可以包括:该脱硫设备在某一秒运行时的原烟气含量、浆液循环泵电流、PH值、浆液密度、浆液循环泵变频器频率和锅炉实际负荷。
[0027] 步骤S2,对日志数据集合中的每个日志数据进行重要程度分析处理,得到日志数据对应的重要程度。
[0028] 在一些实施例中,可以对上述日志数据集合中的每个日志数据进行重要程度分析处理,得到上述日志数据对应的重要程度。
[0029] 作为示例,本步骤可以包括以下步骤:第一步,对上述日志数据集合中的每个日志数据包括的各个字符串进行数据类型转换,将字符串转换为目标字符串,确定上述日志数据对应的目标日志数据,得到目标日志数据集合。
[0030] 其中,目标字符串对应的数据类型为数字型。
[0031] 例如,首先,可以将日志数据包括的数据型字符串,作为目标字符串。然后,可以通过ASCII(American StandardCode for Information Interchange,美国标准信息交换码)方式,将日志数据包括的文本型字符串转化为数据型字符串,作为目标字符串。接着,可以将包括的各个文本型字符串转化为数据型字符串的日志数据,作为该日志数据对应的目标日志数据。其中,目标日志数据由目标字符串组成。
[0032] 实际情况中,智慧安全管理平台日志数据中存储的数据主要为两部分,即设备运行对应的数据与人为操作对应的数据,相对应为:某人或设备在某时间发生了某种行为。进而在该日志数据中存储的数据往往为文本型数据与数字型数据,为了便于进行后期对数据的分布特点进行分析,将文本型数据转化为数字型数据。日志数据中存储的数据往往是字符串。
[0033] 第二步,根据上述目标日志数据集合,生成流式数据集合。
[0034] 其中,目标日志数据包括的各个目标字符串可以是同一时刻下不同参数对应的目标字符串。流式数据包括的各个目标字符串可以是不同时刻下相同参数对应的目标字符串。目标日志数据集合对应的时长可以等于流式数据对应的时长。例如,目标日志数据集合可以包括:第1秒的目标日志数据、第2秒的目标日志数据和第3秒的目标日志数据。则目标日志数据集合对应的时长为3秒。流式数据可以包括:某参数在第1秒时对应的目标字符串、该参数在第2秒时对应的目标字符串和该参数在第3秒时对应的目标字符串。
[0035] 第三步,对于上述流式数据集合中的每个流式数据,根据上述流式数据包括的各个目标字符串,确定上述流式数据包括的每个目标字符串对应的异常程度和趋势度。
[0036] 例如,本步骤可以包括以下子步骤:第一子步骤,从上述流式数据中筛选出与上述目标字符串表征含义相同的目标字符串,作为相同字符串,得到上述目标字符串对应的相同字符串集合。
[0037] 比如,流式数据可以为{1,2,1}。其中,该流式数据包括的第一个目标字符串为1,第二个目标字符串为1,第三个目标字符串为1。第一个目标字符串对应的相同字符串集合可以包括:第一个目标字符串和第三个目标字符串。第二个目标字符串对应的相同字符串集合可以包括:第二个目标字符串。第三个目标字符串对应的相同字符串集合可以包括:第一个目标字符串和第三个目标字符串。
[0038] 第二子步骤,根据上述目标字符串对应的相同字符串集合中相同字符串的数量,确定上述目标字符串对应的异常程度和趋势度。
[0039] 比如,确定目标字符串对应的异常程度和趋势度对应的公式可以为:其中, 是流式数据包括的第i个目标字符串对应的趋势度。 是流式数据包括的第i个目标字符串对应的异常程度。i是流式数据包括的目标字符串的序号。N是流式数据包括的目标字符串的数量。 是流式数据包括的第i个目标字符串对应的第一数量与第二数量的比值。流式数据包括的第i个目标字符串对应的第一数量可以是第i个目标字符串对应的相同字符串集合中相同字符串的数量。流式数据包括的第i个目标字符串对应的第二数量可以是该流式数据包括的目标字符串的数量。 是以大于1的数值为底数的的对数。exp( )是以自然常数为底的指数函数。
[0040] 实际情况中,当工业设备正常运行时,不同时刻下的相同参数往往对应含义相同的目标字符串。一般情况下,工业设备往往处于正常运行时间,异常运行的时间往往较少。因此,当表征含义相同的目标字符串出现次数越少时,这种目标字符串往往越可能为异常的字符串。由于流式数据包括的各个目标字符串是不同时刻下相同参数对应的目标字符串。所以,当流式数据包括的第i个目标字符串对应的第一数量与第二数量的比值 越小,并且第i个目标字符串所在的流式数据对应的信息熵 越小时,第i个目标字符串往往越可能为异常的字符串,流式数据包括的第i个目标字符串对应的异常程度 往往越大,流式数据包括的第i个目标字符串对应的趋势度 往往越小。第i个目标字符串对应的趋势度 可以表征第i个目标字符串为正常的字符串的趋势度。并且
可以使流式数据包括的第i个目标字符串对应的异常程度 的取值范围为[0,1],可以便于后续处理。
[0041] 第四步,根据各个目标字符串对应的异常程度,对每个目标字符串进行相关性分析,得到每个目标字符串对应的相关程度。
[0042] 例如,本步骤可以包括以下子步骤:第一子步骤,根据预先设置的异常阈值和上述目标日志数据集合中的每个目标日志数据包括的各个目标字符串对应的异常程度,对上述目标日志数据包括的目标字符串进行分类,得到上述目标日志数据对应的正常字符串集合和异常字符串集合。
[0043] 其中,异常阈值可以是预先设置的目标字符串正常时,所允许的最大的异常程度。如,异常阈值可以是0.6。正常字符串集合中的正常字符串可以是设备正常运行时,所产生的字符串。异常字符串集合中的异常字符串可以是设备未正常运行时,所产生的字符串。
[0044] 比如,本子步骤可以包括以下步骤:首先,当目标字符串对应的异常程度大于异常阈值时,将目标字符串确定为异常字符串。
[0045] 接着,当目标字符串对应的异常程度小于或等于异常阈值时,将目标字符串确定为正常字符串。
[0046] 然后,将上述目标日志数据包括的各个正常字符串,组合为上述目标日志数据对应的正常字符串集合。
[0047] 最后,将上述目标日志数据包括的各个异常字符串,组合为上述目标日志数据对应的异常字符串集合。
[0048] 第二子步骤,对于上述目标日志数据集合中的每个目标日志数据对应的正常字符串集合,将上述目标日志数据对应的正常字符串集合中的每个正常字符串对应的相关程度,设置为0。
[0049] 第三子步骤,对于上述目标日志数据集合中的每个目标日志数据对应的异常字符串集合,根据上述目标日志数据包括的目标字符串的数量和上述目标日志数据包括的异常字符串的数量,对每个异常字符串进行相关性分析,得到上述异常字符串对应的相关程度。
[0050] 比如,本子步骤可以包括以下步骤:首先,将上述目标日志数据集合中与上述目标日志数据相邻的预设数目个目标日志数据,组合为上述目标日志数据对应的相邻日志数据集合。
[0051] 其中,预设数目可以是预先设置的数目。如,预设数目可以是20。目标日志数据对应的相邻日志数据集合可以包括:该目标日志数据、在该目标日志数据之前的第一预设数目个的目标日志数据和在该目标日志数据之后的第二预设数目个的目标日志数据。第一预设数目可以等于第二预设数目。第二预设数目可以等于预设数目的一半。目标日志数据对应的相邻日志数据集合对应的时间段可以是该目标日志数据对应的范围时间段。如,目标日志数据对应的相邻日志数据集合可以包括:第一时刻的目标日志数据和第二时刻的目标日志数据。该目标日志数据对应的范围时间段可以包括:第一时刻和第二时刻。
[0052] 如,当在该目标日志数据之前不存在第一预设数目个的目标日志数据,可以将该目标日志数据之前的所有的目标日志数据作为该目标日志数据对应的相邻日志数据集合中的日志数据。当在该目标日志数据之后不存在第二预设数目个的目标日志数据,可以将该目标日志数据之后的所有的目标日志数据作为该目标日志数据对应的相邻日志数据集合中的日志数据。
[0053] 又如,目标日志数据集合可以包括:第一目标日志数据、第二目标日志数据和第三目标日志数据。预设数目可以为2。第一目标日志数据对应的相邻日志数据集合可以包括:第一目标日志数据和第二目标日志数据。第二目标日志数据对应的相邻日志数据集合可以包括:第一目标日志数据、第二目标日志数据和第三目标日志数据。第三目标日志数据对应的相邻日志数据集合可以包括:第二目标日志数据和第三目标日志数据。
[0054] 接着,根据上述目标日志数据包括的目标字符串的数量、上述目标日志数据包括的异常字符串的数量、上述目标日志数据对应的相邻日志数据集合包括的目标字符串的数量、上述目标日志数据对应的相邻日志数据集合包括的异常字符串的数量、预先设置的第一权重和第二权重,确定上述目标日志数据对应的日志相关程度。
[0055] 其中,第一权重和第二权重可以是预先设置的权重。第一权重可以是0.3。第二权重可以是0.7。第一权重与第二权重的和可以是1。
[0056] 如,确定目标日志数据对应的日志相关程度对应的公式可以为:其中,Rz是目标日志数据对应的日志相关程度。 是第一权重。 是第二权重。
是目标日志数据包括的异常字符串的数量。 是目标日志数据包括的目标字符串的数量。 是目标日志数据对应的相邻日志数据集合包括的异常字符串的数量。
是目标日志数据对应的相邻日志数据集合包括的目标字符串的数量。
[0057] 实际情况中,日志数据可以包括工业设备在同一时刻运行时的多个参数对应的字符串。在目标日志数据所在的时刻内,当出现的异常字符串越多时, 往往越大,该目标日志数据往往越可能发生了异常。在目标日志数据对应的范围时间段内,当出现的异常数据越多时, 往往越大,往往说明与该目标日志数据相邻的目标日志数据也可能发生了异常。因此,当 越大,并且 越大时,目标日志数据对应的日志相关程度Rz往往越大,该目标日志数据往往越重要。并且,设置第一权重和第二权重,可以使确定的日志相关程度更加符合实际情况。
[0058] 然后,将上述目标日志数据对应的日志相关程度,确定为上述目标日志数据包括的异常字符串对应的相关程度。
[0059] 又如,根据上述目标日志数据包括的目标字符串的数量和上述目标日志数据包括的异常字符串的数量,对每个异常字符串进行相关性分析,得到上述异常字符串对应的相关程度可以包括以下步骤:首先,将上述目标日志数据集合中与上述目标日志数据相邻的预设数目个目标日志数据,组合为上述目标日志数据对应的相邻日志数据集合。
[0060] 然后,从上述目标日志数据对应的相邻日志数据集合中筛选出与上述异常字符串表征含义相同的异常字符串,作为目标异常字符串,得到上述异常字符串对应的目标异常字符串集合。
[0061] 其中,目标异常字符串集合中的各个目标异常字符串可以是同一个参数对应的同一种异常的异常字符串。如,某参数可以是速度,设备正常运行时的速度为每秒钟10米,每秒钟15米为该设备异常运行时的速度值。则目标日志数据对应的相邻日志数据集合中所有表征每秒钟15米的异常字符串,组成表征每秒钟10米的异常字符串对应的目标异常字符串集合。
[0062] 如,目标日志数据对应的相邻日志数据集合可以包括3个异常字符串。目标日志数据对应的相邻日志数据集合可以为{6,6,8}。其中,该目标日志数据包括的第一个异常字符串为6,第二个异常字符串为6,第三个异常字符串为8。第一个异常字符串对应的目标异常字符串集合可以包括:第一个异常字符串和第二个异常字符串。第二个异常字符串对应的目标异常字符串集合可以包括:第一个异常字符串和第二个异常字符串。第三个异常字符串对应的目标异常字符串集合可以包括:第三个异常字符串。
[0063] 最后,根据上述异常字符串对应的目标异常字符串集合中异常字符串的数量、上述异常字符串所在的目标日志数据包括的目标字符串的数量、上述异常字符串所在的目标日志数据包括的异常字符串的数量、上述异常字符串所在的目标日志数据对应的相邻日志数据集合包括的目标字符串的数量、上述异常字符串所在的目标日志数据对应的相邻日志数据集合包括的异常字符串的数量、预先设置的第三权重、第四权重和第五权重,确定上述异常字符串对应的相关程度。
[0064] 其中,第三权重、第四权重和第五权重可以是预先设置的权重。第三权重可以是0.2。第四权重可以是0.4。第五权重可以是0.4。第三权重、第四权重与第五权重的和可以是
1。
[0065] 如,确定上述异常字符串对应的相关程度对应的公式可以为:其中,Rc是上述异常字符串对应的相关程度。 是第三权重。 是第四权重。
是第五权重。 是上述异常字符串所在的目标日志数据包括的异常字符串的数量。 是上述异常字符串所在的目标日志数据包括的目标字符串的数量。 是上述异常字符串所在的目标日志数据对应的相邻日志数据集合包括的异常字符串的数量。 是上述异常字符串所在的目标日志数据对应的相邻日志数据集合包括的目标字符串的数量。
是上述异常字符串对应的目标异常字符串集合中异常字符串的数量。
[0066] 实际情况中,日志数据可以包括工业设备在同一时刻运行时的多个参数对应的字符串。在异常字符串所在的目标日志数据所在的时刻内,当出现的异常字符串越多时, 往往越大,该异常字符串所在的目标日志数据往往越可能发生了异常。在异常字符串所在的目标日志数据对应的范围时间段内,当出现的异常数据越多时, 往往越大,往往说明与该异常字符串所在的目标日志数据相邻的目标日志数据也可能发生了异常。当异常字符串对应的目标异常字符串集合中异常字符串的数量越多时, 往往越大。因此,当 越大,越大,并且 越大时,异常字符串对应的相关程度Rc往往越大,该异常字符串往往越重要。并且,设置第三权重、第四权重和第五权重,可以使确定的异常字符串对应的相关程度更加符合实际情况。综合考虑 、 、 、第三权重、第四权重和第五权重,提高了异常字符串对应的相关程度确定的准确度。
[0067] 第五步,对于上述目标日志数据集合中的每个目标日志数据,根据上述目标日志数据包括的各个目标字符串对应的趋势度和相关程度,确定上述目标日志数据对应的重要程度。
[0068] 例如,本步骤可以包括以下子步骤:第一子步骤,根据目标字符串对应的趋势度和相关程度,确定目标字符串对应的字符重要程度。
[0069] 比如,确定目标字符串对应的字符重要程度对应的公式可以为:其中, 是目标日志数据包括的第q个目标字符串对应的字符重要程度。q是目标日志数据包括的目标字符串的序号。exp( )是以自然常数为底的指数函数。 是目标日志数据包括的第q个目标字符串对应的相关程度。 是目标日志数据包括的第q个目标字符串对应的趋势度。
[0070] 实际情况中,当目标日志数据包括的第q个目标字符串对应的相关程度 越大,并且目标日志数据包括的第q个目标字符串对应的趋势度 越小时,目标日志数据包括的第q个目标字符串对应的字符重要程度 往往越大。并且 可以使第q个目标字符串对应的字符重要程度的取值范围为[0,1],可以便于后续处理。
[0071] 第二子步骤,根据上述目标日志数据包括的各个目标字符串对应的字符重要程度和预先设置的各个目标字符串对应的目标权重,确定上述目标日志数据对应的重要程度。
[0072] 其中,目标权重可以是预先设置的权重。目标字符串对应的目标权重可以等于1与该目标字符串所在的目标日志数据包括的目标字符串的数量的比值。
[0073] 比如,确定目标日志数据对应的重要程度对应的公式可以为:其中,DR是目标日志数据对应的重要程度。m是目标日志数据中目标字符串的数量。 是目标日志数据包括的第q个目标字符串对应的字符重要程度。 是目标日志数据包括的第q个目标字符串对应的目标权重。q是目标日志数据包括的目标字符串的序号。
[0074] 实际情况中,当目标日志数据包括的各个目标字符串对应的字符重要程度越大时,目标日志数据对应的重要程度DR往往越大。并且为目标日志数据包括的各个目标字符串设置目标权重,可以使确定的目标日志数据对应的重要程度DR更加符合实际情况。
[0075] 第六步,对于上述日志数据集合中的每个日志数据,将上述日志数据对应的目标日志数据对应的重要程度,确定为上述日志数据对应的重要程度。
[0076] 步骤S3,根据日志数据集合中的各个日志数据对应的重要程度,对日志数据集合中的每个日志数据进行编码处理,得到日志数据对应的编码。
[0077] 在一些实施例中,可以根据上述日志数据集合中的各个日志数据对应的重要程度,对上述日志数据集合中的每个日志数据进行编码处理,得到上述日志数据对应的编码。
[0078] 作为示例,本步骤可以包括以下步骤:第一步,根据上述日志数据集合中的各个日志数据对应的重要程度,对上述日志数据集合中的日志数据进行排序,得到日志数据组序列。
[0079] 其中,日志数据组中的各个日志数据对应的重要程度可以相同。
[0080] 第二步,对上述日志数据组序列中的每个日志数据组中的每个日志数据进行霍夫曼编码,得到上述日志数据对应的编码。
[0081] 例如,不同日志数据和日志数据对应的重要程度可以如表1所示。
[0082] 表1时刻 ... n‑4 n‑3 n‑2 n‑1 n n+1 n+2 n+3 ...
重要程度 ... 0 2 0.6 0.6 1 1.5 0 0 ...
由表1可以看出,第n‑4时刻下的日志数据对应的重要程度为0,第n‑3时刻下的日志数据对应的重要程度为2,第n‑2时刻下的日志数据对应的重要程度为0.6,第n‑1时刻下的日志数据对应的重要程度为0.6,第n时刻下的日志数据对应的重要程度为1,第n+1时刻下的日志数据对应的重要程度为1.5,第n+2时刻下的日志数据对应的重要程度为0。实际情况中,重要程度为0的日志数据往往为正常的日志数据,由于,正常的日志数据往往是工业设备正常运行时收集的数据,工业设备正常运行时产生的数据往往相同,所以重要程度为0的日志数据往往相同。因此,为了减少后续编码和压缩存储所需要的计算量,往往可以从多个重要程度为0的日志数据中筛选出一个重要程度为0的日志数据,并对该日志数据数据编码,后续可以存储该日志数据,用于代表收集的多个重要程度为0的日志数据,即收集的多个重要程度为0的日志数据中只需存储其中的一个,可以减少存储空间的占用。比如,可以用第n+2时刻下的日志数据代表多个重要程度为0的日志数据,对这些时刻下的日志数据进行霍夫曼编码时的编码过程图可以如图2所示。由图2可知第n‑3时刻下的日志数据对应的编码为0,第n‑2时刻下的日志数据对应的编码为11110,第n‑1时刻下的日志数据对应的编码为1110,第n时刻下的日志数据对应的编码为110,第n+1时刻下的日志数据对应的编码为
10,第n+2时刻下的日志数据对应的编码为111110。由于采用第n+2时刻下的日志数据代表了重要程度为0的日志数据,所以后续可以不用存储第n‑4、n+3时刻下的日志数据,因此没必要对这两个时刻下的日志数据进行编码。
[0083] 在智慧安全管理平台的日志数据中,不同时刻的重要程度往往不同,可以根据重要程度对日志数据进行霍夫曼编码,对于重要程度较高且保存价值较高的日志数据使用短码来表示,提升压缩速率的同时,可以避免信息的丢失。相对于重要程度不高且保存价值较低的日志数据用长码来表示,由于重要程度不高,信息丢失相对影响不大。这样便有效的保护了重要日志数据的准确性,提高了对重要数据的压缩速率。
[0084] 步骤S4,根据日志数据集合中的各个日志数据对应的编码,对日志数据集合中的日志数据进行分类压缩存储。
[0085] 在一些实施例中,可以根据上述日志数据集合中的各个日志数据对应的编码,对上述日志数据集合中的日志数据进行分类压缩存储。
[0086] 作为示例,可以将编码相同的日志数据,压缩存储为一类。
[0087] 作为再一示例,将重要程度相同的日志数据,压缩存储为一类。
[0088] 作为又一示例,根据重要程度对智慧安全管理平台上的连续时间的一个重要程度为0的日志数据和各个重要程度非0的日志数据进行霍夫曼编码后,将重要程度为0的日志数据对应的编码存储为第一类。将智慧安全管理平台上除了第一类日志数据之外的日志数据按照日志数据对应的时间进行拼接,将这些日志数据对应的编码储存为第二类。其中,第一类与第二类的间隔为一个空格。至此,对于日志数据进行压缩的同时优化了其存储方式。在解码时,只需对第二类进行逐一解码,遇见空格时,自动填充第一类对应编码即可。并且重要程度为0的日志数据对应的长编码只需存储一个,可以减少存储空间的占用。
[0089] 综上,每一个参数随着时间推移往往对应一个流式数据,不同的参数对应的流式数据包括的字符串往往会有所不同,而对于安全管理平台的日志数据,记录的往往为整个企业运行的数据,企业往往处于正常运行时间,异常运行的时间往往较少。而企业处于正常运行时存储的日志数据的重要性往往不高,异常运行时存储的日志数据往往才具有分析价值,异常运行时存储的日志数据往往比较重要。并且,与该日志数据相邻的日志数据越异常,该日志数据往往越重要,进而通过日志数据包括的异常字符串,可以对日志数据的重要性进行衡量,根据数据的重要程度进行编码,重要的数据编码短,使得丢失信息的概率较小且压缩率高,再对编码后的结果进行数据压缩且对日志数据的存储方式进行优化。
[0090] 本发明的一种基于智慧安全管理平台的日志数据存储方法,通过对日志数据进行数据处理,解决了对日志数据进行压缩存储的效率低下的技术问题,提高了对日志数据进行压缩存储的效率。首先,获取连续时刻的智慧安全管理平台的日志数据,得到日志数据集合。实际情况中,往往将连续时刻的日志数据进行压缩存储,例如,往往将一天的日志数据压缩存储为一个日志文件。因此,获取日志数据集合,可以便于后续对日志数据集合中的日志数据进行压缩存储。接着,对上述日志数据集合中的每个日志数据进行重要程度分析处理,得到上述日志数据对应的重要程度。实际情况中,由于日志数据可以包括工业设备在某一秒运行时的多个参数对应的字符串。所以日志数据集合中的每个日志数据往往对应一个时刻。不同时刻下的日志数据对应的重要程度往往不同,因此确定每个日志数据对应的重要程度,可以便于后续根据日志数据对应的重要程度,对日志数据进行压缩存储。然后,根据上述日志数据集合中的各个日志数据对应的重要程度,对上述日志数据集合中的每个日志数据进行编码处理,得到上述日志数据对应的编码。可以便于后续根据日志数据对应的重要程度,对日志数据进行压缩存储。最后,根据上述日志数据集合中的各个日志数据对应的编码,对上述日志数据集合中的日志数据进行分类压缩存储。因此,本发明通过对日志数据进行数据处理,能够根据管理平台日志数据对应的不同重要程度,对日志数据进行相对应的编码,使得重要程度高的日志数据的编码短且压缩速率高,可以减少重要程度较高的日志数据的丢失,并且针对性的优化日志数据的存储结构,这样对日志数据进行有效的压缩存储的同时,改善了日志数据存储结构,便于后续相关人员对日志数据进行检索与分析,解决了对日志数据进行压缩存储的效率低下的技术问题,提高了对日志数据进行压缩存储的效率。
[0091] 以上上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围,均应包含在本申请的保护范围之内。

当前第1页 第1页 第2页 第3页