首页 / 一种数据梳理溯源方法、装置、设备及可读存储介质

一种数据梳理溯源方法、装置、设备及可读存储介质实质审查 发明

技术领域

[0001] 本申请涉及数据处理技术领域,尤其涉及一种数据梳理溯源方法、装置、设备及可读存储介质。

相关背景技术

[0002] 随着互联网技术的发展,政务部门对业务办理的数据系统也开始更新换代,但是不同业务部门之间的数据系统的更新换代的效率往往无法达到统一,且各业务部门之间对数据处理的操作流程与制度或多或少都存在着差异,导致不同业务部门之间的数据传递存在异常,但现有技术又无法及时准确的查找出异常数据产生的数据源,从而无法有效对异常数据进行处理。

具体实施方式

[0016] 为使得本申请的发明目的、特征、优点能够更加的明显和易懂,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而非全部实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0017] 为了解决相关技术中无法及时准确的查找出异常数据产生的数据源的问题,本申请实施例提供了一种数据梳理溯源方法,如图1为本实施例提供的数据梳理溯源方法的流程示意图,该数据梳理溯源方法包括以下的步骤:步骤110、获取目标终端接收的目标传输数据。
[0018] 具体的,在本实施例中,数据监测服务器将实时监测各业务部门之间的数据传输,各部门之间的数据传输都需要经过数据监测服务器进行中转,目标终端为与数据监测服务器连接的业务处理终端,在业务数据传输的过程中,数据监测服务器将获取目标终端接收的目标传输数据。
[0019] 步骤120、判断目标传输数据是否为存在异常。
[0020] 具体的,在本实施例中,数据监测服务器在获取到目标传输数据之后,根据目标终端预设的数据检测机制判断目标传输数据是否存在异常,可以理解的是,不同业务部门对数据的敏感程度不同,因此不同部门之间的数据检测机制也不相同,在上一流程的业务处理终端的正常数据传输到下一流程的业务处理终端时可能就被检测为异常数据,或者由于不同业务处理终端的更新版本不一致,导致版本落后的业务处理终端无法检测出异常数据,因此在接收到目标传输数据时,需要对目标传输数据进行检测。
[0021] 在本实施例一种可选的实施方式中,判断目标传输数据是否为存在异常的步骤,包括:将目标传输数据与预设异常数据库进行比对;当预设异常数据库中存在与目标传输数据的相似度高于预设阈值的存储数据时,确定目标传输数据为异常数据。
[0022] 具体的,在本实施例中,预设异常数据库由国家安全信息漏洞库以及历史异常数据信息构成,其中,国家安全信息漏洞库内包含大量已知的漏洞信息,可以有效提高对包含网络安全攻击数据的异常数据的识别与防护能力,而异常数据还包括但不限于目标终端不兼容的传输数据以及数据丢失的传输数据,在数据监测服务器监测过程中,将目标传输数据与预设异常数据库进行比对,当预设异常数据库中存在与目标传输数据的相似度高于预设相似度阈值的存储数据时,确定目标传输数据为异常数据,可以理解的是,当目标传输数据中存在网络安全攻击数据时,在与异常数据库进行识别时,比对相似度应当是百分之百,而其他的异常数据在不同时刻监测时,数据可能发生变更,使得比对的相似度无法达到百分之百,因此根据相似度阈值对异常数据进行判断,可以提高异常数据识别的准确性。
[0023] 步骤130、当目标传输数据为异常数据时,识别异常数据的数据标识。
[0024] 具体的,数据标识是指为数据赋予独一无二的标识符,以便在大量数据中快速定位和识别特定的数据。在本实施例中,数据传输过程中,对不同业务部门产生的初始传输数据添加数据标识,数据监测服务器在接收到不同业务部门的输出数据后,检测输出数据中是否存在数据标识,当不存在数据标识是,则确定该输出数据为初始传输数据,使得不同业务部门接收到的目标传输数据都存在数据标识,当检测到目标传输数据为异常数据时,数据监测服务器会对异常数据进行识别,确定异常数据中所包含的数据标识,根据该数据标识即可对异常数据进行溯源。
[0025] 步骤140、根据数据标识确定异常数据的初始输出终端。
[0026] 具体的,在本实施例中,获取所有包含数据标识的传输数据,并确定各传输数据对应的输出终端,并获取输出终端输出传输数据的时间节点,根据该时间节点确定输出异常数据的时间节点最早的终端为初始输出终端。
[0027] 在本实施例一种可选的实施方式中,根据数据标识确定异常数据的初始输出终端的步骤,包括:获取各终端的传输数据,并确定传输数据中包含数据标识的第一传输数据;根据第一传输数据生成目标数据集合;将异常数据在目标数据集合中进行比对,确定异常数据的初始输出终端。
[0028] 具体的,在本实施例中,获取各终端的传输数据,根据数据标识确定实施传输数据中包含数据标识的第一传输数据,并根据获取的第一传输数据生成目标数据集合,可以理解的是,第一传输数据为各终端中包含数据标识的所有传输数据的统称,将异常数据与目标数据集合中的所有第一传输数据进行比对,在第一传输数据中确定与异常数据一致的第二传输数据,此时由于不同部门的业务处理终端之间对异常数据的传输,第二传输数据也可能存在多个,因此获取第二传输数据对应的输出时刻,确定输出时刻最早的第二传输数据为异常数据的源数据,并确定发送源数据的初始输出终端。
[0029] 在本实施例一种可选的实施方式中,确定异常数据的初始输出终端的步骤之后,还包括:获取初始输出终端的输入数据和输出数据;将输入数据与输出数据进行比对,判断输入数据与输出数据是否一致;当输入数据与输出数据一致时,确定异常数据由外部因素造成;当输入数据与输出数据不一致时,确定异常数据由内部因素造成。
[0030] 具体的,在确定了异常数据的初始输出终端之后,就需要对异常数据的产生原因进行判断,而在本实施例中,获取初始输出终端的输入数据和输出数据,将输入数据与输出数据进行比对,判断输入数据与输出数据是否一致,当输入数据与输出数据一致时,表示在初始输出终端上并没有对数据进行更改而导致异常因素的产生,因此初始输出终端接收的输入数据本身就是异常数据,但是在数据传输过程中并没有检测出来,且在上一业务流程对应终端的输出数据中并未检测出异常数据,因此可以确定异常数据由外部因素造成。反之,当输入数据与输出数据不一致时,表示在初始输出终端上对输入数据进行了修改,从而产生了异常数据,因此确定异常数据由内部因素造成。
[0031] 在本实施例一种可选的实施方式中,当输入数据与输出数据一致时,确定异常数据由外部因素造成的步骤之后,还包括:检测异常数据的数据类型;当异常数据为安全漏洞数据时,向初始输出终端发送漏洞修补提示。
[0032] 具体的,在本实施例中,当确定异常数据由外部因素造成之后,对异常数据的数据类型进行检测,可以理解的是,外部因素包括但不限于安全漏洞攻击和人为修改传输数据等,当检测到异常数据的数据类型为安全漏洞数据时,确定初始输出终端以及初始输出终端与目标终端之间的其他终端都存在对应安全漏洞,但初始输出终端以及其他终端并未检测出安全漏洞,因此需要根据安全漏洞数据的安全漏洞类型向初始输出终端以及其他终端发送漏洞修补提示。而当异常数据不是安全漏洞数据时,数据在传输过程中被人为修改数据参数,导致产生异常数据,因此需要向初始输出终端发送数据异常提示,提高初始输出终端的数据防篡改能力,保护数据传输的安全性。
[0033] 在本实施例一种可选的实施方式中,确定异常数据由内部因素造成的步骤之后,还包括:获取初始输出终端的操作流程;根据操作流程判断输入数据与输出数据不一致的影响因素;当存在对输入数据的修改操作时,判断修改操作是否为安全操作;当修改操作为安全操作时,将异常数据添加至白名单;或,当不存在对输入数据的修改操作时,向初始输出终端发送漏洞修补提示。
[0034] 具体的,在本实施例中,当确定异常数据由内部因素造成之后,获取初始输出终端的操作流程,根据传输数据在初始输出终端上的操作流程,判断导致输入数据和输出数据不一致的影响因素,可以理解的是,在数据监测服务器监管下的各业务处理终端,在执行流程操作时,都会将相应的操作形成操作日志上传至数据监测服务器,当输入数据与输出数据不一致时,检测初始输出终端的操作流程,当初始输出终端存在对输入数据的修改操作导致输出数据发生改变时,判断该修改操作是否为安全操作,例如,初始输出终端的输入数据中存在泄漏隐私的风险数据,那么初始输出终端可能会对风险数据进行拦截,从而导致输入数据和输出数据不一致,但该操作流程实际上属于安全操作。当确定操作流程为安全操作时,将异常数据添加至白名单,使得异常数据变更为可信任数据,在后续接收目标传输数据时,再遇到此类数据则不会提示异常。或,当初始输出终端上不存在对输入数据的修改操作时,则确定输入数据在初始输出终端上被非常规手段进行篡改,从而导致输入数据与输出数据不一致,此时需要向初始输出终端发送漏洞修补提示,提示初始输出终端可能存在安全漏洞需要修复。
[0035] 可选的,在本实施例中,检测产生异常数据的修改操作所修改数据的数据类型,即将修改前的数据与修改后的数据进行比对,确定修改操作所修改的数据,再检测修改数据的数据类型,当修改数据为敏感数据时,对敏感数据进行加密,其中,加密方式包括但不限于对称加密,各业务处理终端保存一个共同的密钥,通过该密钥对敏感数据进行加密解密,例如DES、3DES、AES、IDEA、RC4以及RC5等加密算法,同时将加密后的敏感数据根据对应的修改操作将数据添加至异常数据中,使异常数据重新修改为初始输出终端的输入数据,此时异常数据变化为正常数据,防止在数据修改后将输出数据传输至下一业务处理终端时,又将该输出数据判定为异常数据。
[0036] 基于上述申请的实施例方案,获取目标终端接收的目标传输数据;判断目标传输数据是否为存在异常;当目标传输数据为异常数据时,识别异常数据的数据标识;根据数据标识确定异常数据的初始输出终端。通过本申请方案的实施,当目标终端接收到的目标传输数据存在异常时,根据异常数据的数据标识在数据传输过程中向上进行溯源,确定异常数据的初始输出终端,从而在初始输出终端上确定异常数据的产生原因,提高异常数据的处理效率。
[0037] 图2为本申请实施例提供的一种数据梳理溯源装置,该数据梳理溯源装置可用于实现前述实施例中的数据梳理溯源方法。如图2所示,该数据梳理溯源装置主要包括:获取模块201,用于获取目标终端接收的目标传输数据;
判断模块202,用于判断目标传输数据是否为存在异常;
识别模块203,用于当目标传输数据为异常数据时,识别异常数据的数据标识;
确定模块204,用于根据数据标识确定异常数据的初始输出终端。
[0038] 在本实施例一种可选的实施方式中,判定模块具体用于:将目标传输数据与预设异常数据库进行比对;其中,预设异常数据库由国家安全信息漏洞库以及历史异常数据信息构成;当预设异常数据库中存在与目标传输数据的相似度高于预设阈值的存储数据时,确定目标传输数据为异常数据。
[0039] 在本实施例一种可选的实施方式中,确定模块具体用于:获取各终端的传输数据,并确定传输数据中包含数据标识的第一传输数据;根据第一传输数据生成目标数据集合;将异常数据在目标数据集合中进行比对,确定异常数据的初始输出终端。
[0040] 进一步的,在本实施例一种可选的实施方式中,获取模块还用于:获取初始输出终端的输入数据和输出数据。判断模块还用于:将输入数据与输出数据进行比对,判断输入数据与输出数据是否一致。确定模块还用于:当输入数据与输出数据一致时,确定异常数据由外部因素造成;当输入数据与输出数据不一致时,确定异常数据由内部因素造成。
[0041] 再进一步的,在本实施例一种可选的实施方式中,该数据梳理溯源装置还包括:检测模块、发送模块。检测模块用于:检测异常数据的数据类型。发送模块用于:当异常数据为安全漏洞数据时,向初始输出终端发送漏洞修补提示。
[0042] 再进一步的,在本实施例另一种可选的实施方式中,该数据梳理溯源装置还包括:添加模块。获取模块还用于:获取初始输出终端的操作流程。判断模块还用于:根据操作流程判断输入数据与输出数据不一致的影响因素;当存在对输入数据的修改操作时,判断修改操作是否为安全操作。添加模块用于:当修改操作为安全操作时,将异常数据添加至白名单。发送模块用于:当不存在对输入数据的修改操作时,向初始输出终端发送漏洞修补提示。
[0043] 进一步的,在本实施例一种可选的实施方式中,该数据梳理溯源装置还包括:加密模块。检测模块还用于:检测修改操作对应修改数据的数据类型。加密模块用于:当修改数据为敏感数据时,对敏感数据进行加密,并将加密后的敏感数据根据修改操作逆向添加至异常数据。
[0044] 根据本申请方案所提供的数据梳理溯源装置,获取目标终端接收的目标传输数据;判断目标传输数据是否为存在异常;当目标传输数据为异常数据时,识别异常数据的数据标识;根据数据标识确定异常数据的初始输出终端。通过本申请方案的实施,当目标终端接收到的目标传输数据存在异常时,根据异常数据的数据标识在数据传输过程中向上进行溯源,确定异常数据的初始输出终端,从而在初始输出终端上确定异常数据的产生原因,提高异常数据的处理效率。
[0045] 图3为本申请实施例提供的一种电子设备。该电子设备可用于实现前述实施例中的数据梳理溯源方法,主要包括:存储器301、处理器302及存储在存储器301上并可在处理器302上运行的计算机程序303,存储器301和处理器302通过通信连接。处理器302执行该计算机程序303时,实现前述实施例中的数据梳理溯源方法。其中,处理器的数量可以是一个或多个。
[0046] 存储器301可以是高速随机存取记忆体(RAM,Random Access Memory)存储器,也可为非不稳定的存储器(non‑volatile memory),例如磁盘存储器。存储器301用于存储可执行程序代码,处理器302与存储器301耦合。
[0047] 进一步的,本申请实施例还提供了一种计算机可读存储介质,该计算机可读存储介质可以是设置于上述各实施例中的电子设备中,该计算机可读存储介质可以是前述图3所示实施例中的存储器。
[0048] 该计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现前述实施例中的数据梳理溯源方法。进一步的,该计算机可存储介质还可以是U盘、移动硬盘、只读存储器(ROM,Read‑Only Memory)、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0049] 在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0050] 作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0051] 另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
[0052] 集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个可读存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的可读存储介质包括:U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0053] 需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本申请所必须的。
[0054] 在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
[0055] 以上为对本申请所提供的数据梳理溯源方法、装置、设备及可读存储介质的描述,对于本领域的技术人员,依据本申请实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

当前第1页 第1页 第2页 第3页