技术领域
[0001] 本发明属于数据处理技术领域，尤其是涉及一种基于实时计算数据标准化处理引擎及处理方法。
相关背景技术
[0002] 随着大数据技术发展，数字服务应用在生活的方方面面，数据量急剧暴增且数据结构不固定，如何快速归整出统一数据结构是一个问题。当前最常见解决办法是针对特定数据结构开发固定数据清洗任务，随着接入数据种类增加，清洗任务随之增加。
具体实施方式
[0013] 以下结合附图及具体实施例，对本发明作进一步的详细说明。
[0014] 如图1所示，一种基于实时计算数据标准化处理引擎，包括：规则匹配模块1，所述规则匹配模块1用于依据传入消息头信息与已配置规则匹配消息与规则；规则配置模块2，所述规则配置模块2用于管理规则配置信息；规则编译模块3，所述规则编译模块用于将规则编译成字节码BYTECODE，加快执行速度；规则执行模块4，所述规则执行模块用于将输入的消息输出清洗后结果；规则链模块5，多个规则组成规则链，所述规则链模块用于对规则链的每一个规则进行规则处理。
[0015] 所述规则配置模块2管理的规则配置信息包括字典映射规则、列表规则、赋值规则、时间规则、聚合规则。所述字典映射规则是指通过一个值映射到一个另一个值，例如： F->女，M->男；所述列表规则是指将数组转成多条记录，例如：源订单数据里有多个商品，通过列表规则将数组转化成多条商品记录；所述赋值规则是指将某个属性值加工处理赋值给另一个属性；所述时间规则是指对时间进行各类型格式化例如：将时间戳转化为日期格式，1577808000000->2020-01-01 00:00:00；所述聚合规则是指对一个数组字段进行聚合，并将聚合结果值赋给另一个字段，例如：订单数据包含3个子订单的数组，子订单价格分别是
30、60 、120，采用聚合规则的平均值，则计算子订单评价价格为(30+60+120)/3=70。
[0016] 如图2所示，本发明还提供了一种基于实时计算数据标准化处理方法，包括以下步骤：S1.判断传入消息头信息与规则是否匹配，若头信息与规则匹配，则通过规则匹配模块
1匹配头消息与规则，然后执行步骤S2，若头信息与规则不匹配，则结束数据处理；
S2.判断规则链缓存是否存在，若规则链缓存存在，则执行步骤S4，若规则链缓存不存在，则执行步骤S3；
S3.编译规则并缓存，以构建规则链，规则链生成后执行步骤S4；
S4.迭代规则链并执行规则链标准化。
[0017] 采用上述技术方案后，本发明具有如下优点：本发明的基于实时计算数据标准化处理引擎，能够通过配置化方式解决统一数据结构规整的问题，将传入消息头与规则信息进行匹配，构成规则链并缓存和执行，能够实现数据的统一规整。
[0018] 除上述优选实施例外，本发明还有其他的实施方式，本领域技术人员可以根据本发明作出各种改变和变形，只要不脱离本发明的精神，均应属于本发明所附权利要求所定义的范围。
