技术领域
[0001] 本发明涉及企业数据实时交换技术领域，具体涉及一种数据融合平台。
相关背景技术
[0002] 数据服务交换和服务工具作为一体化数据治理和共享平台一个重要组成部分,包含了数据采集服务、数据交换服务、数据加工服务、数据共享服务等模块。数据交换和服务工具采用面向微服务的插座式架构，实现数据交换、数据整合、数据复制、数据传输、数据共享等功能。支持跨组织、跨网段、跨区域、上下级组织之间海量数据交换和服务、适应基于前置机、逻辑隔离的数据交换和服务等多种应用场景，数据总线能够确保数据完整性、安全性、可靠性和传输性能，能够提升数据质量与及应用价值，为数据需求部门提供准确可用的数据。
[0003] 传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换，当一个环节出现问题时易造成数据不一致；当采用异步交换方式时，异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象；当采用同步的交换方式时，同步交换机制在交换数据量比较大，需要传输或者装载时间比较长时，易造成通讯挂起、堵塞等现象。
具体实施方式
[0018] 下面将结合本发明的附图，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019] 根据图1所示，一种数据融合平台，其包括:数据发布模块，所述数据发布模块与数据源连接，用于获取数据；数据加工模块，所述数据加工模块与所述数据发布模块连接，用于对获取数据进行数据加工包含数据清洗、过滤、加密、编排、拆表、和表等；策略分配模块，所述策略分配模块与所述数据加工模块连接，用于对加工后的数据进行追加更新策略，定义数据流向；数据订阅模块，所述数据订阅模块与目标终端连接，用于输出结果数据。
[0020] 该数据融合平台实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。其状态监听器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通，跨网段情况下的大数据量的交换能力强。
[0021] 其平台架构包括：数据接入层，所述数据接入层包括数据库、数据接口、消息队列、文件、SQL、ZCBUS SDK、第三方插件；管理服务层，所述管理服务层包括：发布管理、ETL管理、产品管理、产品分配、订阅管理、系统自检、模板管理、容器管理、可用管理、拓补图服务；容器服务层，所述容器服务层包括：数据发布服务、ETL服务、数据对比服务、数据订阅服务、自检服务、系统解耦服务；数据基础层，所述数据基础层包括：MYSQL、KAFKA缓存数据存储层。
[0022] 该数据融合平台中包括数据捕获&发布组件，并且支持异构、跨中心数据交换，其异构数据结构自动适配；支持各种数据库DDL解析，各种数据库DDL语句转换，包括创建表、修改表、删除表，以及表上约束、索引；支持表上任何索引创建修改等操作，在异构数据库之间任意传输，保证数据能够正常安全的复制到不同的目标中；支持基础平台SQL语句随数据库选择自动转换方式，
[0023] 数据融合平台兼容性：
[0024] 支持关系型数据库:ORACLE\MYSQL\SQLSERVER\POSTGRESQL\DB2\SYBASE\OPENGUESS\GBASE\OCEA NBASE\TDSQL\POLARDB\RDS MYSQL\RDS SQLSERVER；
[0025] 支持集群数据库:GREENPLUM\华为DWS\阿里RDS\ANALYTICDB\POLARDB；
[0026] 支持非关系型数据库:MONGODB\REDIS\HBASE\HIVE\ELASTICSEARCH；
[0027] 支持消息队列:KAFKA\ROCKETMQ\RABBITMQ\ACTIVEMQ；
[0028] 支持数据接口:RUSTFULAPI；
[0029] 支持SDK集成。
[0030] 数据交换过程中的数据加工；数据交换过程中的数据加工，实现如下加工能力：多种数据转换方法：包括字符串转换、字段赋值、时间类转换、数据比对与翻译、数学运算、身份证格式转换；交换过程中的数据质量检查，根据数据逻辑判断规则，将干净的数据装载到目标中，将判断有问题的数据路由到数据库表或者数据文件中；多种逻辑处理，包括：格式匹配检查、字符串逻辑检查、内容为空检查、重复记录检查、范围内检查、表表外键关联检查、逻辑检查、复合逻辑检查、自定义逻辑检查等；支持SQL语句验证，可支持SQL语句在任何数据库，任何节点中执行，保证业务能够尽可能的扩展到支持各种相适应业务逻辑，更有效的保证业务正常运行；SQL CACHE功能，针对某些SQL，可能存在数据映射匹配等关系，可以支持SQL查询之后的结果，在内存中缓存，减少对校验库压力，并且能够有效的提高数据验证效率。
[0031] 该平台具备数据共享模型溯源；针对每个共享出去的表，ETL转换模型，以及应用的目的地，进行表应用流程溯源，保证每个表从任何一个节点，均能找到其来源以及预计输送目标；实现数据多对一，一对多，多对多的数据复制，消息合并，数据合并，增加辅助消息功能；核心功能：数据集中复制、分发订阅、重新整理；在数据溯源的过程中，能很快的知道那个表传输到几个目标端，以及某些从哪个地方过来的，经过几次流转之后到达的；可以根据设置条件，找到某条数据信息的变化轨迹；在缓存中，检索某些具体数据变化轨迹，以及变化轨迹的数据以及存放到那些目标对象中。
[0032] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
