技术领域
[0001] 本发明涉及一种面向气象分析与服务的气象数据中台框架。
相关背景技术
[0002] 当前的通用型数据中台技术，多偏向出来商业服务中的业务逻辑，删除处理库表型的数据。对气象数据中常用的多维空间预报数据等缺少针对性的解决方法，对气象数据环境中设计的上下部门、跨系统、跨网络的环境条件也缺少针对性的解决方案。在气象数据处理场景中，使用通用型的数据中台，往往造成系统结构的臃肿，大部门模块不适用，一部分网络和资源浪费，同时由于没有针对气象数据的特点发挥中台优势，在配置遍历性，可重复利用上难以达到中台的建设预期。
具体实施方式
[0025] 以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。
[0026] 在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。
[0027] 除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0028] 实施例
[0029] 参阅图1所示，一种面向气象分析与服务的气象数据中台框架，包括有：
[0030] 渠道工具集模块，用于提供统一的输入输出协议封装、过程监控和资源管理；
[0031] 输入核心接口模块，用于面向国家级、省级数据源进行接口二次封装，统一管理接口的使用、账号分配、测试数据；
[0032] 输入扩展接口模块，用于面向地市级、区级单位，提供本地观测数据、服务数据、地理信息数据的调取；
[0033] 输出管理模块，用于管理气象数据产品的分发渠道，包括FTP、邮件、短信、报文、数据库渠道；
[0034] 气象数据产品组件管理模块，建立在操作系统虚拟机之上，用于提供分布式一致环境的JAVA、Python多语言支持；
[0035] 气象数据产品生命周期管理模块，用于实现气象数据产品的溯源和全生命周期可控；
[0036] 气象数据中台管理可视化模块，用于提供可视化的操作界面，实现产品加工任务配置、任务监控、产品溯源查询、平台注册组件查询和在线组件调试。
[0037] 通过渠道工具集模块，提供统一的输入输出协议封装，使得各个模块之间可以方便地进行数据交换和共享；渠道工具集模块还负责资源管理和过程监控，可以有效地管理系统的运行状态、资源分配和任务调度，保证系统的高效运行。
[0038] 输入核心接口模块和输入扩展接口模块可以灵活地管理不同级别的数据源接口，包括国家级、省级、地市级和区级单位的数据接口，统一管理接口的使用、账号分配和测试数据；输出管理模块可以管理气象数据产品的多种分发渠道，包括FTP、邮件、短信、报文和数据库渠道，实现数据产品的灵活分发和共享。
[0039] 气象数据产品组件管理模块建立在操作系统虚拟机之上，提供分布式一致环境的JAVA、Python多语言支持，方便开发人员进行组件开发和管理；气象数据产品生命周期管理模块可以实现气象数据产品的溯源和全生命周期可控，包括产品的生成、修改、发布和过期等环节的管理。
[0040] 气象数据中台管理可视化模块提供可视化的操作界面，实现产品加工任务配置、任务监控、产品溯源查询、平台注册组件查询和在线组件调试，使得用户可以直观地进行操作和管理。
[0041] 该渠道工具集模块包括有HTTPS、HTTP、JDBC、FTP、SMB、FilelO输入输出工具，该输入核心接口模块包括有国家级平台接口模块和省级平台接口模块。
[0042] 渠道工具集：作为基础支撑工具集，为输入(数据源)核心接口、输入(数据源)扩展接口、输出(分发)管理模块提供统一的输入输出协议封装，过程监控、资源管理。杜绝因输入输出基础开发的不一致性，产生的性能差异，稳定性差异。
[0043] 输入(数据源)核心接口：面向国家级、省级数据源进行接口二次封装，对接口的使用、账号分配、测试数据等进行统一管理，为气象数据产品组件提供无感使用体验，各组件无需关注核心接口升级、账号变更、缓存策略修改、接口使用量限制等对组件业务逻辑产生影响。
[0044] 该输入扩展接口模块包括有扩张数据接口规范模版模块、本地数据库表资源模块、第三方系统服务接口模块和本地地理信息数据模块，其中扩张数据接口规范模版模块分别与本地数据库表资源模块、第三方系统服务接口模块和本地地理信息数据模块连接。
[0045] 输入(数据源)扩展接口：面向地市级、区级单位，提供本地观测数据、服务数据、地理信息数据的调取。完全准守气象服务的属地原则，相关信息安全要求。实现本地数据源的快速接入，统一规范，为气象数据产品组件实现一致性，可服用的业务逻辑开发提供支撑。
[0046] 该输出管理模块包括有分发反馈模块、即使分发模块、定时分发模块、分发配置模块和延迟分发模块。
[0047] 该气象数据产品组件管理模块包括有组件环境支撑模块、产品加工组件管理模块、通用产品组件模块和本地化产品组件模块，其中产品加工组件管理模块分别与通用产品组件模块和本地化产品组件模块连接。
[0048] 气象数据产品组件管理：作为系统的核心运算单元，建立在操作系统虚拟机之上、提供分布式一致环境的JAVA、Python多语言支持，并有统一管理气象常用脚本工具如Grads。在统一的组件环境支撑基础之上，可以轻易的实现组件的分布式部署、调度。将耗时的组件一键分配到高性能虚拟机，测试组件自动分配到测试虚拟机环境，并在测试期满后迁移到业务环境。通过产品加工组件管理，实现组件的注册、标准化、配置解析、同时为了减少开发和配置的工作量，建立组件配置接口自动识别模块。按标准开发的组件，将自动注入到系统中，并自动识别组件接口，自动生成组件说明使用文档，自动管理组件接口调用。在组件的实际开发过程中，将组件根据可复用性的范围分为通用组件和本地化产品组件。通用组件面向国家级、省级范围可复用，由经验丰富的高级工程师参与研发并优化性能。本地化组件面向地市级、区级可复用，由不同的项目组分配初级和中级工程师开发。基于气象数据产品组件管理，可以实现不同技术经验水平的技术人员合理分配开发工作，并整体上保持高水平的组件运行效果。
[0049] 该气象数据产品生命周期管理模块包括有产品身份赋码分配模块、产品数据源分析模块、产品加工组件关系分析模块、产品加工包装与赋码模块、产品分发路径分析模块、服务产品统计模块，其中产品身份赋码分配模块、产品数据源分析模块、产品加工组件关系分析模块、产品加工包装与赋码模块、产品分发路径分析模块、服务产品统计模块依次连接。
[0050] 气象数据产品生命周期管理：气象数据产品涉及到的种类有几百种之多，不同产品组件的处理任务运算量差异较大，数据产品的分发渠道也包括FTP、邮件、短信、报文、数据库等多渠道，同时会有多网络环境传输的情况。为解决气象数据产品可溯源、全生命周期可控的难题。在产品加工组件关系过程中，由自动化的代码逆解析模块，自动识别出产品数据源的依赖关系，并自动为每个气象数据产品分配唯一编码。该编码伴随产品封装、分发后依然保持完整性，从数据源到数据产品最终展示的全过程，都可通过气象数据产品唯一编码溯源整个数据加工缓解。能够快速定位故障点，极大的提高系统运维效率。
[0051] 该气象数据中台管理可视化模块包括有产品加工任务配置管理模块、产品任务监控模块、产品溯源模块、组件查询模块、可视化调试模块和性能分析模块。
[0052] 气象数据中台管理可视化：为平台整体运行监控、调试、调度提供可视化的操作界面，可以实现产品加工任务配置、任务监控、产品溯源查询、平台注册组件查询，并且能够根据业务需要，在线进行组件的调试，时时反馈调试步骤和结果，实现可视化调试。可查看各组件对系统资源使用情况，执行耗时等，并分析平台整体性能。
[0053] 该产品加工任务配置管理模块分别与产品分发路径分析模块和组件配置解析模块连接，该分发反馈模块与产品任务监控模块连接，该产品溯源模块与气象数据产品生命周期管理模块连接，该组件查询模块与组件注册管理模块连接，该可视化调试模块和性能分析模块皆与组件标准化管理模块连接。
[0054] 本实施例还提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的面向气象分析与服务的气象数据中台框架的构建。
[0055] 本实施例还提供一种计算机存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的面向气象分析与服务的气象数据中台框架的构建。
[0056] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0057] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
[0058] 本发明的上述实施例并不是对本发明保护范围的限定，本发明的实施方式不限于此，凡此种种根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，对本发明上述结构做出的其它多种形式的修改、替换或变更，均应落在本发明的保护范围之内。
