[0001] 本发明涉及大数据技术领域，尤其涉及一种大数据管控平台。

[0002] 过去几年大数据安全和隐私问题是国内外的研究热点，未来大数据的安全 和隐私问题依然将是学术界和企业界研究与探讨的热点。大数据及其相关核心 资源涉及企业商业机密和国家主权，引发了社会各界人士的广泛关注，因此， 如何保护大数据的安全以及用户的隐私成为一个亟待解决的社会热点问题。

[0003]

[0004]

[0022] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明 实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然， 所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都属于本发明保护的范围。

[0023] 本发明实施例提供一种大数据管控平台，如图1所示，所述大数据管控平 台包括资源管理模块、安全管理模块、远程过程调用模块、分布式协同服务模 块、任务调度模块和集群部署与监控模块，其中，

[0024] 所述资源管理模块，用于调度和分配集群的内存和计算等资源给上层应用 和服务，管理运行在集群节点上的任务的生命周期和资源使用；

[0025] 所述安全管理模块，用于提供以用户为单位的身份认证和授权，对集群数 据资源和服务进行访问控制生成；

[0026] 所述远程过程调用模块，用于提供可靠高效的进程间远程调用服务；

[0027] 所述分布式协同服务模块，用于提供分布式系统基本的命名服务、状态同 步服务和分布式锁服务；

[0028] 所述任务调度模块，用于面向海量数据处理和大规模计算类型的复杂应用， 提供数据驱动的多级流水线并行计算框架；

[0029] 所述集群部署与监控模块，用于提供整个云操作系统以及上层应用服务的 部署、配置管理以及服务的自检和自举。

[0030] 下面对本发明实施例大数据管控平台进行详细说明。

[0031] 本发明实施例提供的大数据基础管控平台要求负责管理大数据中心Linux 集群的物理服务器资源，控制分布式程序运行，隐藏下层故障恢复和数据冗余 等细节，有效地提供弹性计算和云负载均衡的服务。

[0032] 1、资源管理模块

[0033] 资源管理模块负责调度和分配集群的内存和计算等资源给上层应用和服 务，管理运行在集群节点上的任务的生命周期和资源使用。在多用户运行环境 中，支持计算额度和访问控制，作业优先级和资源抢占，达到在保障公平的前 提下，有效地共享集群资源。

[0034] 2、安全管理模块

[0035] 安全管理模块提供以用户为单位的身份认证和授权，对集群数据资源和服 务进行访问控制生成。

[0036] 3、远程过程调用模块

[0037] 远程过程调用模块提供可靠高效的进程间远程调用服务，支持通讯信道的 数据压缩和一致性校验。

[0038] 4、分布式协同服务模块

[0039] 分布式协同服务模块提供分布式系统基本的命名服务、状态同步服务和分 布式锁服务。基于Paxos(一种基于消息传递的一致性算法)的分布式共识协议。 分布式文件系统具有高可扩展性，支持上亿个文件和PB以上量级的文件存储。 基于Paxos协议的多主控节点(Master)设计，避免集群单点失效，自动进行故 障监测和数据复制，在不依赖RAID卡和NAS等特殊硬件设备的条件下，极高的 可用性和可靠性。采用Share-nothing(不共享状态)架构设计，满足大规模并 发读写，充分利用分布式并行带宽。毫秒级别的日志更新操作，快速响应的在 线服务。增量扩容和自动数据平衡能力，允许用户定制数据分布策略。

[0040] 5、任务调度模块

[0041] 任务调度模块面向海量数据处理和大规模计算类型的复杂应用，提供了一 个数据驱动的多级流水线并行计算框架，在表述能力上兼容MapReduce(一种 大规模分布式编程模型)，Cascading(一种大规模分布式编程模型)等多种编 程模式。高可扩展性，满足十万以上级的并行任务调度。自动检测故障和系统 热点，重试失败任务，保证作业稳定可靠运行完成。

[0042] 6、集群部署与监控模块

[0043] 集群部署与监控模块提供整个云操作系统以及上层应用服务的部署、配置 管理、以及服务的自检和自举。支持在线集群扩容和应用服务的在线升级。监 控云操作系统集群和上层应用服务的运行状况和性能指标，提供丰富的监控图 表和集群状况仪表盘，支持用户定义的自动报警服务，以及在线性能剖析和故 障诊断。云操作系统系统将集群进行了整合，使得集群以一台超级计算机的形 态展示在其他服务以及应用面前。

[0044] 本发明实施例提供的大数据管控平台，资源管理模块调度和分配集群的内 存和计算等资源给上层应用和服务，管理运行在集群节点上的任务的生命周期 和资源使用，安全管理模块提供以用户为单位的身份认证和授权，对集群数据 资源和服务进行访问控制生成，远程过程调用模块提供可靠高效的进程间远程 调用服务，分布式协同服务模块提供分布式系统基本的命名服务、状态同步服 务和分布式锁服务，任务调度模块面向海量数据处理和大规模计算类型的复杂 应用，提供数据驱动的多级流水线并行计算框架，集群部署与监控模块提供整 个云操作系统以及上层应用服务的部署、配置管理以及服务的自检和自举。本 发明实施例能够为大数据应用提供电子政务大数据服务平台，有效保护大数据 的安全以及用户的隐私。

[0045] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到 的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围 应该以权利要求的保护范围为准。