具体技术细节
[0003] 为解决上述现有技术所存在的问题,本发明提出了一种数据文件可靠存储方法,包括:
[0004] 将接收到的数据根据数据块名划分,并通过与数据块名对应的通道传送给DataNode的中继单元;将来自所述中继单元的结果数据传输给对应的云存储服务器。
[0005] 优选地,所述中继单元接收划分后的数据,并将接收到的数据放入以待处理业务名称命名的队列中;
[0006] 基于各待处理业务的优先级开启待处理业务,并将待处理业务发送给DataNode计算单元;
[0007] 所述计算单元开启的待处理业务,对来自中继单元的数据进行计算,并向中继单元输出计算之后的数据块。
[0008] 优选地,所述方法还包括:
[0009] 使DataNode的数据传输和内部的逻辑计算隔离,将输入数据按数据块名划分,并将数据传送给中继单元;中继单元根据数据和当前DataNode的待处理业务的关联关系,维护一个针对所有处于就绪状态的待处理业务的分层队列。
[0010] 优选地,所述中继单元根据DataNode的负载确定启动多少个业务,并从分层队列中选择相应数量的、优先级最高的待处理业务启动;
[0011] 所述中继单元还将数据传送给执行待处理业务的计算单元,并接收经过计算单元处理后的结果数据;在包括上述DataNode的云计算系统中,对输入或结果数据的划分、融合和处理都在内存中完成。
[0012] 本发明相比现有技术,具有以下优点:
[0013] 本发明提出了一种数据文件可靠存储方法,实现了实时变化的大数据集合的高效实时处理。
法律保护范围
涉及权利要求数量4:其中独权1项,从权-1项
1.一种数据文件可靠存储方法,其特征在于,包括:
将接收到的数据根据数据块名划分,并通过与数据块名对应的通道传送给DataNode的中继单元;将来自所述中继单元的结果数据传输给对应的云存储服务器。
2.根据权利要求1所述的方法,其特征在于:
所述中继单元接收划分后的数据,并将接收到的数据放入以待处理业务名称命名的队列中;
基于各待处理业务的优先级开启待处理业务,并将待处理业务发送给DataNode计算单元;
所述计算单元开启的待处理业务,对来自中继单元的数据进行计算,并向中继单元输出计算之后的数据块。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
使DataNode的数据传输和内部的逻辑计算隔离,将输入数据按数据块名划分,并将数据传送给中继单元;中继单元根据数据和当前DataNode的待处理业务的关联关系,维护一个针对所有处于就绪状态的待处理业务的分层队列。
4.根据权利要求1所述的方法,其特征在于,所述中继单元根据DataNode的负载确定启动多少个业务,并从分层队列中选择相应数量的、优先级最高的待处理业务启动;
所述中继单元还将数据传送给执行待处理业务的计算单元,并接收经过计算单元处理后的结果数据;在包括上述DataNode的云计算系统中,对输入或结果数据的划分、融合和处理都在内存中完成。