首页 / 一种云计算任务分配模型构建方法、系统及其应用方法、应用系统

一种云计算任务分配模型构建方法、系统及其应用方法、应用系统公开 发明

技术领域

[0001] 本发明涉及任务分配领域,更具体地,涉及一种云计算任务分配模型构建方法、系统及其应用方法、应用系统。

相关背景技术

[0002] 当今,边缘计算一直面临着资源有限的挑战,因此需要高效协调和管理这些分散的资源,以达到资源最大利用的效果。
[0003] 传统的边缘计算分配方法任务都需要在主服务器进行排队等候,并分配给若干个子服务器,从而使得主服务器、子服务器需要进行频繁通信,因而导致分配效率低下。同时,主服务器、子服务器实际情况并不公开,也缺乏有效全面的工作量衡量机制;例如,若子服务器集群按照处理任务量进行收费,因而有的子服务器也因主服务器、子服务器信息不公开会导致任务量纠纷。
[0004] 现有技术公开了一种基于改进遗传算法的云计算资源分配方法。该方法首先构建了云资源分配的数学模型,然后设计了改进的遗传算法对其求解。主要改进是对其初始种群的产生、交叉变异方法的改进。在初始化种群时,利用次适应算法将虚拟机分成H组,每组对应一台物理机,保证了初始种群的有效性。引入基因评价函数,对每一台物理机的负载情况进行评价,并以此为依据进行交叉和变异,保证了算法的高效性。最终通过迭代得出最少物理机激活数和最大资源利用率虚拟机分配方案。该方法的效率较低。

具体实施方式

[0048] 附图仅用于示例性说明,不能理解为对本专利的限制;
[0049] 为了更好说明本实施例,附图某些部件会有省略、放大或缩小,并不代表实际产品的尺寸;
[0050] 对于本领域技术人员来说,附图中某些公知结构及其说明可能省略是可以理解的。
[0051] 下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0052] 实施例1
[0053] 如图1所示,一种云计算任务分配模型构建方法,包括:
[0054] S101:构建训练样本集,包括训练任务参数、服务器参数以及对应的分配序列标签;
[0055] S102:将所述训练样本集输入构建的教师模型中,设置损失函数进行迭代训练,直到损失函数达到最小,得到训练好的教师模型;
[0056] S103:修改所述训练好的教师模型的结构,获得云计算任务分配模型。
[0057] 进一步地,如图2所示,所述教师模型包括:循环神经网络单元、图神经网络单元、张量重复单元、张量重组单元、张量除法单元、第一线性层、激活层、第二线性层、序列整合单元;
[0058] 图神经网络单元的输出端与张量重组单元的输入端连接,张量重组单元的输出端、张量重复单元的输出端与张量除法单元的输入端连接,张量除法单元的输出端与循环神经网络单元的输入端连接,循环神经网络单元的输出端与第一线性层的输入端连接,第一线性层的输出端与激活层的输入端连接,激活层的输出端与第二线性层的输入端连接,第二线性层的输出端与序列整合单元的输入端连接;
[0059] 所述训练任务参数输入图神经网络单元的输入端,所述服务器参数输入张量重复单元的输入端,序列整合单元输出分配序列标签。
[0060] 需要说明的是,通过结合图神经网络和循环神经网络,利用图结构和序列数据的特性来执行资源分配,能够更好地捕捉输入数据中的复杂模式和相关性。
[0061] 进一步地,如图3所示,步骤S103中,修改所述训练好的教师模型的结构,获得云计算任务分配模型,包括:
[0062] 从训练好的教师模型中提取循环神经网络单元、图神经网络单元,添加张量扩张单元、解码单元、维度重组单元、序列整合单元,获得云计算任务分配模型;
[0063] 其中,张量扩张单元的输出端与循环神经网络单元的输入端连接,循环神经网络单元的输出端、图神经网络单元的输出端与维度重组单元的输入端连接,维度重组单元的输出端与解码单元的输入端连接,解码单元的输出端与序列整合单元的输入端连接。
[0064] 需要说明的是,云计算任务分配模型采用循环神经网络单元、图神经网络单元,从而具有良好的多样性和鲁棒性,可以增强模型在复杂环境中的泛化能力。
[0065] 需要说明的是,云计算任务分配模型仅保留了教师模型的循环神经网络单元、图神经网络单元,从而简化了教师模型,通过模型压缩和知识蒸馏实现了性能和复杂度之间的权衡。
[0066] 需要说明的是,序列整合单元的作用为将每个任务的各个服务器的概率预测值中最大的一个服务器,作为该任务的分配服务器,从而形成任务分配序列。
[0067] 进一步地,所述循环神经网络单元包括依次连接的循环神经网络层和第一全连接层;
[0068] 所述循环神经网络层的输出端与第一全连接层的输入端连接;
[0069] 所述图神经网络单元包括依次连接的图卷积层和第二全连接层;
[0070] 所述图卷积层的输出端与第二全连接层的输入端连接;
[0071] 所述解码单元包括第三线性层。
[0072] 进一步地,步骤S102中,损失函数如下:
[0073]
[0074] i表示序号,n表示训练任务数量,yi表示第i个训练任务分配的服务器序号, 第i个训练任务的服务器分配标签序号。
[0075] 进一步地,步骤S101中,使用遗传算法生成所述分配序列标签。
[0076] 需要说明的是,利用数据增强方法,使用遗传算法生成一些合成的、优化过的数据样本,使用深度学习模型在这个扩充过的训练样本集上进行训练,在测试集上评估训练后的模型,预计有可能获得更好的优化效果。
[0077] 如图4所示,一种云计算任务分配模型构建系统,包括:
[0078] 样本集构建模块:构建训练样本集,包括训练任务参数、服务器参数以及对应的分配序列标签;
[0079] 训练模块:将所述训练样本集输入构建的教师模型中,设置损失函数进行迭代训练,直到损失函数达到最小,得到训练好的教师模型;
[0080] 分配模型构建模块:修改所述训练好的教师模型的结构,获得云计算任务分配模型。
[0081] 如图5所示,一种云计算任务分配模型应用方法,包括:
[0082] S201:接收由用户提交的若干个待分配任务,获取每个待分配任务的任务参数;
[0083] S202:将每个待分配任务的任务参数和多个待选服务器的服务器参数,输入所述云计算任务分配模型中,得到任务分配序列;
[0084] S203:根据所述任务分配序列,将每个待分配任务分配到各个待选服务器中。
[0085] 需要说明的是,本方案中多个待选服务器的地位平等,并不存在主服务器与子服务器的差别,各个服务器间具有去中心化的性质。
[0086] 需要说明的是,采用该方法可以获得满足各参与者需求的公平资源分配方案,还可以考虑整体系统性能指标,使得分配结果参与者个人利益与系统整体优化之间取得平衡。该方法无须中心服务器的参与因而也无须多次数据传输,因而效率较高。
[0087] 一个具体实施例中,衡量整个分配方案的效果的公式如下:
[0088]
[0089] N为服务器总数,i、j表示序号,Wq,j表示第j个服务器的排队延迟,λj表示第j个服务器的到达率,μj表示第j个服务器的服务率,ωi表示第i个任务的工作量,Di表示第i个任务的传输数据量,fj表示第j个服务器的CPU速度,bj数据传输到第j个服务器的带宽。
[0090] 进一步地,所述待分配任务的任务参数包括:任务大小、工作量负载、传输数据量;
[0091] 所述待选服务器的服务器参数包括:CPU运算速度、带宽、处理延迟。
[0092] 如图6所示,一种云计算任务分配模型应用系统,包括:
[0093] 任务接收模块:接收由用户提交的若干个待分配任务,获取每个待分配任务的任务参数;
[0094] 分配序列生成模块:将每个待分配任务的任务参数和多个待选服务器的服务器参数,输入所述云计算任务分配模型中,得到任务分配序列;
[0095] 任务分配模块:根据所述任务分配序列,将每个待分配任务分配到各个待选服务器中。
[0096] 实施例2
[0097] 基于实施例1所述一种云计算任务分配模型构建方法、系统及其应用方法、应用系统,即本实施例采用与实施例1相同的一种云计算任务分配模型构建方法、系统及其应用方法、应用系统。
[0098] 本方法可具体应用于区块链计算节点分配。
[0099] 边缘计算涉及大量的分布式资源,包括计算、存储、带宽等,需要高效协调和管理这些分散的资源。传统集中式的资源管理方式效率低下且缺乏可信度,而引入区块链技术可以实现去中心化的资源交易和调度,显著提升交易的公开性、效率和资源利用。常见的共识机制有工作量证明(PoW)和权益证明(PoS),但都比较片面,对参与者对社区的贡献要求不足。
[0100] 博弈可生成共识知识,节点必须通过选择策略来达成一致,并决定区块链状态的更新。利用贡献证明(PoC)共识机制,选择参与计算和竞争的资源投入,以对缩短时延或平衡整体资源利用率最大化贡献。PoC基于参与者的计算能力、资源等级来决定其在网络中的影响力,这对边缘网络的性能效率有着正向影响。
[0101] 将云计算任务分配模型布置在区块链的边缘节点上,通过点对点通信和去中心化共识在链上实现资源的PoC交易。
[0102] 需要说明的是,由于边缘节点可能属于不同的利益相关方,集中式管理可能会导致信任和隐私问题。因此,教师模型由资源管理系统/中心维护,而云计算任务分配模型在区块链节点上分配资源。即使一些区块链节点计算失败或有恶意行为,整个区块链系统仍然可以正常运行。每个区块链节点无法完全了解其他区块链节点的内部状态,这降低了系统被破坏的可能性。
[0103] 由于区块链系统整体构成一个拜占庭容错系统,因而采用欧几里得距离多样性评分可进一步衡量分配方案的稳定性,避免单一利益相关方控制整个区块链系统,增加攻击者的成本。
[0104] 欧几里得多样性评分D的公式如下:
[0105]
[0106] d(Pi,Pj)=sqrt[(Pi1‑Pj1)2+(Pi2‑Pj2)2+…+(PiN‑PjN)2]
[0107] i、j表示序号,n表示云计算任务数量,d(Pi,Pj)表示任务Pi与任务Pj的欧几里得距离,Pi1表示任务Pi分配给1号服务器的概率,PiN表示任务Pi分配给N号服务器的概率,N为服务器总数。
[0108] 相同或相似的标号对应相同或相似的部件;
[0109] 附图中描述位置关系的用语仅用于示例性说明,不能理解为对本专利的限制;
[0110] 显然,本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

当前第1页 第1页 第2页 第3页
相关技术
任务分配相关技术
分配模型相关技术
王瑾发明人的其他相关专利技术