[0001] 本申请涉及移动边缘计算的技术领域，具体而言，涉及一种卫星辅助下的多无人机智能任务协同方法及任务协同系统。

[0002] 随着云计算、人工智能、物联网等技术的大规模应用，数据量呈现出指数级增长，据相关机构预测，将有超过千亿的终端设备联网。为了解决传统数据处理方式下时延高、数据实时分析能力匮乏等弊端，移动边缘计算技术应运而生。如在智能交通系统中，将边缘计算集成到车载雾计算网络中，可以有效地解决传统云计算框架的局限性。然而，在一些无法建设密集的地面基础设施的偏远地区，提供实时的网络服务是困难的。因此迫切需要一种新的网络架构，以提供全球通信覆盖和普及智能计算，以满足所有物联网终端用户的各种服务需求。因无人机的灵活性，基于无人机的边缘计算技术不断发展，被广泛应用于多种计算场景中，用于减少任务的处理时延，满足用户的需求。

[0003] 然而，随着用户请求的不断增多，传统的基于单无人机的计算架构可能面临着计算资源不足，网络延迟等诸多的问题。

[0036] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。除非另外定义，本申请使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”、“耦接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

[0037] 本申请实施例提供的卫星辅助下的多无人机智能任务协同方法可以应用在图1所示的任务协同系统中，如图1所示，该任务协同系统可以包括：

[0038] 卫星控制中心和探测局部地面区域的多个无人机集群，例如，探测局部地面区域Area1的无人机集群1，探测局部地面区域Area2的无人机集群2，…。

[0039] 各无人机集群均包括每一时隙从相应局部地面区域采集任务数据的多个任务无人机，和与多个任务无人机通信连接的无人机簇首，例如，无人机集群1包括无人机簇首1‑1和3个任务无人机1‑2。

[0040] 其中，不同无人机簇首间通信连接，且不同无人机簇首均与卫星控制中心连接，用于接收卫星控制中心下发的探测控制信息，以及向卫星控制中心发送探测到的环境信息(不同时隙各无人机簇首发送的局部环境状态、相应任务卸载决策和相应任务服务奖励)。

[0041] 需要说明的是，多个无人机集群是根据每个无人机簇首的通信范围确定的，每个无人机集群中的多个任务无人机用于联合完成对一个局部地面区域进行图像采集，整个蜂群协同完成对采集的数据的处理。

[0042] 本申请的卫星辅助下的多无人机智能任务协同方法根据无人机簇首的通信范围，将无人机群划分为多个小集群，一个小无人机集群包括一个无人机簇首以及多个任务无人机，任务无人机探测山地区域并收集图像数据；之后，采用一种集中式训练、分散式执行的架构，在卫星控制中心对评论者网络(Critic Network)和智能体表演者网络(Actor Network)进行训练，每一簇的无人机簇首，决定任务卸载方案；该方法对无人机捕获的陡峭山地的图像等信息进行预处理，减少了数据冗余，提高了任务服务成功率。

[0043] 以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0044] 图2为本申请实施例提供的一种卫星辅助下的多无人机智能任务协同方法的流程示意图。如图2所示，该方法可以包括：

[0045] 步骤S210、针对任一时隙下的任一无人机集群，无人机集群中的无人机簇首接收到卫星控制中心下发的探测控制信息后，根据相应各任务无人机在该时隙采集的任务数据，确定自身对环境的局部环境状态。

[0046] 其中，时隙集合为T＝{1,2,……,t}，无人机簇首集合为E＝{1,2,……,e}，系统所有的任务无人机集合为I＝{1,2,……,i}，每一个无人机簇首覆盖下的任务无人机的集合[0047] 任务数据可以包括该时隙的各任务无人机的任务数据大小、各任务无人机处理一位数据所需要的CPU周期数和各任务无人机处理相应任务的时延阈值；其表示为：任务数据其中di代表该时隙的第i个任务无人机的任务数据大小，ci代表该时隙的第i个任务无人机处理一位数据所需要的CPU周期数，ti代表该任务的第i个任务无人机的被处理的时延阈值。

[0048] 局部环境状态可以包括在无人机簇首通信区域下的各任务无人机与该无人机簇首的距离大小的集合、各任务无人机的任务数据大小的集合、各任务无人机的每一位数据所需CPU资源的集合、各任务无人机的任务时延阈值的集合、该时隙各任务无人机所具有的任务队列的集合、该时隙无人机簇首所具有的当前任务队列和当前任务队列已被完全处理的时隙与该时隙之间的差值。其表示为：局部环境状态其中, 代表在t时隙无人机簇首e通信区域下
的任务无人机i的集合， 代表在无人机簇首e通信区域下的任务无人机与无人机簇首距离大小的集合， 表示任务无人机的任务数据大小的集合， 表示任务无人机的每一位数据所需CPU资源的集合， 表示任务无人机的任务时延阈值的集合， 表示t时隙任务无人机所具有的任务队列的集合， 表示t时隙无人机簇首e所具有的任务队列，e和t分别表示无人机簇首的索引以及时隙的索引， 表示第t时隙无人机簇首所具有的当前任务队列和当前任务队列已被完全处理的时隙t′与t时隙之间的差值。

[0049] 步骤S220、无人机簇首利用自身配置的表演者网络，对局部观测状态进行处理，确定该无人机集群中各任务无人机对相应局部地面区域的任务卸载决策。

[0050] 其中，初始情况下，无人机簇首自身配置的表演者网络中的网络参数是随机生成的。

[0051] 任务卸载决策可以包括任务在任务无人机上执行的第一决策、任务在无人机簇首上执行的第二决策，以及将任务迁移到其他无人机簇首上执行的第三决策。

[0052] 任务卸载决策可以表示为 其中 表示任务无人机i是否在e′上处理任务，e′∈{E,i}表示卸载的地点为任务无人机本地、从任务无人机本地卸载还是迁移到其他无人机簇首。

[0053] 任务卸载决策通过多智能体深度强化学习MADDPG算法实现，有三种任务卸载地点：在任务无人机本地处理，在本集群的无人机簇首卸载处理，或迁移到另一个集群的无人机簇首进行处理。

[0054] 步骤S230、无人机簇首根据各任务无人机的任务卸载决策和局部环境状态，确定各任务无人机的网络资源分配结果和相应网络资源分配结果对应的任务服务奖励。

[0055] 具体实施中，根据各任务无人机的任务卸载决策和局部环境状态，依据频分复用的方法对各任务无人机的通信资源进行分配；

[0056] 优先对同一时隙中相应任务无人机卸载上传的任务先分配计算资源进行执行，之后依据迁移任务上传的时间顺序，对其他无人机簇首迁移来的任务再重新分配计算资源进行执行，具体的，针对于计算资源的分配，对于上传至无人机簇首上的任务，存在自身区域内的任务无人机卸载上传的任务，同时，也存在其他区域的无人机簇首迁移过来的任务，针对于不同的任务，无人机簇首会优先对同一时隙中，自身区域下的任务无人机卸载任务先执行，之后，依据迁移任务上传的时间顺序，分配计算资源。

[0057] 同时，获取无人机簇首自身的任务处理时延 基于任务处理时延 确定网络资源分配结果对应的任务服务奖励。

[0058] 进一步的，若任务卸载决策为第一决策，则任务处理时延 为各任务无人机处理任务的计算时延 与等待计算资源的等待时延 的和；

[0059] 若任务卸载决策为第二决策，则任务处理时延 为各任务无人机处理任务的计算时延 等待计算资源的等待时延 任务从任务无人机上传至无人机簇首之间的时延 和任务计算完成后无人机簇首之间的回传时延 的和；

[0060] 若任务卸载决策为第三决策，则任务处理时延 为各任务无人机处理任务的计算时延 等待计算资源的等待时延 任务从任务无人机上传至无人机簇首之间的时延 任务计算完成后无人机簇首之间的回传时延 和无人机簇首之
间任务迁移产生的时延 的和。

[0061] 表示为：

[0062]

[0063] 任务服务奖励可以表示为：

[0064] 其中，r表示任务服务奖励，α、β代表两项所占比重，介于0和1之间，代表t时隙所有到来任务的服务时延和的导数， 代表t时隙的任务服
t
务成功率，K代表t时隙系统具有的所有的任务，ti为第i个任务无人机处理相应任务的时延阈值。若 则 否则

[0065] 进一步的，为了得到最高的任务服务成功率，可以设置约束条件：

[0066]

[0067] C1表示 是一个0‑1整数变量，指示任务无人机i的任务是否在l处执行，l∈{E,i}表示任务卸载位置是所有的无人机簇首或任务无人机i本身， 表示任务在位置l处理，而 表示任务不在l处执行；C2表示任务只能在一个地方处理：由任务无人机i本地处理，卸载到集群中的无人机簇首进行处理，或者迁移到另一个集群中的无人机簇首进行处理。

[0068] 步骤S240、卫星控制中心将不同时隙接收的各无人机簇首发送的局部环境状态、相应任务卸载决策和相应任务服务奖励作为训练数据，对相应无人机簇首配置的评论家网络和表演者网络进行训练，得到训练好的评论家网络和训练好的表演者网络。

[0069] 具体实施中，将不同时隙接收的各无人机簇首发送的局部环境状态、相应任务卸载决策作为评论家网络的输入数据，并通过相应任务服务奖励指导训练评论家网络；使用评论家网络的输出结果，对表演者网络进行指导训练。

[0070] 步骤S250、卫星控制中心将训练后的表演者网络发送至各无人机簇首，使各无人机簇首将训练后的表演者网络替换自身的表演者网络，并返回执行步骤S210。

[0071] 每一架无人机簇首仅需依据自身的局部观测状态，做出卸载决策。

[0072] 实验结果表明，该方案比只有单一无人机的任务处理算法的服务成功率提高了约40％，比DDPG的服务成功率提高了约30％。

[0073] 在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的卫星辅助下的多无人机智能任务协同方法。

[0074] 在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的卫星辅助下的多无人机智能任务协同方法。

[0075] 本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。

[0076] 本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0077] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0078] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0079] 尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。

[0080] 显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。