[0001] 本发明涉及无线通信技术领域，特别是涉及一种基于小数据包的内容分发方法。

[0002] 随着现代科学技术的迅猛发展，无线通信技术在过去几十年内取得了显著的进展，并已成为全球最为成熟的技术之一。TCP/IP协议为众多基于其之上的应用服务提供了丰富多样的功能，包括但不限于电子邮件、文件传输、信息共享等。要确保TCP/IP协议的稳定运行，源节点和目的节点之间必须建立稳定的端到端链路。然而，由于节点能量、地理位置等因素的制约，在实际环境中，保持稳定的端到端链路并非易事。

[0003] 为了应对在缺乏稳定端到端链路的网络中进行通信的问题，学者提出了一种全新的网络范式，即延迟容忍网络。其应用场景从空间扩展到地面、海洋乃至海底，包括野外动物追踪、灾后救援、偏远地区通信、社会移动网络等。在这些场景中，网络拓扑频繁变化，且缺乏预先存在的基础设施，因此端到端的路径相对较为稀少。机会网络作为延迟容忍网络的衍生形式，是一种利用节点相遇时机交换信息的网络。

[0004] 路由是机会网络必备的基础功能，也是机会网络中研究的热点。高效的路由算法可以降低通信延迟，减小能量损耗，提高数据的交付效率。机会网络路由的核心是选择合适的中继节点进行消息的转发传输。传统的机会网络路由不能合理利用网络中节点的上下文信息，不能精准选择合适的中继节点。近年来，随着人工智能相关技术的发展，将其与机会网络路由相结合，以实现更加准确的上下文信息感知，实现更加高效的消息路由。

[0005] 内容分发是机会网络中消息通信的重要应用。根据需要分发的内容大小，主要分为小数据包和大数据包。现有机会网络路由方法主要存在以下不足：

[0006] 针对小数据包内容的传输，传统算法对节点及消息的上下文信息感知不足，不能实现高效的机会网络路由。

[0040] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0041] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

[0042] 如图1所示，本发明提供了一种基于小数据包的内容分发方法，包括：

[0043] 步骤100：分布式地将多个移动节点划分为多个节点集；

[0044] 步骤200：利用节点集更新公式对所述多个节点集进行实时更新，得到更新后的多个节点集；

[0045] 步骤300：基于更新后的多个节点集，在各个节点集中设置奖励函数，所述奖励函数包括传输奖励函数和相遇奖励函数；

[0046] 步骤400：根据奖励函数确定对应节点的实时奖励值；

[0047] 步骤500：根据所述实时奖励值对所述对应节点的Q值进行实时更新，得到更新后的Q值，所述对应节点为当前信息的源节点和当前的中继节点；

[0048] 步骤600：利用更新后的Q值得到优化后的中继节点；当相遇的节点相应Q值大于自身时，则将其选为中继节点，以实现消息的定向传播。

[0049] 步骤700：利用优化后的中继节点传输待传播信息直至所述待传播信息传输至目标节点，若未传播到目标节点则返回步骤“根据所述实时奖励值对所述对应节点的Q值进行实时更新，得到更新后的Q值”。

[0050] 进一步的，所述分布式地将多个移动节点划分为多个节点集，包括：

[0051] 获取各个移动节点的运动规律和各个移动节点的历史相遇数据；

[0052] 根据所述各个移动节点的运动规律和各个移动节点的历史相遇数据将多个移动节点划分为多个节点集。

[0053] 具体的，由于机会网络中的移动节点多是车载设备或者手持设备，如手机、平板电脑等，节点的移动符合车辆或行人的运动方式，并不是完全随机的，而是具有一定的规律性和周期性。此外节点间还具有社会属性，地理上属于一个“社区”的节点可能会频繁相遇，消息在同属一个“社区”的节点间传输，成功递送的概率更大。除了事先在地理上划分社区，还可以根据移动节点的运动规律或者它们之间的相遇历史刻画节点的“社交”属性。

[0054] 进一步的，定义社交圈相似度，表示两个节点相遇集合的相似程度，如果两个节点都遇到过许多相同的节点，即有许多“共同好友”，则认为他们之间的社交圈相似度很高。具体定义方法(节点集的表达式)如下：

[0055]

[0056] 其中，所述SCSi(j)为节点集，MS(i)指节点i的相遇集，即节点i曾经相遇过的节点。|MS(i)|则指该集合的势，即集合大小。MS(i)∩MS(j)指节点i和j相遇集的交集，即两节点都相遇过的节点。社交圈相似度越高的两节点，越有可能成功递送消息。

[0057] 进一步的，所述节点集更新公式的表达式(节点更新社交圈的具体方法)为：

[0058]

[0059] 所述SCi为更新后的节点集，当节点i与节点j相遇时，如果SCSi(j)大于threshold，则会将节点j加入节点i的社交圈中。threshold是一个0到1之间的数，可以根据场景需求进行调整。每个节点在仿真开始时创建一个空的社交圈，在仿真过程中根据上述方法不断更新自己的社交圈。在ANSAW‑Q算法的设置奖励函数时以及消息初始副本数时均会考虑到节点社交圈这一属性。

[0060] 进一步的，所述根据所述实时奖励值对所述对应节点的Q值进行实时更新，得到更新后的Q值，包括：

[0061] 若所述源节点发生节点相遇且未发生信息传输，则根据相遇奖励函数确定第一奖励值；

[0062] 若所述源节点发生节点相遇且发生信息传输，则根据传输奖励函数确定第二奖励值；

[0063] 根据所述第一奖励值和第二奖励值对所述对应节点的Q值进行实时更新，得到更新后的Q值。在整个路由过程中，节点以分布式的方式通过两种奖励值更新对应Q值，并将其存放于自身的Q表中。

[0064] 具体的，触发Q值更新的方式有两种，一种是两节点间建立连接，另一种是两节点间完成消息的传输。

[0065] 当两节点相遇建立连接时，节点会根据设置的连接奖励函数进行Q值的更新，这是因为频繁相遇的节点之间有更多的传输机会，也更可能将消息递送至目标节点。在节点相遇时合理更新对应Q值可以一定程度上反映这种社交关系，从而在路由算法执行定向喷洒时可以更智能地选择中继节点。

[0066] 进一步的，节点相遇时节点Q值更新表达式为：

[0067]

[0068] 上式表示两节点相遇时进行Q值更新，其中QS(d,i)表示在当前节点S的视角下，将目标节点d的消息传输给S的相遇节点i所对应的Q值。α表示学习率，是Q学习中的一个参数。γ是折扣因子，表示对于未来奖励的重视程度。在强化学习中，当前奖励和未来动作所得到的奖励的权重是不同的，因此利用0到1之间的折扣因子γ来调整未来奖励的权重，γ的值越大代表越重视未来奖励，当γ＝1时，未来奖励与当前奖励同等重要。Rc(d,i)是连接奖励函数。 是指在节点i的视角下，将目标节点为d的消息传送给其所有邻居节点所获得的最大Q值。Ni表示节点i的邻居节点集合。

[0069] 在两节点完成消息的传输时，节点会根据传输奖励函数进行Q值更新。在当前状态下，执行动作(即选择中继节点进行消息传输)会得到一个奖励，并根据此奖励以及状态转移进行Q值更新。节点传输时节点Q值更新表达式为：

[0070]

[0071] 上式表示两节点间成功传输消息后进行Q值更新，与前式唯一不同的地方是Rt(d,i)，它是指传输奖励函数。

[0072] 具体的，在强化学习中，奖励的设置至关重要。具体来说，奖励R的值直接影响Q值的更新，从而影响路由决策。

[0073] 进一步的，所述相遇奖励函数的表达式为：

[0074]

[0075] 其中，Rc(d,i)是当前节点与节点i连接时，对于目标节点为d的消息所产生的奖励。CT(i)是指当前节点与节点i相遇的次数，β是0到1之间的一个权重参数，可以用来调节相遇频次和缓存区占用情况的相对权重。Bsize(i)是节点i的缓存区大小，Boccupied(i)是指当前缓存区已占用的大小。g是一个大于0的常数，其作用是当节点i的社交圈包含消息目标节点d时，产生一个额外的奖励，g的大小可以在合理范围内调整，但需要保证Rc(d,i)不能大于节点遇到目标节点时所获得的奖励。

[0076] 进一步的，所述传输奖励函数的表达式为：

[0077]

[0078] 其中，Rt(d,i)是传输奖励函数，当消息完成传输时，会得到该奖励。hop是指消息目前已经经历的跳数，hop越大说明该消息被转发复制的次数越多，被递送至目标节点的机会更多。我们希望尽量优先传输跳数少的“新”消息，所以在设置传输奖励函数时，hop越大的消息得到的奖励值越小。

[0079] 当相遇节点i恰好为当前消息的目标节点时，在传输成功后，会得到100的奖励值，意味着成功递送，得到一个相当大的奖励，它也可以设置为其他的值，只需要保证成功递送至目标节点后得到的奖励远大于其他情况所获得的奖励。如果节点i不是消息的目标节点，会综合消息的跳数以及节点间的连接奖励函数来确定奖励值。

[0080] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

[0081] 本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。