[0001] 本发明涉及多自动导引小车系统协调控制技术领域，具体涉及一种基于分布式微分博弈的物流仓储最优协调方法。

[0002] 随着经济的发展，自动化导引小车成为现代仓储物流的核心组成部分，可以减少运输时间，减轻人力负担。近几年，关于多自动导引小车系统的有效协调策略的研究引起了许多研究学者的关注。该协调策略在考虑全局目标的同时，可以有效的实现局部目标要求，最大化仓储物流的经济效益，可以使自动导引小车在仓储物流中执行各自给定的任务时，提高仓储物流的运输效率。即在避免碰撞的同时，高效完成运输任务。考虑到自动导引小车在仓储物流中的感知及通信有限，所以分析有限通信下的自动导引小车的协调问题是非常有实际意义的。

[0003] 为了提高仓储物流的运输效率，自动导引小车应该保证安全高效的完成给定的运输包裹任务。因此，一个好的协调策略需要优化轨迹，是提高自动化导引小车运输效率的关键。目前，主要分为两种协调策略，基于协商的策略和基于规划的策略。基于协商的策略是一种贪婪算法，最终策略不能实现最优协调。基于规划的策略通常是最优的，但是随着自动导引小车数目的增加，计算量增大，可扩展性较差。

[0004] 博弈论可以从群体性能的角度优化每个自动导引小车的行为，以实现纳什均衡，进一步改善群体性能。尤其是，微分博弈可以量化多自动导引小车之间的动态交互以及冲突过程，经常被用到解决协调问题中，如，追逃问题，编队问题。文献(Mylvaganam T,Sassano M,Astolfi A.Adifferential game approachto multi‑agent collision avoidance[J].IEEE Transactions onAutomatic Control,2017,62(8):4229‑4235.)首次利用微分博弈的方法解决了协调避碰策略问题。包括文献(LinW,Qu Z,Simaan MA.Nash strategies forpursuit‑evasion differential games involving limited observations[J].IEEE Transactions onAerospace and Electronic Systems,2015,51(2):1347‑1356.)提出了一种构建反馈追逃策略的方法，该方法不依赖于智能体的全局状态信息。文献(de la Cruz N,Jimenez‑Lizarraga M.Finite time robust feedbackNash equilibrium for linear quadratic games[J].IFAC‑PapersOnLine,2017,50(1):11794‑11799.)建立了一种带有外部干扰的集中式微分博弈模型，将外部干扰看作最大化成本函数的虚拟玩家，但没有考虑智能体的有限通信能力，文献(FuY,Chai T.Online solution oftwo‑player zero‑sum games for continuous‑time nonlinear systems with completely unknown dynamics[J].IEEE transactions on neural networks and learning systems,2015,27(12):2577‑2587.)构建了一种分布式的不确定零和微分博弈，得出了局部鲁棒纳什均衡，但没有严格的理论保证。为了实现多智能体全局任务的协调性，需要局部鲁棒纳什均衡的全局收敛性保证。上述尽管可以成功解决多智能体避碰问题，但是不能直接的应用于仓储物流中解决自动导引小车协调避碰问题。主要因为，首先所获得的局部最优解不能提高自动导引小车的工作效率；其次，自动导引小车的通信假设是完美的，不受通信限制。

[0005] 因此，为了解决这一将微分博弈方法引入到避碰问题中产生的完成任务效率低的难题，可以结合分布式优化方法考虑引入人工势场法设计避碰规则。设计一种分布式微分博弈协调避碰策略方法。当前现有的技术提出的微分博弈的解决方案主要聚焦于全局信息已知的情况下，对于分布式微分博弈方法仍很少应用在物流仓储中自动导引小车的避碰问题中，无法提供合适的解决方案。

[0099] 下面结合附图及实施例对本发明做进一步说明。

[0100] 请参照图1，本发明提供一种基于分布式微分博弈的物流仓储最优协调方法，包括以下步骤：

[0101] 描述仓储物流场景，利用图论，建立多自动化导引小车系统中导引小车之间的通信拓扑结构，其中为了应对导引小车工作中可能出现的障碍物,将导引小车与其邻居作为博弈参与者，建立一阶线性积分器作为导引小车的模型，考虑到导引小车的工作环境复杂，难免会遇到障碍物，对导引小车的工作环境设计碰撞区域，感应区域，自由区域，将物流仓储中多种形状不同的障碍物膨胀化为椭圆形；

[0102] 利用人工势场法设计避碰规则，作为自动化导引小车在博弈模型中的运行成本函数；

[0103] 将受感知和通信限制的多自动化导引小车系统的物流仓储协调问题看作分布式微分博弈问题；建立分布微分博弈模型，该模型包括运行成本函数、控制成本；

[0104] 利用庞特里亚金极小值原理，分析局部最优协调策略的存在性以及唯一性，并求解局部最优协调策略的表达形式；分析局部最优协调的全局纳什均衡的收敛性。

[0105] 在本实施例中，自动化导引小车执行的运输包裹任务为给定多自动化导引小车系统相应的运输目标点，在感知和通信有限的情况下，使自动化导引小车无碰的到达目标点，减少自动化导引小车运输任务的完成时间。即各自动化导引小车的位置偏差趋于零，运输任务完成。

[0106] 在本实施例中，自动化导引小车获取的信息包括以下几类：邻居自动化导引小车的位置信息以及策略信息，通过上述信息，计算自动化导引小车的局部状态信息以及自动化导引小车的一阶线性模型：

[0107]

[0108] 式中，pi(t)及 分别为t时刻第i个自动化导引小车的位置及速度信息，ui(t)为t时刻第i个自动化导引小车的控制输入，Bii为对应的常数矩阵；

[0109] 自动化导引小车位置误差具体形式为：

[0110]

[0111] 式中， 为第i个自动化导引小车的期望运输位置， 为t时刻第i个自动化导引小车的当前运输位置与期望运输目标点的位置误差；

[0112] 多自动化导引小车系统的动态方程具体形式为：

[0113]

[0114] 式中， 为t时刻自动导引小车系统的状态， 为t时刻自动导引小车系统的状态变化率，N为自动导引小车数量，Bi为对应的常数矩阵，[0115] 建立N个自动化导引小车的有向交互拓扑图G(v,ε)，其中，v＝{v1,...,vN}表示自动化导引小车集合， 表示边的集合，eij表示自动导引小车i与自动导引小车j之间的连接关系，eij∈ε表示自动导引小车i可以接收自动化导引小车j的信息，自动化导引小车i的邻居集合为

[0116] 定义自动化导引小车i的邻居信息矩阵为：

[0117]

[0118] 式中，I2为2×2单位矩阵， 为除自动化导引小车i外的其他邻居导引小车j的信息矩阵，其中仅矩阵Fi中的第i行和以及第j行为1，其余为0；

[0119] 定义自动化导引小车i的局部动态方程为：

[0120]

[0121] 式中， 为t时刻自动化导引小车i的局部状态信息， 为相应的常数矩阵；

[0122] 建立障碍物环境模型：

[0123] 将仓储物流中各种形状的障碍物拓展为椭圆形，定义避碰区域Sik为：

[0124]

[0125] 式中，ri为自动化导引小车i的安全半径， 是障碍物k的半径，ck(t)是t时刻障碍物k的质心位置，Ek＝I2为单位矩阵；

[0126] 定义感应区域Dik为：

[0127]

[0128] 式中，Ri是自动化导引小车i的感应范围；

[0129] 定义自由区域Mik为:

[0130]

[0131] 给出如下的假设条件：

[0132] 假设一：自动化导引小车在运行时不会发生打滑现象；

[0133] 假设二：自动化导引小车之间的有向交互拓扑图G(v,ε)是固定且强连通的；

[0134] 设计基于人工势场法的避碰规则：

[0135]

[0136] 式中，常数χi(0＜χi＜1)和 为常数， 为t时刻自动化导引小车i的障碍物惩罚函数， 为t时刻自动化导引小车i的距离惩罚函数；

[0137] 距离惩罚函数的表示如下所示：

[0138]

[0139] 为了优化自动化导引小车i的轨迹，引入距离惩罚函数，惩罚智能体对目标点的偏离表示如下：

[0140]

[0141] 式中，γi为自动化导引小车i运行的偏差角度，该偏差角度是自动化导引小车i当前轨迹与预定义的参考轨迹之间的角度；

[0142] 建立分布式微分博弈成本函数表达形式如下所示：

[0143]

[0144] 式中，tf为自动化导引小车i的博弈末段时间，u‑i(t)为t时刻除自动导引小车i外的邻居自动导引小车的控制策略集合， 为t时刻自动导引小车i的运行成本函数，其定义为 uij(t)为t时刻自动导引小车i的邻居自动化导引小车j的控制策略，U(t)为t时刻控制成本 ，其定义为
式中Rii,Rij分别为自动化导引小车i以及邻居自动导引小
车j的控制策略对应的可调整的正定权重矩阵；

[0145] 分布式多自动化导引小车系统协调控制问题的目标为每个自动化导引小车设计最优协调策略，并且需要自动化导引小车在尽可能少的时间安全的到达目标点，同时，自动化导引小车i与邻居自动化导引小车可以收敛到局部纳什均衡，即t时刻策略集满足：

[0146]

[0147] 式中， 为t时刻自动化导引小车i最优的成本函数；

[0148] 给出以下关于局部最优协调策略的相关定理以及表达形式：

[0149] 给出t时刻额外状态为：

[0150]

[0151] 式中， 为t时刻阶段成本函数,为初始状态， 为末端成本，给出t时刻扩展状态为：

[0152]

[0153] 其对应的动态方程如下：

[0154]

[0155] 式中，

[0156] 将分布式微分博弈问题转化为最优控制问题，表达形式如下：

[0157]

[0158] 根据庞特里亚金原理，定义哈密顿函数为

[0159]

[0160] 式中，λi(t)为t时刻拉格朗日乘子；

[0161] 局部最优协调策略满足以下偏微分方程组：

[0162]

[0163] 及边界条件：

[0164] p*(0)＝p0,

[0165] λi(tf)＝0 (20)

[0166] 式中，p0为自动导引小车系统的初始位置，λi(tf)为末段时刻拉格朗日乘子；

[0167] 给出局部最优协调策略唯一存在的条件：针对给定的仓储物流中自动导引小车的分布式微分博弈问题，将存在的局部最优协调策略 的满足形式转化为以下矩阵形式：

[0168] 给出局部最优协调策略唯一存在的法则：对于给定的仓储物流中自动导引小车的分布式微分博弈问题，局部最优协调策略可以转化为以下形式为

[0169]

[0170] 式中， 为给定的矩阵，如 正定矩阵，则存在唯一的局部协调策略；

[0171] 为了实现多自动化导引下车系统运输任务的全局最优协调，需要分析局[0172] 部最优协调策略到全局最优策略的收敛性，其定义如下：对于N个参与人的微分博弈，如果以下不等式成立，则t时刻策略集合{u1(t),...,ui(t),...,uN(t)}收敛到全局纳什均衡解。

[0173]

[0174] 式中， 除自动导引小车i以外剩余的所有自动导引小车的策略，此外，策略使得下式成立；

[0175]

[0176] 给出局部最优协调策略全局收敛性的命题：令 是自动导引小车相对于邻居的局部最优协调策略，假设自动导引小车之间的拓扑图是强连通的，则：1)对于自动导引小车i来说，每个局部最优协调策略是相等的；2)自动导引小车的局部最优协调能够收敛到全局纳什均衡，当且仅当自动导引小车的通信拓扑图是强连通的。

[0177] 在本实施例中，给出两个具体实例以体现所提出的分布式微分博弈方法在解决多自动导引小车协调问题中的有效性及优越性并通过实验验证该方法的优势。

[0178] 为证明所得到的局部最优协调策略能够减少自动导引小车完成运输任务的时间，本实例进行仿真实验，与现有仅考虑障碍物惩罚目标的集中式微分博弈方法比较。给出多自动导引小车系统的具体模型表达形式如下所示：

[0179]

[0180]

[0181] 式中，p1(t)及 分别为t时刻第1个自动化导引小车的位置及速度信息，p2(t)及 分别为t时刻第2个自动化导引小车的位置及速度信息，u1(t)，u2(t)分别表示自动化导引小车1,2的控制策略；

[0182] 各个自动导引小车(AGV)的初始位置与运输目标点位置为：p1(0)＝[80,80]T，p2T(0)＝[360,360]， 各个自动导引小车效益函数具体形式如下：

[0183]

[0184]

[0185] 根据图3‑4可知，对比方法与所提方法比较，两种方法虽然都能够使智能体的位置偏差趋于0，但是引入轨迹优化目标的集中式微分博弈方法收敛时间为105s，仅考虑障碍物惩罚的集中式微分博弈方法收敛时间为125s，所以，引入轨迹优化目标的集中式微分博弈方法能够减少智能体完成任务的时间，且相对于对比方法，运输时间减少了16％。

[0186] 为了说明所提方法分布式的有效性，本实例提供了3个自动导引小车的有向通讯拓扑图，如图5所示。本实例进行仿真实验，给出多自动导引小车的具体模型表达形式如下所示：

[0187]

[0188]

[0189]

[0190] 式中，p1(t)及 分别为t时刻第1个自动化导引小车的位置及速度信息，p2(t)及 分别为t时刻第2个自动化导引小车的位置及速度信息，p3(t)及 分别为t时刻第3个自动化导引小车的位置及速度信息，u1(t)，u2(t)u3(t)分别表示自动化导引小车1,2,3的控制策略。

[0191] 各个自动导引小车的初始位置与运输目标点位置为：p1(0)＝[30,30]T，p2(0)＝T T[370,370] ，p3(0)＝[370,30] ， p3(0)＝[30,370]T。感应半径为R1＝R2＝48。

[0192] 各个自动导引小车效益函数具体形式如下：

[0193]

[0194]

[0195]

[0196] 根据图6所示，所提分布式微分博弈方法能够使各个自动导引小车的位置偏差趋于0，表示任务完成。

[0197] 为了进一步说明所提分布式微分博弈方法(DDG‑TO)的最优协调性，与现有较流行的物流仓储方法比较，即基于协商方法(FCFS)以及基于规划的方法(ETCEN‑MCS)。

[0198] 每个自动导引小车采用以上三种方法分别执行10次，并取平均值。根据图7可知，当自动导引小车的数量为4时，三种方法的运输时间相似，随着动导引小车的数量的增多，FCFS方法运输时间减慢，ETCEN‑MCS方法次之，所提的分布式微分博弈方法(DDG‑TO)方法运输时间最短，分别相较于前两种方法，减少了15.7％，9.2％。综上所示，所提分布式微分博弈方法可以使各个自动导引小车安全的完成运输任务，并且能够减少各个自动导引小车的运输时间。

[0199] 以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。