[0001] 本发明涉及无人船控制技术领域，具体而言，尤其涉及一种基于动态博弈的海上自主水面船舶避让行为决策方法。

[0002] 博弈论是研究在利益冲突格局下理性决策者的策略行为相互作用的理论，各博弈方追求利益最大化的均衡。博弈论是一门交互决策理论，或称为互动决策理论。现实生活中处处存在着竞争和对抗，博弈论就是用数学理论和方法研究带有竞争或对抗性质的现象，是运筹学的一个重要分支，在经济、军事、政治等多个领域均有着极为广泛的应用。

[0003] 船舶自主航行需要解决的关键技术包括态势感知、自主决策和智能控制。自主决策是船舶安全航行及避碰的关键过程，核心在于能否在海上环境复杂、多变的情况下快速做出符合《1972年国际海上避碰规则》(简称“《规则》”)以及海员通常做法的安全而有效的决策。目前，国内外对于船舶的自主避让决策问题主要分为以下几个研究角度：确定性几何决策、模糊理论、群体智能优化寻路、启发式路径搜索、避碰专家系统、类人决策、人工智能、驾驶行为决策等。

[0004] 现有的船舶自主避碰决策方法存在以下不足：1、现有研究考虑问题的出发点仍是船舶的安全距离及可操纵性，并未涉及船舶操纵者的偏好动因。这样不能很好地贴合航海实际，也不能体现驾驶员认知实践视角。2、多船会遇局面下的避碰问题是迭代和多阶段决策过程，且都有以付出最小的代价解决避碰的决策倾向。现有的避碰方法不能很好的体现多个会遇船舶间相互影响的复杂避让过程，无法相互协调避碰复杂局面。因此本专利提出了基于动态博弈的海上自主水面船舶避让行为决策方法。

[0042] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

[0043] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0044] 如图1所示，本发明提供了一种基于动态博弈的海上自主水面船舶避让行为决策方法，步骤包括：

[0045] S1、获取周围环境及船舶信息，构建博弈参与船舶集合，基于所述周围环境及船舶信息分析航行会遇态势。

[0046] 具体来说，获取周围环境及船舶信息，包括：通过AIS船舶自动识别系统、ARPA雷达、ECDIS电子海图信息系统、GPS系统、电子罗经系统、测深仪、计程仪获取周围环境及船舶信息，包括船舶的位置、航向、航速、船舶静态信息、环境中的障碍物属性、位置、大小及形状信息。

[0047] 基于所述周围环境及船舶信息分析航行会遇态势，包括：

[0048] a.获取本船与目标船的位置特征、航向及航速，基于所述位置特征获取目标船相对于本船的第一方位特征以及获取本船相对于目标船的第二方位特征，其中所述第二方位特征基于本船与目标船的位置特征和航向确定；

[0049] b.基于所述第一方位特征、第二方位特征以及航速获取本船与目标船的会遇态势；

[0050] c.基于本船与目标船的会遇态势确定本船拟采取的避让行为。

[0051] S2、基于船舶操纵性、船舶类型、船舶航行状态以及不同态势下船舶间的避让关系确定避让行动优先级。具体包括：

[0052] a.将通航环境、船舶类型、导航状态、避让责任以及船型参数依次设置等级编号为A、B、C、D以及E；

[0053] b.根据当前船舶航行状态数据和航行环境数据，分别为各等级编号赋予子项编号，从而获得避让行动优先级代码；

[0054] c.根据所述避让行动优先级代码构建避让行动优先级列表。

[0055] S3、根据所述船舶驾驶认知实践构建可供参与船舶选择的行动集合。

[0056] S4、计算参与船舶收益函数，并结合模糊理论构建每个收益类别的隶属度函数，所述收益函数类别包括衡量船舶航行安全距离的安全性收益、衡量船舶能源消耗的经济性收益以及衡量避让策略合规性的社会性收益。

[0057] 具体来说，安全性收益函数为：

[0058]

[0059] 其中，u1为安全收益函数，N为参与船舶数量，ΔCRIi为在采取避让行动后其他船舶的碰撞危险度相对增量，其计算方法参考论文《基于驾驶实践的无人船智能避碰决策方法》。

[0060] 经济性收益函数为：

[0061] u3＝cos(Δψ),(Δψ∈[0,90°])

[0062] 其中，u3为经济性收益函数，Δψ为船舶采取行动Ai产生的航向增量。

[0063] 社会性收益函数为：

[0064] u2＝ξu'2+(1‑ξ)u"2

[0065]

[0066]

[0067]

[0068] 其中，u2为社会性收益函数，N为参与船舶数量，A′i为合规的船舶行动，Ai为当前船舶从基础行动集选取的动作，若 则表示船舶的避让动作合规。

[0069] S5、构建避碰博弈树，并基于逆向归纳算法求解船舶最优的避碰行动序列。

[0070] 下面结合附图，通过具体的应用实例，对本发明的方案做进一步的说明。

[0071] 本发明实施例提供一种基于动态博弈的海上自主水面船舶避让行为决策方法，能够为无人驾驶船舶的智能避碰行动提供基于博弈理论的判断决策。船舶的避碰是一个极其复杂的过程，需要在《规则》约束内、复杂的航行环境中综合考虑船舶避碰行动的经济性、安全性及规则符合程度，采用良好的操船技能做出最佳的避让决策。通过分析发现船舶避碰过程本质是在一个竞争与合作并存的利益冲突过程中寻求自身或集体利益最大化的过程，拥有鲜明的博弈特征，适用博弈理论进行分析。

[0072] 海上航行环境就是一个博弈环境，船舶间的避让过程是一个动态协商博弈过程，本发明将船舶避碰过程理解为动态博弈过程，具体描述如下：

[0073] (1)参与者i的集合N，i∈N＝{1,2,…,n}。避碰主体船舶就是博弈框架中的参与人，可以是单船、两船或多船；

[0074] (2)每个参与者在何时行动，即参与者的行动顺序。船舶在避碰过程中综合当时的航行环境、船舶航行状态、避让责任等因素选择行动序列，比如交叉会遇场景中的两艘在航机动船，一船为让路船，一船为直航船，则让路船有优先行动的义务，直航船根据让路船的行动选择自己策略，若让路船不采取主动避让行动已致紧迫局面，则直航船可采取积极的避让措施保证航行安全。

[0075] (3)每次轮到某一参与者行动时，可供他选择的行动。船舶在航行过程中以安全航速行驶，需要避让目标船舶或障碍物时，如果当时水域允许，则优先选择转向的方式进行避让，则行动方式可能为向左转向、保向保速、向右转向，必要时可能会旋回避让目标船。

[0076] (4)每次轮到某一参与者行动时，他所了解到的信息。船舶在避让过程中需要通过一切有效的方式(了望、AIS、雷达等)获取目标船的信息，包括但不限于航向、航速、位置以及目标船可能采取的行动等，以保证可以在完全信息下做出准确的决策，若掌握的信息不充分，则极可能导致不协调避让行动的发生。

[0077] (5)在某个参与者行动后博弈结束时，每个参与者的收益函数。船舶在做出避让决策时要考虑能不能在安全距离内通过他船，即安全性收益，同时也要考虑不能偏离计划航线太远导致燃油消耗，即经济性收益，另外，选择避让策略时也要考虑是否符合《规则》要求，即社会性收益。

[0078] 船舶的自主避让行为决策是一个复杂的动态博弈过程，既可能包括有限理性的博弈，也可能包括完全理性的博弈；既可能是完全信息的动态博弈，也可能是不完全信息的动态博弈；既可能是离散动态博弈(序贯博弈、组合序贯同时博弈)也可能是微分博弈。

[0079] 用博弈框架研究船舶避碰问题是一个庞大的工程，为简化问题，针对完全理性下的完全且完美信息动态博弈展开示例研究。如图2所示，主要包括如下步骤：

[0080] 1、环境信息感知。通过AIS船舶自动识别系统、ARPA雷达、ECDIS电子海图信息系统、GPS系统、电子罗经系统、测深仪、计程仪等多个船舶传感器获取船舶周围的航行环境信息，包括但不限于船舶的位置、航向、航速、船舶静态信息、环境中的障碍物属性、位置、大小、形状等信息。本发明假设环境信息数据准确且完整，构成完全且完美信息动态博弈。

[0081] 2、态势理解。基于环境感知信息，判断是否存在碰撞危险，结合《规则》分析当前所处的航行场景，判断当前的会遇态势和碰撞危险程度，实现对航行态势的进阶认知理解。

[0082] 本发明结合相对动态舷角变化及雷达避碰转向示意图，提出船舶动态会遇态势划分方法。根据《规则》及驾驶认知实践，以本船为中心视角，以目标船的方位关系及可能的避让方式划分了十个会遇区域，在每个会遇区域又根据目标船与本船的航向、航速关系，将会遇态势(Encounter Situation，ES)划分为18种。如图4所示，具体的会遇场景划分结果如下表所示。

[0083] 表1动态会遇态势划分表

[0084]

[0085] 态势理解是船舶进行避让决策的基础，本发明为能更好地运用博弈理论求解船舶避碰问题，以国际海上避碰规则要求和船员海上避碰实践以及良好船艺的要求为基础，对各种会遇局面进行完全划分，即对每一需要采取避碰行动的会遇都能找到相应的会遇态势来指导避碰行为，充分考虑到两船在局面认识和行动上可能出现的不协调，保证判断结果的唯一性。明确船舶在当前会遇局面下应作出的符合规则的行动，进而考虑将避让决策对《规则》的遵守程度作为当前避让行为的社会性收益，以更好地选择合适的避让行为。

[0086] 3、确定避让行动优先级。为最大化贴近航海实际，本发明综合《规则》要求及综合考虑船舶操纵性、船舶类型、船舶航行状态以及不同局势下船舶间的避让关系等因素对避碰博弈决策的影响，提出一种避让行动优先级确定方法，在一个具体的博弈场景中确定唯一的避让行动优先级列表。

[0087] 表2动态博弈避让行动优先级列表

[0088]

[0089] 下面为避碰行动优先级求解实例：任意两船进行比较，最后求解出一个合理的避让行动序列。若存在回环，则任意选一个作为决策起点。

[0090] Ship‑A的避让行动优先级代码表示为：Pship_A＝A1B1C1D2...

[0091] Ship‑B的避让行动优先级代码表示为：Pship_B＝A1B1C1D3...

[0092] Ship‑C的避让行动优先级代码表示为：Pship_C＝A1B1C3...

[0093]

[0094] 行动优先级是船舶进行避让决策的先决条件，现有技术中船舶博弈避碰优先级确定方法存在以下不足：1、只考虑船舶总吨、船速两个因素，分别授予不同的权重，计算加权和作为船舶避碰博弈优先级，未能较好反映航海实际。2、主要通过量化碰撞危险度来确定行动优先级，且本船拥有绝对的行动优先权，有悖于航海实践。本发明为了最大化贴近航海实际，综合《规则》要求及驾驶航行实践提出一种避让行动优先级确定方法，可以较好地将船舶置于具体的航海实际中，考虑船员决策时所考虑的因素，根据周围环境信息、会遇态势及各船自身的固有属性，得出适合于各船的避碰行动顺序。

[0095] 4、确定避让行动集。根据船舶驾驶认知实践，航海上通常采用转向的方式进行避让，其优点是时间短、效果明显、操作简单、不依赖于备车等，船舶避让幅度可以通过几何的方式求解，故只需要确定其避让方式即可。本发明结合船舶驾驶认知实践将船舶i的基础避让行动集设计为：

[0096] Ai＝{L,S,R}

[0097] 其中，L(Left)表示左转避让，S(Steady)表示保向保速，R(Right)表示右转避让。

[0098] 避让行动集是船舶进行避让决策的策略保证，现有技术中博弈避让行动集均采用离散的角度集合{‑30°,‑20°,‑10°,0°,10°,20°,30°}，避让行动策略的数量与博弈的复杂度成指数增长关系，参与博弈的船舶数量越多，船舶可选择的行动越多，船舶的扩展空间越复杂，博弈求解的时间就越长，求解难度就越大。本发明将船舶避让方向通过动态博弈求解，具体的避让幅度通过集合解算求解，可以更好地加快求解速度，更加贴合航海实际，具体求解过程如下：

[0099] 本算例按照两船相距4海里为施舵时机解算船舶避让角度，同时假设两船以2海里安全避过，具体的解算角度可以表示为：

[0100] 以船舶采取向右转向行动为例：

[0101] 其中： DCPA为两船的最近会遇距离，d为两船相距距离。

[0102] 5、设计收益函数。本发明从驾驶实践出发，将船舶的博弈决策收益分解为安全性收益、社会性收益、经济性收益，并结合模糊理论，构建每个收益类别的隶属度函数。

[0103] 安全性收益主要考虑避让决策对船舶航行安全的影响，主要体现在采取避让行动后其他船舶的碰撞危险度相对增量ΔCRI变化，碰撞危险度增加，则行动越危险，安全性收益越低。假设船舶选取行动Ai，则对应的安全性收益为：

[0104]

[0105] 社会性收益主要考虑避让决策对《规则》的遵守程度，两船避让过程中要严格遵守《规则》要求，《规则》虽然未对多船会遇场景中船舶避让行为做出约束，但是船舶也不可随意选择避让行动，亦须尽最大程度的符合《规则》。

[0106] 假设两船会遇时，处于会遇态势ESi，其中一船按照《规则》要求船舶的行动为A′i，船舶从基础行动集选取的动作为Ai，若 即船舶的避让动作与《规则》要求对应时，认为符合规则，收益为1，其他不协调动作则认为背离规则，收益为0。

[0107]

[0108] 多船会遇时，每艘船舶与其他船舶均可能构成不同的会遇态势，同一艘船舶是直航船的情况下可能同时拥有避让义务，则应综合全局，选择最大程度符合规则的行动。

[0109]

[0110] 上式表示存在多个避让责任时，各个行动的收益，比如在某一个限定的四船会遇场景下，其中一艘船舶分别对其他三艘船舶的避让责任为直航、直航、右转避让，则船舶选择直航行动的社会收益为2/3，选择右转避让行动的社会收益为1/3，其他行动的社会收益为0。

[0111] 为使得收益达到自适应的效果，假设参与人为N，选取调节因子ξ为：

[0112]

[0113] 则船舶的社会性收益函数可表示为：

[0114] u2＝ξu'2+(1‑ξ)u2"

[0115] 经济性收益主要考虑船舶做出的避让决策对船舶能耗的影响，船舶偏转角度越大就越偏离初始航行状态，产生的能耗越大，经济性收益越小。假设船舶选取行动Ai，通过几何解算船舶的决策航向为ψdesired，船舶决策前航向为ψ，船舶采取行动Ai产生的航向增量为Δψ＝ψdesired‑ψ。则船舶选取行动Ai的经济性收益为：

[0116] u3＝cos(Δψ),(Δψ∈[0,90°])

[0117] 特别的，若船舶采取避让动作Ai未求解出可行的避让角度，则此动作的收益为0。

[0118] 综上，船舶选取避让行动Ai的综合收益为：

[0119]

[0120] 其中， 且ρi的值应随着避碰阶段的改变适当调整。

[0121] 收益函数是船舶进行避让决策的安全保证，现有技术中通过考虑船舶位置的偏移量以及DCPA、TCPA的增量变化来作为收益函数，未考虑所选行动对于规则的符合程度，本发明综合考虑船舶避碰实际，将船舶避碰前后的CRI变化量做为安全性收益，相比于DCPA、TCPA的增量变化安全表征程度更好。将船舶航向的增量作为经济性收益，相比于船位偏移量在能反映其经济性特征下计算更为简单。将船舶避让决策对《规则》的遵守程度作为社会性收益，以便将避碰规则较好地融入进避碰行动的选择，做出更好的避碰行动。

[0122] 6、构建避碰博弈树求解最优策略。通过构建博弈树直观且有效的表述决策者的动态博弈决策过程，较好地解释船舶避碰决策过程及原理，运用逆向归纳法从动态博弈的最后一个阶段博弈方的行动开始分析，采用逐步倒推的思想依次分析上一个阶段博弈方的行动选择，求解船舶最优的避碰行动序列。

[0123] 具体构建博弈树的方式如下所示：

[0124]

[0125]

[0126] 最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。