[0001] 本发明涉及一种基于深度学习的深海潜艇搜寻对接方法及系统，特别是涉及视觉图像数据处理技术领域。

[0002] 深潜救生艇是指能潜入深海营救失事潜艇艇员的微型小艇。基本结构类似潜艇。排水量十余吨至数十吨，航速数节。续航力小，通常由深潜救生母船或打捞救生船携载至潜艇失事海区作业。艇的下部有简形连接装置，可与失事潜艇的救生平台相对接，形成通道，用于将失事潜艇内的人员营救到深潜救生艇内转送至母船上。

[0003] 现有技术中，潜艇救援是由母舰确认失事潜艇方位，再由驾驶员驾驶深潜救生艇搜寻失事潜艇并运动到失事潜艇上方，当救生艇运动到失事艇上方动力定位后，对接装置的四只机械手通过自主控制和协调控制，完成与失事艇目标环的初连接、救生艇对接裙与失事艇对接平台的自动对中和精确对接等作业。

[0004] 但潜艇作业环境常常位于深海，伴随恶劣水文气象环境下的完全黑暗、失重、潜流，一旦失事，救援难度极高，危险性极大，现有技术依靠驾驶员经验克服恶劣环境，搜救失事潜艇的准备性措施和复杂的主操作需要一个很长的时间周期，而对于待救援的失事潜艇而言时间就是生命，且大多数深海搜救艇不具备长时间航行能力，这更加考验驾驶员的操控技术，给救援任务带来了极大风险。

[0027] 在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。

[0028] 申请人认为现役深潜救生艇分为载人驾驶型号和无人远程遥控型号，这两种信号均需要驾驶员通过视觉观察搜寻失事潜艇位置，并驾驶至失事潜艇目标环的上方后，进行动力定位。动力定位后才能使用对接装置的四只机械手通过自主控制和协调控制，完成与失事艇目标环的初连接、救生艇对接裙与失事艇对接平台的自动对中和精确对接等作业。由于搜救环境恶劣、救援前期准备时间周期长、操控技术专业性强等客观环境原因，往往会导致救援任务存在极大的风险。

[0029] 针对现有技术中存在的问题，本申请提出一种基于深度学习的深海潜艇搜寻对接方法及系统，通过在深潜救生艇安装摄像头获取深海图像，以及接入基于深度学习的神经网络，使用计算机视觉进行目标检测，自动寻找失事潜艇，在行驶至失事潜艇上方后，自动定位对接目标环，并自动驾驶至目标环上方，进行动力定位，使用对接装置的四只机械手通过自主控制和协调控制，完成与失事艇目标环的初连接、救生艇对接裙与失事艇对接平台的自动对中和精确对接等作业。

[0030] 实施例一在一个实施例中，提出一种基于深度学习的深海潜艇搜寻对接方法，如图1所示，该方法具体包括以下步骤：
步骤1、搜寻失事潜艇的初始方位；
步骤2、根据搜寻到的方位下潜深潜救身艇；
步骤3、通过信息采集设备获取实时环境数据；
步骤4、构建基于深度学习的失事潜艇目标检测网络并接收所述实时环境数据，利用计算机视觉进行目标检测；
步骤5、根据所述失事潜艇目标检测网络的目标检测结果，定位失事潜艇的具体位置；
步骤6、所述深潜救生艇根据失事潜艇定位的具体位置行驶至失事潜艇上方；
步骤7、构建基于深度学习的潜艇对接目标环检测网络，接收信息采集设备获取到的实时环境数据，并进行目标检测分析；
步骤8、深潜救生艇根据所述潜艇对接目标环检测网络的检测结果自动定位对接目标环，并自动驾驶至目标环上方，进行动力定位；
步骤9、使用深潜救生艇对接装置的四只机械手通过自主控制和协调控制，完成与失事艇目标环的对接作业。

[0031] 本实施例针对深海环境失事潜艇救援的恶劣水文气象环境和深海搜救艇的复杂搜索和驾驶问题，提出一种自动搜寻对接的方法，在实现与失事艇目标环对接作业的同时，极大程度上提高搜救效率。

[0032] 实施例二在实施例一基础上的进一步实施例中，为了更好的获取失事潜艇的具体方位，采用声呐搜寻的方式进行初步定位。

[0033] 在进一步的实施例中，为了更好的在深海中搜寻到失事潜艇的位置，在失事潜艇的初步定位过程中，进一步获取潜艇失事前的相关数据，通过失事前的数据回传，初步锁定潜艇失事的大致区域，随后当支援母船到达大致区域后通过声呐进一步搜寻失事潜艇的方位。

[0034] 通过结合失事前的数据分析，针对潜艇失事后无法通信的情况，可以快速找到失事潜艇的大致方位，从而减少支援母船利用声呐大范围搜寻的时间，提高救援效率。

[0035] 实施例三在实施例一基础上的进一步实施例中，基于深度学习的失事潜艇目标检测网络架构包括的检测器包含主干网络和获取网络输出内容的网络。主干网络用于提取实时环境数据中的图像特征；获取网络输出内容的网络用于预测图像数据中的类别信息和目标物图的边界框。

[0036] 优选实施例中，如图2所示，以CSPDarknet53神经网络作为基于深度学习的失事潜艇目标检测网络的目标检测backbone主干网络，并在ImageNet可视化数据库上进行训练。除此之外，基于深度学习的失事潜艇目标检测网络还包括：SPP额外模块、PANet路径聚合neck和YOLOv3（基于锚的）获取网络输出内容的网络head。

[0037] 实施例四在实施例一基础上的进一步实施例中，当深潜救生艇通过计算机视觉系统搜寻到失事潜艇后，自动驾驶至失事潜艇上方，准备对接。此时，基于深度学习的失事潜艇目标检测网络停止工作，自动转换至基于深度学习的潜艇对接目标环检测网络运行。

[0038] 优选实施例中，如图3所示为基于深度学习的潜艇对接目标环检测网络架构示意图，基于深度学习的潜艇对接目标环检测网络是基于YOLOV4‑tiny目标检测架构的目标检测网络。YOLO v4‑tiny结构作为YOLOv4的精简版，属于轻量化模型，对应处理参数只有600万相当于原来的十分之一，这使得检测速度提升很大。

[0039] 整体目标检测网络结构共有38层，使用了三个残差单元，激活函数使用了LeakyReLU，目标的分类与回归改为使用两个特征层，合并有效特征层时使用了特征金字塔(FPN)网络，结合多层级的特征，大大提高多尺度检测的准确性。另外，使用了CSPnet结构，通过从网络阶段的开始和结束集成特征映射来注重梯度的可变性并对特征提取网络进行通道分割。

[0040] 在模型训练的过程中，优选实施例设定的对应权重参数为：训练参数为动量系数0.9、权重衰减系数为0.0005、训练迭代20000次、迭代0 15000时，学习率取0.001、迭代~
15000 18000时，学习率取0.0001、迭代18 000 20000时，学习率取0.00001。
~ ~

[0041] 本实施例提出的基于深度学习的潜艇对接目标环检测网络具备多任务、端到端、注意力机制和多尺度的特点。多任务即同时完成目标的分类与回归，实现参数共享，避免过拟合；端到端即模型接收图像数据后直接给出分类与回归的预测信息；注意力机制是重点关注目标区域特征进行详细处理，提高处理速度；多尺度的特点是将经过下采样和上采样的数据相互融合，其作用是能够分割出多种尺度大小的目标。

[0042] 除此之外，失事潜艇对接目标环检测任务，场景相对简单，目标距离较近，深潜救生艇此时已经靠近失事潜艇正上方，仅需要分辨出失事潜艇上的对接目标环位置并计算倾角即可。优选实施例选用轻量化模型YOLO v4‑tiny，在保证检测精度的同时，加快检测速度。

[0043] 实施例五在实施例一基础上的进一步实施例中，为了更好的提升检测模型的训练速度和检测精度，采用Mosaic数据增强、标签平滑、学习率余弦退火衰减方法进行模型训练。

[0044] 优选实施例中，使用Albumentations‑CLANE数据增强手段效果最好，CLAHE（对比度受限的自适应直方图均衡）：自适应直方图均衡化(AHE)用来提升图像的对比度的一种计算机图像处理技术。和普通的直方图均衡算法不同，AHE算法通过计算图像的局部直方图，然后重新分布亮度来改变图像对比度。因此，该算法更适合于改进图像的局部对比度以及获得更多的图像细节。AHE有过度放大图像中相同区域的噪音的问题，另外一种自适应的直方图均衡算法即限制对比度直方图均衡（CLAHE）算法，它能有限的限制这种不利的放大。

[0045] 实施例六在实施例一基础上的进一步实施例中，为了提高目标检测模型的识别准确度，采用数据集训练的方式进行性能提升，但是由于潜艇作为战略性武器，所以目前世界上并没有潜艇相关的计算机视觉数据集可供网络模型训练使用，因此，针对上述方案，本实施例进一步提出一种基于仿真的数据库构建方法，用于构建模型训练使用的数据集。具体构建原理和方法如下：
步骤a、采集不同情况下的差异化图像，构成差异化图像数据集；
步骤b、根据现有目标物的外形的特征构建不同方向下的仿真图像；
步骤c、将差异化图像数据集中的图像数据与不同方向下的仿真图像进行结合，获取目标图像数据集；
步骤d、将目标图像数据集进行数据增强；
步骤e、根据数据增强后的图像数据构建最终的目标检测数据集。

[0046] 现代潜艇按艇体线型的形状可分为三种，即常规型、水滴型和过渡型。常规型潜艇是第一次世界大战前后潜艇采用的线型。这种潜艇的侧面形状与水面舰艇相似；为了降低航行时的兴波阻力，首部做成类似水面舰船首部的形状；为了使潜艇在有风浪的海面上有较好的适航性，首部有很大的脊弧并设有浮力舱，依靠浮力舱提供的浮力来改善潜艇在风浪中的埋首现象。这种艇型适宜于水面航行，但对提高水下航速是不利的。随着对潜艇水下航速要求的不断提高，人们对常规型潜艇的艇型进行了一系列改进。现代常规型潜艇取消了首脊弧和浮力舱，并将艇首的前倾角取消，改成了直首柱。水滴型潜艇的线型特点是首部呈圆钝的纺锤形，潜艇的横剖面几乎都为圆截面，艇身从中部开始向后逐渐变细，尾部呈尖尾状。水滴型潜艇的水下阻力小，有利于提高水下航速，但水滴型潜艇的水面航行性能较差，艇首容易上浪，而且易出现埋首现象。有的水滴型潜艇为了提高水面航行性能，采用了艇首浮力舱。过渡型潜艇是把常规型的直首和水滴型的尖尾相结合的一种潜艇线型，这种潜艇的水面航行性能优于水滴型，而水下航行性能优于常规型潜艇。由于现有潜艇外形基本已囊括在内，外形改动较小，且各国海军潜艇涂装基本为纯色，因此利用潜艇仿真图像组成数据集训练失事潜艇目标检测网络模型有很高的可行性。

[0047] 优先实施中，如图4所示构建一种基于仿真的数据库过程如下：首先，收集来自不同海域的在不同海况下的差异化海底图像，组成海底图像数据集；
其次，根据现有潜艇的不同外形设计不同设计方向的潜艇仿真；
再次，将不同海域在不同海况下的海底图像与不同设计方向的潜艇仿真图像合成为潜艇失事沉底的仿真图；
从次，针对深海环境恶劣水文气象环境进行图像增强，得到各个不同海域，各种海况气象水文条件下各型号潜艇的失事仿真图像；
最后，根据各种海况气象水文条件下各型号潜艇的失事仿真图像，构建失事潜艇目标检测数据集。

[0048] 在进一步的实施例中，为了准确定位失事潜艇对接目标环的位置，基于构建好的失事潜艇目标检测数据集，通过对各个失事潜艇仿真模型根据沉没倾角、方向的不同加入对接目标环，进一步组成新的潜艇对接目标环数据集，并用于训练基于深度学习的潜艇对接目标环检测网络。如图7所示为潜艇对接目标环示意图，其中目标环为图中白色圆圈标识。

[0049] 在进一步的实施例中，将不同海域在不同海况下的海底图像与不同设计方向的潜艇仿真图像合成为潜艇失事沉底的仿真图时，使用一种生成对抗网络与空间变换网络相结合的潜艇失事沉底图像生成方法，该方法以生成式对抗网络为基础，结合多尺度卷积核对图像进行不同尺度的特征提取，同时引入沃瑟斯坦散度作为度量真实样本和合成样本之间的距离，以此来优化生成器的性能。通过实验数据可看出本实施例提出方法在没有对原始图像进行任何标注的情况下，可以有效地利用海底图片生成潜艇失事沉底图，且合成的图像具有较高的真实性。

[0050] 具体的，原始生成式对抗网络采用JS距离进行两个分布之间差异的衡量，并通过将JS散度作为优化目标最终得到优化的生成网络。但是这只能在两个分布有重叠部分时才成立，如果原始图像和生成的图像在分布上没有重叠部分或重叠部分可忽略不计，则对应的JS散度就是一个固定值，这样无论如何训练都无法得到优化的生成器。针对出现的问题，采用W距离进行两个分布之间差异的衡量，W距离是计算所有联合分布中能够对期望值取到的下界，其对应的表达式为：式中， 表示真实样本分布； 表示生成的样本分布； 表示联合分布；
表示样本x，与样本y之间的距离； 表示符合联合分布的期望值。

[0051] 为了最小化W距离，分别针对生成器与判别器构建对应的损失函数G和损害时函数D；其中损失函数G和损失函数D对应的表达式为：式中， 表示样本x的方差， 表示生成样本的期望； 表示真实样本的
期望。

[0052] 在本实施例生成式对抗网络中，判别器的输入数据是由真实的海底沉没的潜艇图像和合成的潜艇失事沉没图像构成。而合成图像则是通过空间变换网络生成的变形后的潜艇图像和未遮挡海底图像进图像融合产生的，空间变换网络的参数则是由生成器生成而来。通过判别器对图像进行判别后，输出一个分值来表示图像合成的质量。其中，判别器与生成器相比在于其并没有使用全连接层，而是经过一个3×3的卷积得到5×5×1的矩阵来计算得分。如图3所示的训练流程图可知，本实施例通过不断的优化变换参数的值来优化对潜艇进行的投射变换，并最终获得较好的合成图像。其中涉及到的生成式对抗网络整体结构如图5所示：在进一步的实施例中，合成的潜艇失事沉底仿真图是通过空间变换网络生成的变形后的潜艇图像和未遮挡海底图像进行图像融合产生的，其中空间变换网络包括：本地化网络、参数采样网络和图像采样网络。

[0053] 具体的，本地化网络的输入是原始的图片，输出是一个变换参数，它映射的是输入图片和理想图片的坐标关系。参数采样网络则是对特征图像进行仿射变换，通过变换参数和输入特征图的坐标位置，得到对应的特征关系。而图像采样是经过前两个网络得到的特征关系对原图像进行变换以得到期望的图像。其主要思想是对输入的图像进行空间变换，输出一张变换后的理想图像。

[0054] 本实施例采用空间变换网络将失事潜艇图像进行变换使其符合海底轮廓，从而得到逼真的失事潜艇沉底图像。另外，采用空间变换网络可以不用提前对失事潜艇图像进行控制点标注，进一步提高了算法的实用性。其对应的训练流程如图6所示。

[0055] 实施例七在一个实施例中，提出一种基于深度学习的深海潜艇搜寻对接系统，该系统具体包括：
定位模块、被设置为对失事潜艇的初位置进行预判；
图像采集模块、被设置为通过信息采集设备获取实时环境数据；
目标检测网络、被设置为根据图像采集模块获取到的环境数据进行失事潜艇位置的精准识别；
目标环检测网络、被设置为根据图像采集模块获取到的环境数据进行失事潜艇对接目标环位置的精准识别；
机械指令生成模块、被设置为根据目标环检测网络的识别结果生成对应的机械控制指令；
对接模块、被设置为根据机械指令生成模块生成的机械控制指令驱动对接装置进行对接。

[0056] 在进一步的实施例中，定位模块首先对失事潜艇的位置的进行初步探索，当找寻到实时潜艇的位置后，深浅救生艇下潜至失事潜艇位置附近；随后，图像采集模块实时获取当前的环境数据，并传输至目标检测网络进行失事潜艇具体的位置的精准定位；其次，当深潜救生艇通过目标检测网络的识别结果搜寻到失事潜艇后，自动驾驶至失事潜艇上方，并调用目标环检测网络对失事潜艇对接目标环位置进行识别；再次，根据目标环位置的识别结果生成对应的机械控制指令；最后，对接模块根据机械指令生成模块生成的机械控制指令驱动对接装置进行对接，完成对失事潜艇的对接救援。

[0057] 优选实施例中，如图8所示为深潜救生艇自动对接效果图，对接装置包括四只机械手，通过自主控制和协调控制，完成与失事艇目标环的初连接、救生艇对接裙与失事艇对接平台的自动对中和精确对接等作业。

[0058] 综上，本发明提出失事潜艇救援方法通过水面支援母舰通过声呐确定失事潜艇方位后释放深潜救生艇，深潜救生艇利用基于深度学习的失事潜艇目标检测网络实时分析摄像头拍摄画面，搜寻失事潜艇。当搜索到失事潜艇，自动驾驶靠近至失事潜艇正上方，开启深度学习的潜艇对接目标环检测网络，定位失事潜艇的对接目标环，并实现自动靠近连接对接装置，实现对失事潜艇的对接救援。整体过程自动化，无需人为干预，利用深度学习计算机视觉搜索失事潜艇，使得整个救援过程在更高效的同时，准确率也达到进一步的提升。

[0059] 如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。