[0001] 本发明属于空间智能感知技术领域，具体涉及一种基于多任务分支检测的非合作航天器三维姿态检测方法。

[0002] 面向空间非合作目标三维姿态检测任务是空间态势感知系统的重要组成部分，也是当前人工智能发展的重要支撑技术。为维护空间安全，必须建设起覆盖范围广、识别准确率高、适应空间环境的智能感知系统，其最重要的手段就是三维目标检测算法。在现有三维目标检测算法中，基于单目图像的检测算法是其中最轻量化的一种，对传感器设备的要求最低，只依靠图像本身的像素分布信息，无其他深度辅助信息的输入，该算法的难点在于如何仅从二维图像恢复出物体的三维位姿信息。

[0003] 传统的检测算法专注于地面物体的检测，其有一个重要的约束条件为物体底面始终与地面平行，因此现有地面检测算法只需预测物体绕地面法向的旋转角度，在算法设计上，现有算法更倾向于转化为俯视图后再进行二维目标检测。受地面约束限制，对于物体的三维边界框来说，由“长、宽、高、X偏移、Y偏移、Z偏移和绕Z”这7个量可唯一确定，给检测过程中所需的损失函数和性能评估计算提供了便捷性。然而，对于空间非合作目标三维检测问题，由于其运动无约束，仅包含7个分量定义的边界框无法完整地描述空间旋转。因此，为满足空间三维目标检测任务需求，开发面向多维运动检测的空间目标三维检测方法十分必要。

[0004] 对于通用无约束的三维目标检测，如检测悬浮物体或者航天器时，物体失去了地面约束，不再能进行二维的转化，计算复杂度大幅提高。因此在数学原理的层面上，现有三维目标检测方法属于通用方法的一个特例，对旋转的描述只包含绕地面法向的单维旋转量，无法描述在失去地面约束之后的三维旋转。若仍基于现有方法，无法实现对三维空间中任意物体任意姿态的检测。

[0039] 下面将结合附图和实施例对本发明作进一步的详细说明。

[0040] 本发明是一种基于多任务分支检测的非合作航天器三维检测方法，训练、检测流程示意如图1所示，输入图片经过主干网络进行特征提取后，再经过多任务分支检测头部进行无约束三维姿态边界框的回归，并依据训练状态/测试状态对输出和网络更新进行调整。可用于涉及位姿估计、无约束三维姿态的检测任务。

[0041] 下面结合一个实例具体说明。

[0042] 步骤1：建立了一个空间无约束三维姿态检测的航天器数据模拟框架：通过在虚拟空间场景中进行准确的定姿定位和虚拟摄像，利用全角度、多距离和复杂背景的图片及相应标注，全面地描述了由二维图片到三维姿态的映射。其中，二维图片是数据集中的图片部分，通过对虚拟空间场景进行布置，实现完全姿态、可变距离、复杂背景等拍摄；三维姿态是数据集中的标注部分，对姿态进行高效的编码，并给出了解码方法。在三维相机坐标系下，将三个坐标轴称为X轴、Y轴、Z轴，如图6所示，则描述三维边界框的编码为由“X方向尺寸、Y方向尺寸、Z方向尺寸、X方向位移、Y方向位移、Z方向位移、绕X轴旋转角、绕Y轴旋转角、绕Z轴旋转角”9个量组成，用一个9维向量[X,Y,Z,W,H,L,rx,ry,rz]表示，各分量的物理意义如图7所示，图7展示了一个紧密包围着目标航天器的无约束三维姿态边界框，描述其长宽高、中心点坐标和三维旋转的量已在图中标出。结合相机标定矩阵，可还原三维旋转。其中向量的前三个量描述在物体自身坐标系下框的大小，中间三个量描述物体自身坐标系的原点在相机坐标系中的位置，最后三个量描述物体自身坐标系的三轴与相机坐标系的三轴的旋转关系，由欧拉角XYZ外旋顺序描述；解码时，通过[X,Y,Z]得到三维边界框的中心，通过[W,H,L]得到无旋转时8个顶点的三维坐标，再经由[rx,ry,rz]计算旋转后的点坐标。将各顶点坐标经过相机标定矩阵投影到二维成像平面后，按照特定次序连接可得到投影到二维图像上的三维边界框。

[0043] 步骤2：利用多分支深度神经网络进行检测获得候选检测框，总体网络框架如图2所示，提出了一种基于多任务分支检测的单目三维目标检测模型，对单目图像进行处理，准确高效的得到图像中待检测目标的类别和无约束三维姿态边界框；使用特征统一表征学习的主干网络模型，通过共享的多任务分支检测头部设计独立的任务导向头部(Head)，为实现多任务优化给每个头部设计平衡不同任务的单个损失函数，通过有较高解耦程度的多任务分支检测头进行编码向量中的各分支进行回归，包括尺寸、位移和旋转，以及目标检测所需的类别。通过构建面向多任务的智能模型实现对主干网络的高效复用和推理加速，降低对平台计算资源的占用。

[0044] 步骤3：对输出的无约束三维旋转边界框的检测结果进行评价筛选。应用如下标准：

[0045] 适用于无约束三维姿态边界框的旋转分量的检测效果评估标准IoU3d，计算无约束三维姿态边界框A与边界框B间的重合度与差值，即：

[0046]

[0047] 其中，表示令旋转角与B相同时的A框，∩表示取交集的运算，Vol表示体积，Δrx表示A与B两个无约束三维姿态边界框的rx分量之间做差，Δry与Δrz同理。

[0048] 无约束三维姿态边界框中包含位移与姿态，可以由此转化成为位姿矩阵，泽统一的计算位姿的损失函数LT由两个位姿矩阵之间的差的F范数即‖·‖运算表示：

[0049]

[0050]

[0051] 其中，Test表示多任务分支深度神经网络回归得到的无约束三维姿态边界框转化而来位姿矩阵， 表示由数据集中的标注转化而来的参考位姿矩阵，Terr表示差值矩阵，Tij表示矩阵中第i行j列的元素。

[0052] 评估无约束三维姿态边界框的中心度，以二值交叉熵作为损失函数计算什么模型中心度的损失Lc，即：

[0053]

[0054] 其中，和c分别表示无约束三维姿态边界框的中心度的预测值和真实值。

[0055] 由以上对候选结果进行评价筛选，提出了目标三维检测框高可信评估预测机制：

[0056] 首先是交并比IoU3d，传统的三维交并比计算方法利用地面约束将其转化为二维的交并比进行计算，然而在没有地面约束时，计算三维体积的重合部分存在相当的困难。于是计算没有旋转时两个三维边界框的交并比，再乘以三个欧拉角之差的余弦的积；其次是中心度，每个无约束三维姿态边界框都由多任务分支神经网络相应输出了一个中心度的值，代表该框的中心恰好为检测目标的中心的概率。如图3所示，经过多任务分支神经网络处理之后的图片输出大量低质量边缘检测框，为此，本发明基于上一步得到的图中的各候选结果，在多任务分支神经网络输出的对应每个无约束三维姿态边界框的类别概率的基础上乘以该框的中心度，降低边缘的边界框的得分，从而通过非极大值抑制(NMS)将误检测框架进行滤除，保留独特且置信度最高的检测结果，并将其输出作为预测值，预测结果如图4所示，最终每个航天器只会保留唯一的无约束三维姿态边界框。

[0057] 本发明结合PR曲线(Precision‑Recall curve)对所提出的航天器三维检测模型进行性能分析，这里以Deepspace和Astroe航天器作为检测对象进行模型效能分析。首先，通过模型的预测结果和真实标签计算得到每个样本的预测概率或得分。然后，根据当前阈值，可以计算出对应的精确率和召回率。进一步，使用PR曲线下面积(PR AUC)来定量评估模型的整体性能，利用多分支通用目标三维检测网络对两类航天器进行识别的PR曲线如图5所示，两类航天器均表现出了良好的空间三维检测效果。

[0058] 以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。