[0001] 本发明涉及点云分析和计算机视觉技术领域，尤其涉及一种梯度注意力图卷积网络的点云分析方法。

[0002] 随着激光雷达、毫米波雷达等光学传感器的普及以及自动驾驶、室内机器人等相关邻域的发展，点云分析模型受到了学术界和工业界的广泛关注。局部聚合符是点云分析模型最重要的技术之一，其有效的聚合了点云的邻域特征，极大的提高了模型在处理点云数据时的性能。目前，3D点云分析方法分为基于多视图的方法、基于体素的方法和基于点的方法。其中，基于多视图的方法将点云投影到各个视图中；基于体素的方法将点云体素化为规则的体素；基于点的方法直接对点特征进行提取。

[0003] 中国专利文献CN114219009A公开了一种“基于偏注意力机制和相互监督损失的点云下采样方法”。包括以下步骤：使用Simplify将原始点云简化为简化点云；使用Pointnet来提取原始点云和简化点云的语义特征；通过KNN算法找到简化点云在原始点云中的局部邻居；进行偏移注意力机制的特征融合；采用相似度投影卷积神经网络根据融合特征生成相似度分数，采用它们之间的距离与该分数配合以校正概率位置分布。上述技术方案利用多层感知机提取了点云特征差异和点云之间欧几里得位置距离，采用相似度投影卷积神经网络根据融合特征生成相似度分数，并利用它们之间的距离与该分数配合以校正概率位置分布。其缺点在于过于关注特征差异或是点云原始位置差异，而忽略了原始点云信息，导致模型性能下降，同时该提案只使用了距离信息构建注意力矩阵，这会导致模型精度产生波动。

[0057] 下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。

[0058] 实施例：本实施例的一种梯度注意力图卷积网络的点云分析方法，如图2所示，包括

[0059] 梯度图卷积网络：

[0060] 提出的梯度图卷积网络是由若干层并联的梯度卷积层和边缘卷积层组成的双通道模型，通过融合不同维度的空间特征来获得全局形状描述符。网络的输入是点云的原始特征，当输入分别经过若干层边缘卷积层和采样半径不同的梯度卷积层后，得到不同模态的点云嵌入，将它们合并后放入采样半径更大的梯度卷积层中，经过最大池化层后得到全局形状描述符。该描述符可以输入到分类器中进行三维形状识别和三维分割等任务。

[0061] 梯度图卷积网络流程如下所示：

[0062] 将点云原始特征分别放入若干个边缘卷积层和梯度卷积层，得到多模态的点云嵌入；

[0063] 合并多模态的点云嵌入，并将点云嵌入放入一个梯度卷积层和一个最大池化层中，得到最终输出。

[0064] 梯度卷积层：

[0065] 如图3所示，梯度卷积层包含了两个并行排列且采样半径大小不同的梯度卷积模块。我们将点云的原始特征和包含在原始特征中的绝对位置作为梯度卷积模块的输入。梯度卷积模块流程如下：

[0066] 1.利用最远点采样方法找到若干个中心点P的索引；

[0067] 2.利用球查询算法找到中心点P采样半径r范围内的M个最近邻点Q的索引；

[0068] 3.在P和Q之间建立有向图，得到它们间的相对位置以及边缘特征；

[0069] 4.通过点之间相对位置计算他们之间的天顶角矩阵和方位角矩阵，并利用两个角度显式构建邻域梯度注意力矩阵；

[0070] 5.将边缘特征放入多层感知器提取后，与邻域梯度注意力矩阵相乘，最后通过最大池化层，得到输出的邻域特征。

[0071] 梯度卷积模块：

[0072] 梯度卷积模块是梯度卷积层的核心。我们将点云的全局特征和绝对位置 作为梯度卷积模块的输
w‑1
入，w‑1为层数，F 为w‑1层的输出通道数，n为输入点云的数量。如公式1所示，我们总结了加权聚合边缘特征的关键流程：

[0073] 公式1梯度卷积模块步骤输入:全局特征Xw‑1；绝对位置P；采样半径r；采样点数k[0074] 1.利用球查询算法找到中心点pi∈P采样半径r范围内的k个最近邻点记为qij；

[0075] 2.建立有向图，得到相对位置 以及边缘特征

[0076] 3.通过相对位置 计算相对距离disij、天顶角Eij和方位角Aij；

[0077] 4.将天顶角Eij叉乘方位角Aij，得到边缘特征注意力矩阵G；

[0078] 5.sum(MLP *G):通过MLP提取高维特征后点乘边缘特征注意力矩阵G,最后使用sum函数聚合边缘特征到中心点。

[0079] 梯度卷积模块原理图。N表示点的个数，K表示每个中心点的邻居点个数，p代表中心点，q代表邻域中的某一点。输入(绿色框)是绝对位置(Nx3)和全局特征(NxC)，C表示输入的通道数，C1表示输出的通道数。(a)在输入原始点云上使用球查询算法得到每个点的邻域点。(b)建立一个有向图，得到边缘特征和相对位置矢量。(c)计算仰角和方位角以及构建边缘特征的注意力权重矩阵，epq为两点间相对距离矢量。(d)表示边缘特征和全局特征的聚合过程。相对坐标和距离(Nx4)为(b)的输出。

[0080] 如图5所示,首先(a)使用球查询算法在各个中心点半径r范围内选择k个最近邻点，表示为qij,i＝1,...,n,j＝1,...,k。然后(b)在邻域中建立有向图来获得相对位置矢量和边缘特征。通过改变r的大小，我们可以灵活调整梯度卷积模块的感受野，从而捕捉不同尺度的局部语义。梯度卷积模块具有两个通道，分别用来约束边缘特征和全局特征的聚合过程。上方通道经过(c)计算出点云相对位置矢量与空间坐标系的两个夹角(Eij、Aij)，并用这两个夹角明确构造边缘特征的注意力权重矩阵G。中心点pi与其相邻点qij之间的相对位置向量 表示为:

[0081]

[0082] 边缘特征 表示为：

[0083]

[0084] 我们使用点云自身的原始几何关系来约束边缘特征的聚合，赋予每条边不同的权重。中心点pi与相邻点qij之间的距离disij可以通过相对位置向量eij得到:

[0085]

[0086] 如图5中的(c)所示，我们首先建立一个正交的三维空间坐标系XYZ，然后将相对位置矢量eij投影到XY平面。相对位置向量与XY平面的投影向量在Z方向上的夹角记作天顶角Eij，投影向量与Y轴之间的夹角称为方位角Aij。它们可以根据位置矢量和相邻点之间的距离来计算:

[0087]

[0088] 梯度卷积模块利用权重函数H提取高维边缘特征， 在点云局部添加了距离约束，某一邻居点到其中心点的距离越短，其对应的边缘的权重越大。其中disin代表了中心点到其周围k个点距离的集合，disij代表中心点pi与相邻点qij之间的距离。聚合函数的目的是将边缘特征聚合到中心点pi。其表达如下:

[0089]

[0090]

[0091] 其中max表示最大池化操作，sum表示累加操作。下方通道利用中心点与相邻点之间的相对距离来约束输入的全局特征。第一个多层感知机用于提取全局特征的注意力权重，与全局特征交叉相乘后，通过第二个多层感知机提取高维特征：

[0092]

[0093] 将两个通道的输出相加，并通过最大池化层将特征聚合到中心点，即可实现最终输出：

[0094]

[0095] 边缘卷积层如图4所示：

[0096] 边缘卷积层输入为原始点云特征。边缘卷积层流程如下：

[0097] 1.使用输入为点云特征的k‑最邻近点搜索算法计算点云邻域，在每个点周围寻找K个邻域点作为该点的邻域，得到邻域特征；

[0098] 2.将原始点云特征的维度扩充至与邻域特征相同，并计算得到扩充维度后的原始点云特征和邻域特征之差，记为相对特征；

[0099] 3.合并相对特征和扩充维度后的原始点云特征，并将输出放入多层感知机和最大池化层中，得到最终输出。

[0100] 描述符可以输入到分类器中进行3D形状分类和3D语义分割等任务。

[0101] 进行3D形状分类具体实施例：

[0102] 3D形状分类网络包括若干梯度卷积层、边缘卷积层以及一个分类网络。其中梯度卷积分支中包含两个梯度卷积层和一个单独的MLP层，MLP层大小为(64,512)。每个梯度卷积层中包含一个MLP层以及两个并联且采样半径不同的梯度卷积模块。其中第一个梯度卷积层MLP参数为(3,16),梯度卷积模块采样半径分别为0.15和0.3；第二个梯度卷积层MLP参数为(64,128),梯度卷积模块采样半径分别为0.3和0.6。边缘卷积分支中包含三个边缘卷积层，其大小分别为(3,64),(64,128),(128,256)。随后，两个分支融合于一个梯度卷积层，该层无MLP，其梯度卷积模块采样半径分别为0.6和0.8。最后经过大小为(1536,10)的分类网络得到分类结果。

[0103] 进行3D语义分割具体实施例：

[0104] 3D语义分割网络包括若干梯度卷积层、边缘卷积层以及一个分割网络。其中梯度卷积分支中包含两个梯度卷积层和一个单独的MLP层，MLP层大小为(32,64)。每个梯度卷积层中包含一个MLP层以及两个并联且采样半径不同的梯度卷积模块。其中第一个梯度卷积层MLP参数为(3,16),梯度卷积模块采样半径分别为0.15和0.3；第二个梯度卷积层MLP参数为(32,32),梯度卷积模块采样半径分别为0.3和0.6。边缘卷积分支中包含两个边缘卷积层，其大小分别为(3,64),(64,64)。随后，两个分支融合于一个梯度卷积层，该层无MLP，其梯度卷积模块采样半径分别为0.6和0.8。再次经过一个大小为(384,1024)的MLP层后，将输出特征放入最大池化层，随后放入大小为(1024,10)的MLP层得到分割结果。

[0105] 本提案的保护点

[0106] 基于梯度的点云注意力模块：本提案显式的计算了天顶角和方位角来构建邻域注意力矩阵，因此，本提案第一次引入了梯度信息来约束邻域聚合过程；

[0107] 本提案是一种双通道网络，通过不同结构的分支网络来提取点云的多模态信息，这有利于提高网络性能；

[0108] 本提案使用了球查询方法进行下采样，然而为了保证邻域聚合的效果，在下采样的同时不断提高感受野，使得本申请的网络可以更好地感知点云形状。