技术领域
[0001] 本发明属于三维点云配准技术领域，具体涉及一种基于深度学习的工业场景点云多模态配准方法及系统。
相关背景技术
[0002] 点云配准是三维重建技术的核心问题之一，在智能工业制造领域具有广泛的应用。如对工业零件的多视角点云重建，可用于后续缺陷检测；再例如通过配准多视角点云，估计机械臂的位姿变换，以进行工业零件的拾取。
[0003] 由于点云扫描设备的视域范围有限，一次扫描并不能完整地捕获整个对象的点云数据，需要对目标对象进行多视角扫描，这将导致目标对象在扫描设备中发生相对位置的变化。点云配准的目标就是估计出上述多视角点云之间的相对位置变化,即刚性变换矩阵，将多个视角的点云对齐，以此重建出目标对象完整的三维点云，使得后续工业场景中的零件抓取与缺陷检测等工作顺利开展。
[0004] 点云配准流程大致分为三步：特征提取，对应点估计，刚性变换求解。其中如何提取具有区分性的特征对于提升配准性能至关重要，一个良好的特征提取方法，可以产生数量充足的正确对应点对，实现高精度的点云配准。点云配准的特征提取方法主要分为两类：传统方法和深度学习方法。传统的点云配准特征提取依赖于手工特征描述子，该类特征局限于提取表面形状信息，特征表示能力有限。基于深度学习的特征提取器能够获取更具区分性的深度语义特征，实现更鲁棒的高精度点云配准。然而，现阶段基于深度学习的点云配准方法大多聚焦于利用点的几何结构信息提取特征，这在具有大量重复的平面结构点云中会削弱特征的可区分性。RGB‑D深度相机与结构光相机等传感器的发展为同时获取点云及对应帧的图像数据创造了条件，促进了视觉领域多模态技术的发展。相较于点云，图像包含更丰富的纹理信息。因此，研究在点云配准中有效结合图像纹理信息，增强含重复平面的点云特征可区分性，提升点云配准的精度和效率具有重要的研究意义和实用价值。
[0005] 此外，基于公开数据集训练得到的点云配准深度神经网络难以泛化至工业场景小样本数据集中。领域自适应方法能够显著提升模型的泛化性能。因此，基于领域自适应方法，研究将公开数据集上训练完成的模型迁移至未见的小样本数据集上，并达到与公开数据集相同的测试精度，同样是一项具有重要研究价值的任务。
具体实施方式
[0066] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0067] 在本发明的描述中，需要理解的是，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0068] 还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0069] 还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本发明中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0070] 应当理解，尽管在本发明实施例中可能采用术语第一、第二、第三等来描述预设范围等，但这些预设范围不应限于这些术语。这些术语仅用来将预设范围彼此区分开。例如，在不脱离本发明实施例范围的情况下，第一预设范围也可以被称为第二预设范围，类似地，第二预设范围也可以被称为第一预设范围。
[0071] 取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
[0072] 在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
[0073] 本发明提供了一种基于深度学习的工业场景点云多模态配准方法，采用用于无监督点云配准的自适应多模态特征融合网络(Multimodal‑Feature Fusion and Domain Adaptable Network for Unsupervised Point Cloud Registration，MFDA‑Net)，并将其用于两不同视角部分对应点云的配准，MFDA‑Net遵循点云配准的一般流程：特征提取，对应点估计，估计器求解，通过交叉注意力多模态特征融合模块(Cross Attention Multimodal‑Feature Fusion Block，CAMF‑Block)，融合图像纹理信息与点云结构信息，以增强网络的特征提取能力；此外提出梯度反转域感知模块(Gradient Reversal Domain Aware Block，GRDA‑Block)，进一步增强网络在未见数据集上的泛化性能；最终将本发明方法应用于7Scenes公开数据集和工业零部件数据，公开数据集和工业零部件数据的结果均体现出MFDA‑Net网络良好的配准性能。
[0074] 首先，CAMF‑Block旨在融合图像的纹理信息与点云的结构信息；其次，为了增强网络在未见数据集上的泛化性，本发明在网络特征提取后引入GRDA模块，引入生成对抗的思想，对每个输入网络的样本预测领域类别标签，并通过梯度反转模块将域分类器模块的梯度变为原始梯度的相反数，进而削弱特征提取模型对源域样本和目标域样本的可区分性，从而提升模型域自适应能力。7Scenes公开数据集和工业零部件数据集的配准结果表明，MFDA‑Net能够充分融合点云结构信息与图像纹理信息，同时对于未见数据集有很好泛化能力。规避了传统方法的弊端，改进了现有深度学习方法的缺陷，很大程度上提高了点云配准的精度。
[0075] 请参阅图1、图2和图3，本发明一种基于深度学习的工业场景点云多模态配准方法，包括以下步骤：
[0076] S1、训练数据集由公开数据集和工业零部件数据集两部分构成；
[0077] 公开数据集7scenes来自网站(https://www.microsoft.com/en‑us/research/project/rgb‑d‑dataset‑7‑scenes/)，包含7个场景，所有场景均由手持式Kinect RGB‑D相机以640×480的图像帧记录，每个样本包含一个场景点云与对应图像，其中点云由连续的50帧深度图合成；将样本点云沿相机主轴进行投影，在50帧RGB图像中筛选与投影最接近的图像，作为某该样本点云的对应图像；最终获取7scenes数据集共计1184个样本，每个样本包扩目标物体的点云与对应RGB图像。
[0078] 公开数据集7scenes由手持Kinect RGB‑D相机采集得到，数据集中的每个点云由连续50帧RGB图像与深度图合成，对7Scenes中每个点云沿相机主轴进行投影，在相应50帧RGB图像中筛选与点云投影最接近的图像作为点云对应RGB图像，工业零部件数据集分为简单背景工件数据和复杂背景工件数据两部分，由Mech‑Eye PRO结构光相机对工业零部件分别在纯背景板与复杂车间两个背景下采样得到，直接获取高密度点云与对应视角的图像。
[0079] 工业零部件数据集由Mech‑Eye PRO结构光相机在工业零部件上采样得到，包含两个场景：纯背景板下采样与复杂车间背景采样。每次采样获得的样本由一个场景点云与分辨率为1920*1200的图像构成，共计48个样本，其中25个纯背景板样本与7scenes公开数据集共同组成训练集，23个复杂车间背景样本作为测试集用于验证模型的领域自适应性能。
[0080] 进一步的，对于每个样本中的RGB图像，通过双线性插值将分辨率统一为320*480，对于每个样本中的点云，将其下采样为2048个点并进行点云归一化处理；沿x,y,z轴对点云进行旋转和平移变换，旋转角度与平移距离分别在 与[‑0.5,0.5]上均匀采样，并对刚性变换前后两点云分别下采样1536个点(完整点云的75％)，得到源点云P1与目标点云P2，模型输入为两不同视角点云P1，P2与对应RGB图像，以模拟两不同视角下部分对应的点云对。
[0081] S2、引入交叉注意力机多模态特征融合模块(CAFM‑Block)将图像特征与点云特征融合，以充分利用每个样本数据的纹理信息和结构信息，提高网络的特征提取能力；
[0082] 具体如下：
[0083] 交叉注意力多模态特征融合模块(CAFM‑Block)被引入到特征提取器与对应点估计器之间，用于充分融合图像和点云两种模态的信息。
[0084] 首先，输入的图像与点云分别为3*320*480和1536*3大小的矩阵；通过ResNet18和DGCNN提取高维特征，分别得到128*40*60和1536*128大小的特征矩阵FI和FP。
[0085] 将FI和FP输入CAFM模块，通过两个参数不共享的MLP将FI和FP分别映射为注意力机制的键(Key)、值(Value)与查询(Query)；键(Key)、值(Value)与查询(Query)分别是大小为128*40*60、128*40*60与1536*128的矩阵；通过点积注意力计算Query与Key中各元素之间的相似度，对相似度进行softmax操作，获得每个Query元素对所有Key元素的注意力权重。
基于上述注意力权重对Value各元素加权求和，得到大小为1536*128的加权向量Fconcate，并与点云特征FP在特征维度进行拼接，得到1536*256的特征矩阵，通过多层感知机将上述256维的特征映射为128维，并与点云特征FP相加，得到1536*128的融合特征Ffused。
[0086] S3、梯度反转域感知模块以生成对抗的方式，构造与对应点估计模块并行的领域分类器结构，预测融合特征Ffused的域类别标签，以计算域自适应损失Lda，削弱特征提取器对于源域样本和目标域样本的区分能力，从而实现领域间的不可区分性；
[0087] 梯度反转域感知模块由梯度反转模块与两个全连接层构成的域分类器串行构成，其中梯度反转模块在模型进行梯度反向传播时返回梯度的相反数，同时不影响梯度的前向传播；梯度反转模块的前向传播与反向传播函数定义如下：
[0088] Fforward(x,α)＝α·x
[0089] Fbackward(grad)＝‑α·grad
[0090] 其中，x表示梯度反转层前一层的输入，α表示超参数，grad代表网络梯度反向传播时后一层返回的梯度。
[0091] S301、将融合特征Ffused依次输入梯度反转模块与域分类器，得到样本的域类别标签 (公开数据集7Scenes样本为源域，真实标签为0；纯背景板工件样本为目标域，真实标签为1)；
[0092] S302、根据域类别标签的预测标签与真实标签计算焦点损失(Focal Loss)，作为域自适应损失Lda；
[0093] S303、对域自适应损失Lda进行反向传播时，域分类器模块的梯度将变为原始梯度的相反数，进而削弱特征提取模型对源域样本和目标域样本的可区分性，从而达到模型领域自适应能力的提升。
[0094] S4、两不同视角点云P1与P2融合图像纹理信息后的特征分别由 与 表示，计算两点云的点特征之间的欧式距离，获取匹配矩阵M，基于匹配矩阵M进行对应点估计，以获取高质量的对应关系，为后续的配准过程提供基础；
[0095] S401、对于两视角点云 与 中的任意两点 点对应融合特征为 计算点对之间的特征距离：
[0096] S402、将特征距离转换为概率分布以表示点对之间的匹配得分，进而确定两点之间的对应关系，得到匹配矩阵Mij＝softmax([‑Di1,...,‑DiM])j；
[0097] S403、将点云P1中的每个点 与点云P2中的所有点 按照匹配矩阵M的匹配权重进行加权求和，得到伪目标点 的位置。
[0098] 具体计算公式为：
[0099]
[0100] 其中，为全体实数集合， 三维欧式空间。
[0101] S5、基于点云P1与伪点云P′2之间的对应点关系，进行加权奇异值分解，以估计两视角点云P1与P2之间的刚性变换；
[0102] S501、计算每个对应点对{p1i,p′2i}的权重wi＝∑jMij；
[0103] S502、计算点云P1与P2之间的协方差矩阵，具体计算公式为：
[0104]
[0105] S503、对协方差矩阵H进行奇异值分解，得到H＝UΣVT；
[0106] S504、得到旋转矩阵R＝UVT，平移向量 其中
[0107] S6、将步骤S5得到的旋转矩阵与平移向量的估计值作用至点云P1，得到 并将与P2作为神经网络的输入，将步骤S2至步骤S5重复迭代n次，得到点云P1刚性变换后的最终估计坐标位置，记作 综合考虑模型的精度与计算性能，选择迭代次数为3；
[0108] S7、网络输出为域类别标签和旋转矩阵与平移向量的预测值；
[0109] 基于步骤S3得到的域类别预测标签 与域类别标签的真实值y，计算预测结果与真实值之间的焦点损失(Focal loss)，作为域自适应损失Lda，具体计算公式为：
[0110]
[0111] 其中，样本的真实标签y为0，代表该样本来自于源域(公开数据集)；样本的真实标签y为1，代表该样本来自于目标域(纯背景板工业零部件数据集)；γ为超参数，用于控制模型对难分类样本的侧重程度；本发明模型中设置γ为2；α为超参数，表示少数类样本在损失函数中的权重；本发明模型中设置α为0.75。
[0112] 基于模型估计的总旋转矩阵与平移向量，得到配准后的第一视角点云，计算其与第二视角点云之间的倒角距离(chamfer distance)作为配准损失Lreg。具体计算公式为：
[0113]
[0114] 其中，P,Q分别表示三维空间中两不同点云；p,q代表点集P,Q中任意一点。
[0115] 其中，lβ是Huber函数，定义如下：
[0116]
[0117] 将上述配准损失与域自适应损失相加得到神经网络的总体损失L，具体计算公式为：
[0118] L＝Lreg(P1,P′2)+δ·Lda(P2)
[0119] 经过多次实验，δ选为1。
[0120] S8、为了评估所提出网络的配准性能，本发明选择欧拉角均方根误差(EulerRMSE)、平移向量均方根误差(tRMSE)与倒角距离(Chamfer Distance,CD)作为定量指标，衡量网络的配准性能。
[0121] 欧拉角均方根误差具体计算步骤如下：
[0122] S801、将旋转矩阵的预测结果和真实值转换成欧拉角；
[0123] 转换公式如下：
[0124]
[0125]
[0126]
[0127] 其中，φ,θ,ψ分别代表欧拉角中的俯仰角、偏航角、滚转角。Rij表示旋转矩阵中第i行第j列的元素。
[0128] S803、计算欧拉角均方根误差：
[0129]
[0130] 其中，φ,θ,ψ表示由旋转矩阵真实值转换得到的欧拉角真实值， 分别表示φ,θ,ψ的预测值。
[0131] 平移向量均方根误差具体计算公式如下：
[0132]
[0133] 其中，t1,t2,t3分别表示平移向量真实值在X,Y,Z轴的分量， 表示t1,t2,t3的预测值。
[0134] 倒角距离的具体计算公式如下：
[0135]
[0136] 其中， P2分别表示配准后的第一视角点云与第二视角点云； p2分别代表点集P2中任意一点。
[0137] 可视化效果通过比较ICP，Go‑ICP，DCP与本发明模型在工业零部件数据集上的配准结果来呈现。
[0138] 本发明再一个实施例中，提供一种基于深度学习的工业场景点云多模态配准系统，该系统能够用于实现上述基于深度学习的工业场景点云多模态配准方法，具体的，该基于深度学习的工业场景点云多模态配准系统包括数据模块、提取模块、感知模块、融合模块、加权模块、迭代模块、训练模块以及输出模块。
[0139] 其中，数据模块，将工业零部件数据集划分为训练集和测试集；
[0140] 提取模块，将样本图像I输入残差神经网络提取RGB图像特征FI，将样本点云P输入动态图神经网络提取点云特征FP，将图像特征FI与点云特征FP经交叉注意力多模态特征融合得到融合特征Ffuse；
[0141] 感知模块，将得到的融合特征Ffuse经梯度反转域感知得到输入样本的域类别预测标签
[0142] 融合模块，将两不同视角下的点云P1,P2与对应图像经交叉注意力多模态特征融合，分别得到融合图像纹理信息后的特征 与 计算P1中每个点p1i与P2中每个点p2j对之间的特征匹配矩阵M(mij)，mij代表P1的第i个点与P2中的第j个点之间的匹配程度，基于特征匹配矩阵M的第i行对每一列的点云P2的空间坐标位置p2j加权得到p′2u，{p1i,p′2i}构成一个对应点对；
[0143] 加权模块，计算每个对应点对{p1i,p′2i}的权重wi，并基于得到的对应点对{p1u,p′2i}与权重wi进行加权奇异值分解，得到将点云P1变换到P2的旋转矩阵R与平移向量t的估计值；
[0144] 迭代模块，将旋转矩阵R与平移向量t的估计值作用至点云P1，得到 重复迭代，得到点云P1刚性变换后的最终估计坐标
[0145] 训练模块，将最终估计坐标 与点云P2之间的倒角距离作为配准损失Lreg，将域类别预测标签 与真实标签y之间的焦点损失作为域自适应损失Lda；将配准损失Lreg和域自适应损失Lda相加得到MFDA‑Net模型总体损失L，对MFDA‑Net模型进行训练；
[0146] 输出模块，将训练集和测试集输入训练好的MFDA‑Net模型中，通过定量指标分析配准结果。
[0147] 本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于基于深度学习的工业场景点云多模态配准方法的操作，包括：
[0148] 将工业零部件数据集划分为训练集和测试集；将样本图像I输入残差神经网络提取RGB图像特征FI，将样本点云P输入动态图神经网络提取点云特征FP，将图像特征FI与点云特征FP经交叉注意力多模态特征融合得到融合特征Ffuse；将融合特征Ffuse经梯度反转域感知得到输入样本的域类别预测标签 将两不同视角下的点云P1,P2与对应图像输入交叉注意力多模态特征融合模块，分别得到融合图像纹理信息后的特征 与 计算P1中每个点p1i与P2中每个点p2j对之间的特征匹配矩阵M(mij)，mij代表P1的第i个点与P2中的第j个点之间的匹配程度，基于特征匹配矩阵M的第i行对每一列的点云P2的空间坐标位置p2j加权得到p′2i，{p1i,p′2i}构成一个对应点对；计算每个对应点对{p1i,p′2i}的权重wi，并基于对应点对{p1i,p′2i}与权重wi进行加权奇异值分解，得到将点云P1变换到P2的旋转矩阵R与平移向量t的估计值；将的旋转矩阵R与平移向量t的估计值作用至点云P1，得到 重复迭代，得到点云P1刚性变换后的最终估计坐标 将最终估计坐标 与点云P2之间的倒角距离作为配准损失Lreg，将域类别预测标签 与真实标签y之间的焦点损失作为域自适应损失Lda；将配准损失Lreg和域自适应损失Lda相加得到MFDA‑Net模型总体损失L，对MFDA‑Net模型进行训练；将训练集和测试集输入训练好的MFDA‑Net模型中，通过定量指标分析配准结果。
[0149] 本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。
需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(Non‑Volatile Memory)，例如至少一个磁盘存储器。
[0150] 可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关基于深度学习的工业场景点云多模态配准方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
[0151] 将工业零部件数据集划分为训练集和测试集；将样本图像I输入残差神经网络提取RGB图像特征FI，将样本点云P输入动态图神经网络提取点云特征FP，将图像特征FI与点云特征FP经交叉注意力多模态特征融合得到融合特征Ffuse；将融合特征Ffuse经梯度反转域感知得到输入样本的域类别预测标签 将两不同视角下的点云P1,P2与对应图像输入交叉注意力多模态特征融合模块，分别得到融合图像纹理信息后的特征 与 计算P1中每个点p1i与P2中每个点p2j对之间的特征匹配矩阵M(mij)，mij代表P1的第i个点与P2中的第j个点之间的匹配程度，基于特征匹配矩阵M的第i行对每一列的点云P2的空间坐标位置P2j加权得到p′2i，{p1i,p′2i}构成一个对应点对；计算每个对应点对{p1i,p′2i}的权重wi，并基于对应点对{p1i,p′2i}与权重wi进行加权奇异值分解，得到将点云P1变换到P2的旋转矩阵R与平移向量t的估计值；将的旋转矩阵R与平移向量t的估计值作用至点云P1，得到 重复迭代，得到点云P1刚性变换后的最终估计坐标 将最终估计坐标 与点云P2之间的倒角距离作为配准损失Lreg，将域类别预测标签 与真实标签y之间的焦点损失作为域自适应损失Lda；将配准损失Lreg和域自适应损失Lda相加得到MFDA‑Net模型总体损失L，对MFDA‑Net模型进行训练；将训练集和测试集输入训练好的MFDA‑Net模型中，通过定量指标分析配准结果。
[0152] 请参阅图6，终端设备为计算机设备，该实施例的计算机设备60包括：处理器61、存储器62以及存储在存储器62中并可在处理器61上运行的计算机程序63，该计算机程序63被处理器61执行时实现实施例中的储层改造井筒中流体组成计算方法，为避免重复，此处不一一赘述。或者，该计算机程序63被处理器61执行时实现实施例储层改造井筒中流体组成计算系统中各模型/单元的功能，为避免重复，此处不一一赘述。
[0153] 计算机设备60可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。计算机设备60可包括，但不仅限于，处理器61、存储器62。本领域技术人员可以理解，图6仅仅是计算机设备60的示例，并不构成对计算机设备60的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。
[0154] 所称处理器61可以是中央处理单元(Central Processing Unit，CPU)，还可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field‑Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0155] 存储器62可以是计算机设备60的内部存储单元，例如计算机设备60的硬盘或内存。存储器62也可以是计算机设备60的外部存储设备，例如计算机设备60上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。
[0156] 进一步地，存储器62还可以既包括计算机设备60的内部存储单元也包括外部存储设备。存储器62用于存储计算机程序以及计算机设备所需的其它程序和数据。存储器62还可以用于暂时地存储已经输出或者将要输出的数据。
[0157] 请参阅图7，终端设备为芯片，该实施例的芯片600包括处理器622，其数量可以为一个或多个，以及存储器632，用于存储可由处理器622执行的计算机程序。存储器632中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器622可以被配置为执行该计算机程序，以执行上述的可泛化通用单目绝对深度图估计方法。
[0158] 另外，芯片600还可以包括电源组件626和通信组件650，该电源组件626可以被配置为执行芯片600的电源管理，该通信组件650可以被配置为实现芯片600的通信，例如，有线或无线通信。此外，该芯片600还可以包括输入/输出接口658。芯片600可以操作基于存储在存储器632的操作系统。
[0159] 为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0160] 请参阅图4、图5，图4、图5分别呈现了四种不同点云配准算法对于工业零部件数据集与公开数据集7Scenes的配准效果，图4(a)和图4(b)与图4(c)显示了在工业零部件数据集上用传统方法ICP(Iterative Closest Point)，Go‑ICP(Global Iterative Closest Point)与深度学习方法DCP(Deep Closet Point Registration)进行配准的可视化结果，图4(d)显示了用本发明模型进行配准的可视化结果；图5(a)和图5(b)与图5(c)显示了在工业零部件数据集上用传统方法ICP(Iterative Closest Point)，Go‑ICP(Global Iterative Closest Point)与深度学习方法DCP(Deep Closet Point Registration)进行配准的可视化结果，图5(d)显示了用本发明模型进行配准的可视化结果。
[0161] 显而易见本发明模型在工业零部件数据集以及7scenes数据集上的配准效果均远优于传统方法ICP，Go‑ICP与深度学习方法DCP。
[0162] 表1 为对本发明进行消融实验的结果展示。
[0163]
[0164] 请参阅表1，表1展示了基准模型、在基准模型上加入CAMF模块、在基准模型上加入CAMF与GRDA模块三种模型在7Scenes公开数据集和工业零部件数据集上的配准精度，并分别用BS，BS+CAMF，BS+CAMF+GRDA表示上述三种模型。
[0165] 更进一步地，通过欧拉角均方根误差(EulerRMSE)、平移向量均方根误差(tRMSE)与倒角距离(Chamfer Distance，CD)衡量配准精度。
[0166] 根据消融结果显示，在7Scenes公开数据集上，CAMF模块将基准模型的欧拉角均方根误差由0.1074下降至0.0138，倒角距离由6.8293下降至0.6682。对于未见工件数据集，CAMF模块将欧拉角均方根误差由0.2507下降至0.0842，但无法达到公开数据集0.0138的配准精度，说明加入CAFM模块的模型泛化性不足；GRDA模块能够在CAMF模块提升网络点云配准精度的基础上进一步提升模型的泛化性能，进而将模型在未见工业零部件数据集上的配准精度由0.0842提升至0.0129。
[0167] 综上所述，本发明一种基于深度学习的工业场景点云多模态配准方法及系统，能够有效提升工业场景下点云配准的精度，并且在工业小样本数据集上具有良好的泛化性能。
[0168] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0169] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0170] 本领域普通技术人员可以意识到，结合本发明中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0171] 在本发明所提供的实施例中，应该理解到，所揭露的装置/终端和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0172] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0173] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0174] 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(RandomAccess Memory，RAM)、电载波信号、电信信号以及软件分发介质等，需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
[0175] 本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0176] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0177] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0178] 以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
