技术领域
[0001] 本实用新型属于智能工业机器人技术领域，具体涉及一种机器人面结构光立体相机位姿在线标定装置。
相关背景技术
[0002] 研发具有深度感知、智慧决策、自动执行功能的智能型工业机器人是当今的热点，随着立体视觉技术及其产品发展的日趋成熟，具有视觉感知能力的工业机器人给出了智能工业机器人的解决方案，三维立体相机基于视觉感知技术，识别动态场景中的环境、作业对象以及设备自身的状态，智能地规划适用当前场景的作业工序和工艺，用以适应高端智造领域多规格、小批量、形变产品的柔性生产任务，实现逆向三维重建、尺寸及形位公差检测、装配、焊接、加工引导等功能。相较于线结构光立体相机，面结构光立体相机在静态状态下使用单帧数据即可以获取大视场范围内目标物外表面的三维点云数据，可以有效避免线结构光立体相机必须在工业机器人多姿态运动下经过坐标转换引入的拼接误差，综合精度高，使用方便。目前在工业生产领域，安装于工业机器人末端的面结构光立体相机应用场景越来越多。
[0003] 面结构光立体相机输出的是基于自身坐标系的三维点云数据，控制工业机器人作业时，必须将其测量数据高精度地转换为工业机器人末端机械手或其它工艺执行单元需要的工业机器人坐标系下的数据，这就需要智能工业机器人在使用前，标定面结构光立体相机与工业机器人的安装位姿，得到旋转平移转换矩阵。
[0004] 针对安装于工业机器人末端的面结构光立体相机的位姿标定，因其组件包含一个或多个 2D工业相机，行业内目前绝大多数采用的是传统的2D工业相机与工业机器人坐标转换矩阵的标定方法：在作业平面上放置棋盘格等平面合作靶标，人工以不同姿态调整平面合作靶标，完成2D工业相机的内参标定；然后，机器人以不同位姿运行至多个点位，2D工业相机采集处理每个点位上的平面合作靶标图像，提取特征角点，利用仿射变换原理，求解得到2D工业相机与工业机器人的坐标转换矩阵，并以此替代面结构光立体相机与工业机器人的坐标转换矩阵。然而，2D工业相机像素空间二维坐标与物空间三维坐标并不是线性关系，面结构光立体相机通常需要非线性地修订初始计算得到的三维点云数据后得到更高精度的三维点云数据。因此，该标定方法会导致面结构光立体相机坐标转换至工业机器人坐标时，与实际空间的三维坐标偏差大，精度低。而且该种标定方法需要额外的标定工装附件，相机内参标定时，需要人工以不同姿态摆放平面合作靶标，耗时长，实现自动化困难，无法在使用过程中在线校验或标定面结构光立体相机与工业机器人的坐标转换矩阵。目前行业内也有采用立体合作目标，一类是在安装作业机械手单元前，在机器人法兰上安装对尖工装，将面结构光立体相机采集到的三维特征，通过对尖的方式建立两个坐标系的对应关系。另一类是立体合作目标设计显著三维特征的球形、尖顶等立体合作靶标，面结构光立体相机采集处理每个点位上的立体合作靶标三维点云数据，利用PCL点云库中的通用算法提取球心或尖顶特征角点在三维立体相机坐标系下的坐标，结合球心或尖顶在工业机器人坐标系下的已知坐标，可以求解得到面结构光立体相机与工业机器人的坐标转换矩阵。该种标定方法采用通用算法提取球心或尖顶特征，严重依赖于立体合作靶标的三维点云质量，往往需要人工剔除质量差的三维点云数据，只能实现离线标定；同时需要额外的标定工装附件、操作复杂、耗时长、无法在使用过程中在线校验或标定面结构光立体相机与工业机器人的坐标转换矩阵。实用新型内容
[0005] 本实用新型的目的在于针对上述现有技术中的问题，提供一种机器人面结构光立体相机位姿在线标定装置，能够在使用过程中在线校验或标定面结构光立体相机与工业机器人的位姿，并且标定过程简单、高效、高精度，能够自动化实现。
[0006] 为了实现上述目的，本实用新型实施例提出一种机器人面结构光立体相机位姿在线标定装置，包括设置在面结构光立体相机视场范围内的标定合作目标，所述面结构光立体相机安装在工业机器人的末端机械手上，所述标定合作目标为多面体结构块体，所述多面体结构块体上加工有特征形状结构；工业机器人带动面结构光立体相机运动至各标定位姿，面结构光立体相机采集标定合作目标的图像，根据工业机器人在各标定位姿下标定合作目标的位姿变化，获得面结构光立体相机与工业机器人的位姿转换信息。
[0007] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，所述的标定合作目标平稳安装在标定平台的水平表面上。
[0008] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，所述标定合作目标初始设置在工业机器人第一标定位姿下的面结构光立体相机视场范围内，再由工业机器人带动面结构光立体相机运动至其余标定位姿。
[0009] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，所述特征形状结构包括面结构特征和点结构特征，所述面结构特征为彼此相邻的三个面，每个面上有孔结构，孔结构的数量分别对应编码序号1、2、3；所述点结构特征为彼此相邻三个面的公共顶点。
[0010] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，通过提取分割后的标定合作目标的结构特征数据中的编码特征，识别特征编码。
[0011] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，所述末端机械手通过转接法兰紧固连接在工业机器人上，转接法兰上安装标定用立体靶标。
[0012] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，所述工业机器人采用KUKA KR70 R2100型六轴工业机械臂。
[0013] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，所述面结构光立体相机采用LMI 3210型双目快照式传感器。
[0014] 作为本实用新型机器人面结构光立体相机位姿在线标定装置的一种优选方案，所述面结构光立体相机通过面结构光立体相机安装件安装于工业机器人上。
[0015] 相较于现有技术，本实用新型至少具有如下的有益效果：
[0016] 工业机器人带动面结构光立体相机运动至标定位姿采集标定合作目标的三维点云数据，标定合作目标设置为多面体结构块体，多面体结构块体上加工有特征形状结构，通过识别、分割、计算标定合作目标的标定结构特征平面法向、距离信息，可适应标定合作目标放置偏差的情况，能够在线标定面结构光立体相机与工业机器人安装位姿，提高面结构光立体相机的位姿变化精度，提高了标定的鲁棒性，能够适应环境光变化引起的三维点云数据质量不一致问题，具有标定精度高的显著优势。本实用新型实施过程中，只需将标定合作目标平稳放置，标定合作目标的特征形状结构置于面结构光立体相机视场范围内即可，操作便捷。
具体实施方式
[0020] 下面结合附图对本实用新型做进一步的详细说明。
[0021] 参见图1，本实用新型实施例提出的一种机器人面结构光立体相机位姿在线标定装置，包括设置在面结构光立体相机视场范围6内的标定合作目标3，面结构光立体相机2安装在工业机器人1的末端机械手上，标定合作目标3为多面体结构块体，多面体结构块体上加工有特征形状结构。工业机器人1带动面结构光立体相机2运动至各标定位姿，面结构光立体相机2采集标定合作目标3的图像，根据工业机器人1在各标定位姿下标定合作目标3的位姿变化，获得面结构光立体相机2与工业机器人1的位姿转换信息。
[0022] 在一种可选的实施方式中，面结构光立体相机2通过面结构光立体相机安装件9安装于工业机器人1上。面结构光立体相机安装件9根据生产作业硬件布局设计。
[0023] 标定合作目标7平稳安装于标定平台10上。
[0024] 标定合作目标7设置在工业机器人第一标定位姿下面结构光立体相机视场范围6之内。
[0025] 参见图2，本实用新型多面体结构块体上加工的特征形状结构包括面结构特征7和点结构特征9，面结构特征7为彼此相邻的三个面，每个面上有孔结构8，孔结构8的数量分别对应编码序号1、2、3；而点结构特征9为彼此相邻三个面的公共顶点。
[0026] 本实用新型机器人面结构光立体相机位姿在线标定装置的标定方法，包括如下步骤：
[0027] 步骤1，将标定合作目标3平稳放置，并使标定合作目标3的标定结构特征处在工业机器人1第一标定位姿下的面结构光立体相机视场范围6之内。
[0028] 将标定合作目标3平稳放置，包括如下步骤：
[0029] 1a)标定合作目标平稳放置，可以长期紧固安装在作业平台旁侧；也可以标定时临时紧固安装在作业平台上，紧固的目的是为保证标定过程中标定合作目标空间位姿的稳定性。
[0030] 1b)标定合作目标的标定结构特征朝向向上；
[0031] 优选的，1b)步骤中，标定合作目标3的标定结构特征朝向向上，方向偏差不大于5°。
[0032] 使标定合作目标3的标定结构特征处在工业机器人1第一标定位姿下的面结构光立体相机视场范围6之内，包括如下步骤：
[0033] 1c)控制工业机器人1运动至标定合作目标3附近，要求面结构光立体相机最佳视平面与标定合作目标的三个平面交点距离偏差不超过面结构光立体相机的视场范围的10％。以 50mm的单向视场计算，即距离偏差不超过5mm。
[0034] 步骤2，下发标定指令，工业机器人1带动面结构光立体相机2运动至第一标定位姿，面结构光立体相机2控参采集标定合作目标3的三维点云数据。
[0035] 面结构光立体相机2控参采集标定合作目标3的三维点云数据，包括如下步骤：
[0036] 2a)面结构光立体相机2第一次根据预先设置的曝光时间、漫反射或多重反射等参数采集标定合作目标3的三维点云数据；
[0037] 优选的，2a)步骤中，预先设置的曝光时间为6000微秒，选择漫反射状态。
[0038] 2b)结合面结构光立体相机2的性能，计算分析三维点云数据满足标定要求的水平，必要时，自动优化调整采集参数；
[0039] 优选的，2b)步骤中，三维点云数据的平面度偏差数值不超过面结构光立体相机Z向定位精度的3倍，即面结构光立体相机Z向定位精度为0.035mm，则三维点云数据的平面度偏差不超过0.1mm。
[0040] 2c)必要时，按照自动优化调整后的采集参数控制面结构光立体相机2多次采集标定合作目标3的三维点云数据，确保三维点云数据满足标定要求。
[0041] 优选的，2c)步骤中，根据面结构光立体相机2灰度图的灰度值以及三维点云数据的数量，优化调整采集参数。使灰度图的灰度值保持在100～230范围内，三维点云数据的数量保持在60％以上。
[0042] 步骤3，识别、分割、计算标定合作目标3的标定结构特征信息，进行特征匹配，自动优化调整其余标定位姿数据。
[0043] 识别、分割、计算标定结构特征信息的过程，包括如下步骤：
[0044] 3a)计算标定合作目标3三维点云数据的法向变化，分割标定合作目标3的结构特征数据；
[0045] 优选的，3a)步骤中，将法向变化大于30度的点云划分为不同结构特征的点云数据。
[0046] 3b)提取分割后标定合作目标3结构特征数据中的编码特征，识别特征编码；
[0047] 优选的，3b)步骤中，结构特征数据中编码与孔结构的数量相同，记为编码1，2，3。
[0048] 3c)计算标定合作目标的结构特征的平面法向、距离信息；
[0049] 优选的，3c)步骤中，平面法向、距离信息用3×4矩阵Cn表示，其中，下标n为标定位姿的编号，从1到不小于3的正整数。矩阵第一行表示结构特征编码1的平面法向、距离信息。矩阵第二行表示结构特征编码2的平面法向、距离信息。矩阵第三行表示结构特征编码 3的平面法向、距离信息。
[0050] 根据标定结构特征信息，进行特征匹配，自动优化调整其余标定位姿的方法，包括如下步骤：
[0051] 3d)人工放置标定合作目标3的位姿在一定范围内即可，为了确保各个标定位姿面结构光立体相机2均能够采集到标定合作目标3的标定结构特征信息，计算第一标定位姿下标定合作目标3实际的放置位姿与理论的放置位姿进行特征匹配，得到位姿变化信息；
[0052] 3e)第一标定位姿下的理论放置位姿为C0，实际放置位姿为C0’，则位姿变化用特征‑1 ‑1匹配矩阵表示，RT0＝C0’×C0 。C0 为理论放置位姿的逆矩阵，对其余标定位姿数据分别左乘特征匹配矩阵RT0，得到优化调整后的标定位姿数据。
[0053] 步骤4，工业机器人1带动面结构光立体相机2运动至其余标定位姿，面结构光立体相机2分别控参采集各个位姿的标定合作目标的三维点云数据。
[0054] 在其余标定位姿，面结构光立体相机2采集标定合作目标的采集参数的确定，包括如下同2a)～2c)的步骤：
[0055] 步骤5，识别、分割、计算其余标定位姿标定合作目标的标定结构特征信息。
[0056] 识别、分割、计算标定结构特征信息的过程，包括如下步骤：
[0057] 5a)计算标定合作目标3三维点云数据的法向变化，分割标定合作目标3的结构特征数据；
[0058] 优选的，5a)步骤中，法向变化大于30度的点云划分为不同结构特征的点云数据。
[0059] 5b)取分割后的标定合作目标的结构特征数据中的编码特征，识别特征编码；
[0060] 优选的，5b)步骤中，结构特征数据中编码与孔结构的数量相同，记为编码1，2，3。
[0061] 5c)计算标定合作目标的结构特征的平面法向、距离信息。
[0062] 优选的，5c)步骤中，平面法向、距离信息用3×4矩阵Cn表示，其中，下标n为标定位姿的编号，从1到不小于3的正整数。矩阵第一行表示结构特征编码1的平面法向、距离信息。矩阵第二行表示结构特征编码2的平面法向、距离信息。矩阵第三行表示结构特征编码 3的平面法向、距离信息。
[0063] 步骤6，将各个标定位姿的工业机器人1位姿变化信息，各个标定位姿的面结构光立体相机2采集标定合作目标的位姿变化信息结合起来，计算得到面阵结构光立体相机2与工业机器人1的位姿转换信息。
[0064] 计算各个标定位姿的工业机器人位姿变化信息的步骤如下：
[0065] 6a)读取工业机器人1每个标定位姿的参数。
[0066] 6b)工业机器人1每个标定位姿的参数根据工业机器人1厂家的坐标系定义进行计算。在此，设定位姿参数对应的位姿矩阵姿态矩阵为Rrn，位姿矩阵平移矩阵为Trn，其中r表示工业机器人。分解计算工业机器人两两标定位姿的旋转变化信息，计算公式为：
[0067] Rrn1n2＝Rrn1*Rrn2‑1
[0068] 公式中，Rrn1n2表示第n2标定位姿至第n1标定位姿的旋转变化。
[0069] 计算两两标定位姿的平移变化信息，计算公式为：
[0070] Trn1n2＝Trn1‑Rrn1n2*Trn1。
[0071] 公式中，Trn1n2表示第n2标定位姿至第n1标定位姿的平移变化。
[0072] 计算各个标定位姿的面结构光立体相机2采集标定合作目标3的位姿变化信息的方法，步骤如下：
[0073] 6c)读取得到的每个标定位姿的标定合作目标的结构特征的平面法向、距离信息。
[0074] 6d)标定合作目标3的每个标定位姿的位姿定义为标定合作目标3的带有编码的结构特征的平面法向、距离信息集合。在此，设定位姿参数对应的位姿矩阵姿态矩阵为Rcn，位姿矩阵平移矩阵为Tcn，其中c表示面结构光立体相机。分解计算面结构光立体相机2采集标定合作目标的两两标定位姿旋转变化信息，计算公式为：
[0075] Rcn1n2＝Rcn1*Rcn2‑1
[0076] 公式中，Rcn1n2表示第n2标定位姿至第n1标定位姿的旋转变化。
[0077] 计算两两标定位姿的平移变化信息，计算公式为：
[0078] Tcn1n2＝Tcn1‑Rcn1n2*Tcn1。
[0079] 公式中，Trn1n2表示第n2标定位姿至第n1标定位姿的平移变化。
[0080] 计算面结构光立体相机2与工业机器人1位姿转换信息的方法，步骤如下：
[0081] 6e)工业机器人1两两标定位姿旋转变化矩阵对应的旋转向量Vrn1n2组成矩阵A；面结构光立体相机2采集的标定合作目标3的两两标定位姿旋转变化矩阵对应的旋转向量Vcn1n2组成B；面结构光立体相机2与工业机器人1的位姿旋转变化信息为Rrc，计算公式为：
[0082] Rrc＝B×A‑1。
[0083] 6f)平移变化信息Trc，计算公式为：
[0084] Trc＝[Rrc*Trn1n2‑Tcn1n2]*[Rcn1n2‑I]‑1，其中I为三阶单位矩阵。
[0085] 6h)[Rrc，Trc]即为面结构光立体相机2与工业机器人1的位姿转换信息。
[0086] 下面通过一个具体实施例来进一步说明本实用新型。
[0087] 如图2所示，标定合作目标为三个平面结构特征，标定合作目标安装于作业平台上，标定合作目标的标定结构特征朝向向上。
[0088] 工业机器人采用KUKA品牌KR70 R2100型号的六轴工业机械臂，面结构光立体相机为 LMI品牌的3210型号双目快照式传感器。
[0089] 控制工业机器人运动，标定合作目标的标定结构特征在面结构光立体相机视场范围内。
[0090] 下发标定指令，工业机器人带动面结构光立体相机运动至第一标定位姿，面结构光立体相机预设采集参数设置为6000，漫反射，自动优化调整后曝光参数为3000，漫反射。
[0091] 设置5个标定位姿，优化调整的位姿参数如表1所示：
[0092] 表1工业机器人位姿参数
[0093] 位姿编号 X Y Z A B C1 1457.92 386.32 2315.25 134.37 45.27 143.55
2 1361.14 536.55 2340.67 175.84 50.72 136.84
3 1245.65 256.91 2340.63 55.79 50.72 136.84
4 1245.65 422.7 2358.11 30.49 59.11 104.96
5 1070.85 391.19 2358.11 22.06 41.59 93.85
[0094] 结构特征数据计算结果如表2所示：
[0095] 表2结构特征数据
[0096]
[0097]
[0098] 工业机器人位姿矩阵Rrn、平移矩阵Trn如表3所示：
[0099] 表3工业机器人位姿矩阵、平移矩阵
[0100]
[0101] 面结构光立体相机位姿矩阵Rcn、平移矩阵Tcn如表4所示：
[0102] 表4面结构光立体相机位姿矩阵、平移矩阵
[0103]
[0104]
[0105] 利用Rrc＝B×A‑1及Trc＝[Rrc*Trn1n2‑Tcn1n2]*[Rcn1n2‑I]‑1计算得到面结构光立体相机与工业机器的位姿转换信息[Rrc，Trc]为：
[0106]
[0107] 本实用新型能够解决现有标定方法需要操作过程复杂、耗时长、精度低，无法在使用过程中在线校验或标定面结构光立体相机与工业机器人的位姿的问题。
[0108] 本实用新型并不局限于上述实施例，在本实用新型公开的技术方案的基础上，本领域的技术人员根据所公开的技术内容，不需要创造性的劳动就可以对其中的一些技术特征作出一些替换和变形，这些替换和变形均在本实用新型的保护范围之内。
