技术领域
[0001] 本实用新型属于灾后救援机器人领域，尤其是涉及一种基于变构臂载视觉的环境场采集系统。
相关背景技术
[0002] 城市自然灾害与环境灾害目前正在呈上升趋势，由灾害引发的各种建筑坍塌并且搜救不及时所造成的人身伤亡比灾害本身所造成的数量还要大，因此城市应急搜救装备的研制具有巨大的社会效益。然而，城市街巷纵横，建筑物高大、坚固、密集，地下工程设施复杂，条件恶劣，狭小空间众多，大大增加了搜救难度，也阻碍了地面搜索分队的进入，现有的救援方式无法保证及时、准确地开展搜救任务；搜救过程中可能出现的二次灾难也极大地威胁了相关人员的安全。为了在城市废墟环境内进行紧急搜救任务，并向后方人员实时传回灾后环境信息，给救援人员实施救援方案提供科学依据，需要一种基于变构臂载视觉的环境场采集系统来解决。实用新型内容
[0003] 为达到上述目的，实现本实用新型的技术方案如下：
[0004] 一种基于变构臂载视觉的环境场采集系统，包括多个变构机械臂、机器人本体、图像采集模块、控制模块和图像处理模块，所述图像采集模块为RGB‑D相机，安装于变构机械臂末端，用于对环境信息进行实时采集；所述图像处理模块，对所述图像采集模块采集的图像进行处理并将数据信息传送给所述控制模块；所述控制模块根据所述图像处理模块传送的信息，向机器人发送控制指令，以控制机器人运动。该系统可根据不同需求，使机器人变构组成为双目、三目、六目立体深度视觉系统，实现狭窄缝隙及多种遮挡下的延伸视觉探测。
[0005] 进一步，所述双目立体深度视觉系统，其特征在于：当需要双目视觉采集图像信息时，控制任意两个变构机械臂的图像采集模块组成双目视觉，利用剩余机械臂组成两足、三足、六足移动方式，双目立体深度视觉标定步骤如下：
[0006] Step1：机器人控制两个变构机械臂图像采集模块组成双目视觉系统，变构机械臂位置固定后，已知各变构机械臂电机的转动角度及位置关系，通过机器人正向运动学解建立机器人的变构机械臂坐标系与世界坐标系之间的位置关系，通过齐次变换矩阵来表达，公式如下：
[0007]
[0008] 其中，R为旋转矩阵，P为所在世界坐标系位置。
[0009] 根据变构机械臂转动角度，结合D‑H参数求出连杆坐标系{i}相对于坐标系 {i‑1}的齐次变换矩阵，得到如下齐次变换矩阵：
[0010]
[0011] Step2：利用“张氏标定法”分别进行标定，得到变构机械臂图像采集模块的内外参数，标定公式以及坐标系符号表示如下：
[0012]
[0013] Step3：对每组相机中的单个相机进行图像矫正，对于径向畸变，利用主点 (principle point)周围的泰勒级数展开式的前两项进行描述，表达为k1和 k2，根据其在径向方向上的分布位置，调节公式为：
[0014] x0＝x(1+k1r2+k2r4)
[0015] y0＝y(1+k1r2+k2r4)
[0016] 而针对切向畸变，畸变模型可以用两个额外的参数p1和p2来描述：
[0017] x0＝2p1xy+p2(r2+2x2)+1
[0018] y0＝2p2xy+p2(r2+2y2)+1
[0019] Step4：双目立体视觉系统标定时，根据Step1标定出左右摄像机坐标系之间的相对关系，按照内外参数分离法，通过外部参数关系获得两个变构机械臂相对位置R和T，标定方程为：
[0020]
[0021] T＝Tr‑RT1
[0022] 其中Rl，Rr，Tl，Tr分别为两相机单目标定得到的外参数；
[0023] Step5：进行立体矫正时，利用Bouguet校正法，将旋转矩阵R和平移矩阵 T分解成左右相机各旋转一半的旋转和平移矩阵Rl，Rr，Tl，Tr，分解原则为左右图像重投影造成的畸变最小，左右视图的共同面积最大；具体步骤如下：
[0024] 1)将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵Rl和Rr，叫做左右相机的合成旋转矩阵；
[0025] Rl＝R1/2
[0026] Rr＝R‑1/2
[0027] 2)将左右相机各旋转一半，使得左右相机的光轴平行。此时左右相机的成像面达到平行，但是基线与成像平面不平行；
[0028] 3)构造变换矩阵Rrect使得基线与成像平面平行，将左相机的极点转换到无穷远处的矩阵Rrect，如下：
[0029] Rrect＝[e1 e2 e3]T
[0030] T＝[Tx Ty Tz]
[0031]
[0032] e3＝e1×e2
[0033] 4)通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵，左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行，得到理想的平行配置的双目立体系图像。
[0034] R′l＝RrectRl，R′r＝RrectRr，
[0035] 校正后根据需要对图像进行裁剪，需重新选择一个图像中心，和图像边缘从而让左、右叠加部分最大；
[0036] 进一步地，所述三目或六目立体深度视觉系统，利用剩余变构机械臂组成两足、三足移动方式运动；其立体深度视觉标定方法与所述双目立体视觉标定方法一致；
[0037] 本实用新型提出的一种基于变构臂载视觉的环境场采集系统，可根据每条臂 ‑足携带的视觉系统，可变构组成为双目、三目、六目立体深度视觉系统，以实现搜救机器人多角度环视监测与延伸监测，并感知周围环境的视觉语义信息。同时该系统可结合360度全景雷达进行粗‑细定位，通过多源点云信息对周围场景进行三维重建，仿真实现救援区域的环境状态。对救援机器人建立大范围视场监测区域有很大帮助，提升事故区域救援的效率，具有较高的经济价值。
具体实施方式
[0044] 下面将参考附图并结合实施例来详细说明本实用新型。
[0045] 如图1所示，本实用新型实施例所述的一种基于变构臂载视觉的环境场采集系统，包括多个变构机械臂、机器人本体、图像采集模块、控制模块和图像处理模块，所述图像采集模块为RGB‑D相机，安装于变构机械臂末端，用于对环境信息进行实时采集；所述图像处理模块，对所述图像采集模块采集的图像进行处理并将数据信息传送给所述控制模块；所述控制模块根据所述图像处理模块传送的信息，向机器人发送控制指令，以控制机器人运动。
[0046] 如图2所示，本实用新型实施例所述的一种基于变构臂载视觉的环境场采集系统，机器人结构为机器人本体和八个变构机械臂组成，变构机械臂末端安装有RGB‑D相机，用于对环境信息进行实时采集；该系统可使机器人变构组成为双目、三目、六目等立体深度视觉系统，实现狭窄缝隙及多种遮挡下的延伸视觉探测。
[0047] 如图3所示，当需要双目视觉采集图像信息时，控制任意两个变构机械臂的图像采集模块组成双目视觉，利用剩余机械臂组成两足、三足、六足移动方式，双目立体深度视觉标定步骤如下：
[0048] Step1：机器人控制两个变构机械臂(1‑2、1‑3、1‑4、1‑5)图像采集模块组成双目视觉系统，变构机械臂位置固定后，已知各变构机械臂电机的转动角度及位置关系，通过机器人正向运动学解建立机器人的变构机械臂坐标系与世界坐标系之间的位置关系，通过齐次变换矩阵来表达，公式如下：
[0049]
[0050] 其中，R为旋转矩阵，P为所在世界坐标系位置；
[0051] 根据变构机械臂转动角度，结合D‑H参数求出连杆坐标系{i}相对于坐标系 {i‑1}的齐次变换矩阵，得到如下齐次变换矩阵：
[0052]
[0053] Step2：利用“张氏标定法”分别进行标定，得到变构机械臂图像采集模块的内外参数，标定公式以及坐标系符号表示如下：
[0054]
[0055] Step3：对每组相机中的单个相机进行图像矫正，对于径向畸变，利用主点 (principle point)周围的泰勒级数展开式的前两项进行描述，表达为k1和 k2，根据其在径向方向上的分布位置，调节公式为：
[0056] x0＝x(1+k1r2+k2r4)
[0057] y0＝y(1+k1r2+k2r4)
[0058] 而针对切向畸变，畸变模型可以用两个额外的参数p1和p2来描述：
[0059] x0＝2p1xy+p2(r2+2x2)+1
[0060] y0＝2p2xy+p2(r2+2y2)+1
[0061] Step4：双目立体视觉系统标定时，根据Step1标定出左右摄像机坐标系之间的相对关系，按照内外参数分离法，通过外部参数关系获得两个变构机械臂相对位置R和T，标定方程为：
[0062]
[0063] T＝Tr‑RT1
[0064] 其中Rl，Rr，Tl，Tr分别为两相机单目标定得到的外参数；
[0065] Step5：进行立体矫正时，利用Bouguet校正法，将旋转矩阵R和平移矩阵 T分解成左右相机各旋转一半的旋转和平移矩阵Rl，Rr，Tl，Tr，分解原则为左右图像重投影造成的畸变最小，左右视图的共同面积最大；具体步骤如下：
[0066] 1)：将右图像平面相对于左图像平面的旋转矩阵分解成两个矩阵Rl和Rr，叫做左右相机的合成旋转矩阵；
[0067] Rl＝R1/2
[0068] Rr＝R‑1/2
[0069] 2)：将左右相机各旋转一半，使得左右相机的光轴平行。此时左右相机的成像面达到平行，但是基线与成像平面不平行；
[0070] 3)：构造变换矩阵Rrect使得基线与成像平面平行，将左相机的极点转换到无穷远处的矩阵Rrect，如下：
[0071] Rrect＝[e1 e2 e3]T
[0072] T＝[Tx Ty Tz]
[0073]
[0074] e3＝e1×e2
[0075] 4)：通过合成旋转矩阵与变换矩阵相乘获得左右相机的整体旋转矩阵，左右相机坐标系乘以各自的整体旋转矩阵就可使得左右相机的主光轴平行，且像平面与基线平行，得到理想的平行配置的双目立体系图像。
[0076] R′l＝RrectRl，R′r＝RrectRr，
[0077] 校正后根据需要对图像进行裁剪，需重新选择一个图像中心，和图像边缘从而让左、右叠加部分最大。
[0078] 如图4、5所示，当需要三目或六目立体深度视觉系统时，利用剩余变构机械臂组成两足、三足移动方式运动，其立体深度视觉标定方法与双目立体视觉系统标定方法一致。
[0079] 如图6所示，当机器人处于狭小空间并且需要进行有遮挡的延伸视觉采集图像信息时，采用三足式移动方式。
