[0001] 本发明涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。

[0002] 双目立体视觉广泛运用于环境三维重建，逆向工程，机器人障碍物检测等领域，双目视觉系统模仿人类视觉的立体感知过程,从两个视点观察同一景物,以获取不同视角下的感知图像,机器视觉领域可以通过三角测量原理计算左右图像对应像素间的位置偏差,
以获取景物的三维信息。双目立体匹配是计算机视觉领域最有挑战性的任务之一。由于双目立体匹配算法的基本工作原理是在左右图像中寻找匹配(对应)的像素，然而，由于受光源变化，非朗伯表面和设备特性差异等因素的影响，容易造成匹配像素光学上的扭曲(即颜色上的差异)。近年来，虽然国际上已经提出了多种算法，如ANCC[1](Y.Heo,K.Lee,and S.Lee,“Robust Stereo Matching Using Adaptive Normalized Cross-correlation,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.),MDCC[2](S.Kim,
B.Ham,B.Kim,and K.Sohn,“Maha-lanobis Distance Cross-Correlation for 
Illumination-Invariant Stereo Matching,”IEEE Trans.Cirtuits Syst.Video 
Technol.,vol.24,no.11,2014.)等，这种方法虽然能获得较高的匹配精度，但是通常很难得到实时性能，文献[3](X.Zhou and P.Boulanger,“Radiometric Invariant Stereo 
Matching Based on Relative Gradients,”19th IEEE Int.Conf.Image Process.,
pp.2989-2992,2012.)提出了一种简单的双目立体匹配代价计算方法，然而当左右图像存在较大光学扭曲情况下，精度受到很大影响。

[0003] 另外，由于受各种因素的影响，如遮挡，光学扭曲等，双目立体匹配算法得到的初始视差图往往要经过优化算法提高精度。近年来，国际上也提出了多种视差优化算法，最常见的是平面拟合[6](S.Sinha,D.Scharstein,and R.Szeliski,“Efficient High-Resolution Stereo Matching using Local Plane Sweeps,”IEEE 
Conf.Comput.Vis.Patt.Recognit.,pp.1582-1589,2014.),[7](M.Bleyer,C.Rother,
P.Kohli,D.Scharstein,and S.Sinha,“Object Stereo-joint Stereo Matching and 
Object Segmenta-tion,”IEEE Conf.Comput.Vis.Patt.Recognit.,2011.)方法，这种方法虽然能得到很高的精度，但是算法复杂度高，另外，文献[8]提出了基于最小生成树(MST)的视差优化算法，文献[10](Q.Yang,“Local Smoothness Enforced Cost Volume 
Regularization for FastStereo Correspondence,”IEEE Signal Process.Lett.,
vol.22,no.9,pp.1429-1433,2015)提出了一种双边滤波的视差优化算法等。虽然基于MST树的方法在精度上优于当前的许多算法，但是其计算量仍然较大。

[0066] 具体实施方式一：结合图12说明本实施方式，本实施方式的一种改进的光学仿射不变双目立体匹配代价与视差优化方法，具体是按照以下步骤制备的：

[0067] 步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；

[0068] 步骤二、对步骤一中的左视图和右视图进行改进的Census变换；

[0069] 步骤三、计算步骤一中的左视图和右视图的相对梯度；

[0070] 步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；

[0071] 步骤五、对立体匹配代价进行叠加；

[0072] 步骤六、建立视差置信度；

[0073] 步骤七、对图像的每一行，从(左)1到(右)N视差置信度传递；

[0074] 步骤八、对图像的每一行，从(右)N到(左)1视差置信度传递；

[0075] 步骤九、对图像的每一列，(从上到下)从1到M视差置信度传递；

[0076] 步骤十、对图像的每一列，从(下)M到(上)1视差置信度传递；

[0077] 步骤十一、得到优化后的视差图Df。

[0078] 具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中对步骤一中的左视图和右视图进行改进的Census变换；具体过程为：

[0079] (1)为了解决光学仿射变化问题，本文采用文献[3]的光学模型：

[0080]

[0081] 其中，mb和ms是视角不相关和视角相关的贡献权值，e代表光照强度，b代表表面反射率，α代表漫射光；

[0082] 当mse变化时，光照即发生变化；α与视角相关，但是它的值仍是未知的，所以同样需要估计，

[0083] 通过假设3×3区域内光照是不变的，ms与α梯度无关，待匹配像素的区别仅在光照强度e；

[0084] (2)传统的Census变换定义为中心像素p与其邻域内的像素q∈N(p)的比较，然而改进的Census变换是基于相对梯度的：

[0085]

[0086] 其中， 代表以p为中心的3×3区域内相对梯度RG(x,y)的平均值，如图11，N(p)代表像素p的一个邻域，q为q(x,y),p为p(x,y)；T(p,q)为Census变换，RG(q)为像素q的相对梯度，相对梯度运算公式为：

[0087] RG(x,y)＝G(x,y)/(1+Gmax(x,y))

[0088] 其中，RG(x,y)是像素p(x,y)的相对梯度，Gmax(x,y)是以像素p(x,y)为中心的3×3区域内梯度G(x,y)的最大值；

[0089] Gmax(x,y)＝max(|G(x+m,y+n)|),-1≤m≤1,-1≤n≤1

[0090] 式中，m，n是输入图像的大小。

[0091] 根据图1实例可见，采用相对梯度算法能够得到更加清晰的物体轮廓信息。

[0092] 其它步骤及参数与具体实施方式一相同。

[0093] 具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤四中根据步骤二和步骤三的结果计算双目立体匹配代价；具体过程为：

[0094] (3)将(2)的结果T(p,q)串接形成位串 其中 代表串接操作，在执行(4)匹配代价计算之前，左和右视图各执行一次以上步骤的操作，然后执行(4)；

[0095] (4)最后Census变换代价CCT(p,d)通过左视图中像素p和右视图中像素p-d的位串的汉明距离给出；

[0096]

[0097] 其中，Cl和Cr分别代表经过步骤(1-3)变换后的左右图像，d代表某一个视差值；CCT(p,d)为Census变换代价；

[0098] (5)然后，结合步骤(1-4)，最终的双目立体匹配代价如下：

[0099] CRGCT(p,d)＝ρ(CCT(p,d)/LCT,λCT)+ρ(Crg(p,d),λrg)

[0100] 其中，CRGCT(p,d)为相对梯度Census变换的代价，ρ为自定义的非线性函数，它的参数有两个为ρ(c,λ)，λCT为Census变换的参数，λrg为相对梯度的参数，LCT代表位串的长度(本发明中LCT＝9)，Crg是像素p和p-d的左视图RGl(p)和右视图RGr(p-d)相对梯度图像的绝对差值；

[0101] Crg(p,d)＝|RGl(p)-RGr(p-d)|。

[0102] ρ(c,λ)是一个非线性函数，ρ(c,λ)＝1-exp(-c/λ)，其作用是将改进的Census变换和相对梯度的匹配代价映射到[0,1]范围内,并且使得仅用两个参数λCT(＝55)和λrg(＝95)就可以控制算法的性能。

[0103] 本文提出的双目立体匹配代价算法的实验结果如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t、3a、3b所示。表1为各种算法的运行效率比较结果，测试时采用427x370像素和70个差分层读的Aloe图片作为测试对象，测试设备为2.0GHz因特尔双核笔记本电脑，其RAM大小为2GB，算法没有进行并行优化，编程语言为C语言，从实验结果可以看出本文提出的算法具有较高的精度和运行效率。

[0104] 不同双目视差立体匹配代价算法在不同光照与相机曝光度组合情况下的实验结果比较。其中，BT[11](S.Birchfield and C.Tomasi“, A Pixel Dissimilarity Measure That is Insensitive to Image Sampling,”IEEE Trans.Patt.Anal.Mach.Intell.,
vol.20,no.4,pp.401-406,Apr.1998.),RG[3](X.Zhou and P.Boulanger“,Radiometric Invariant Stereo Matching Based on Relative Gradients,”19th IEEE 
Int.Conf.Image Process.,pp.2989-2992,2012.),CT[2](S.Kim,B.Ham,B.Kim,and 
K.Sohn,“Maha-lanobis Distance Cross-Correlation for Illumination-Invariant 
Stereo Matching,”IEEE Trans.Cirtuits Syst.Video Technol.,vol.24,no.11,2014.),DIFFCT[15](A.Miron,S.Ainouz,A.Rogozan,and A.Bensrhair,“A Robust Cost Function for Stereo Matching of Road Scenes,”Patt.Recognit.Lett.,vol.38,pp.70-77,
2014.),ΔADCT[11](S.Birchfield and C.Tomasi,“A Pixel Dissimilarity Measure 
That is Insensitive to Image Sampling,”IEEE Trans.Patt.Anal.Mach.Intell.,
vol.20,no.4,pp.401-406,Apr.1998.),ZNCC[2](S.Kim,B.Ham,B.Kim,and K.Sohn“,Maha-lanobis Distance Cross-Correlation for Illumination-Invariant Stereo 
Matching,”IEEE Trans.Cirtuits Syst.Video Technol.,vol.24,no.11,2014.),ANCC[1](Y.Heo,K.Lee,and S.Lee,“Robust Stereo Matching Using Adaptive Normalized 
Cross-correlation,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,
2011.)，各种比较算法的参数均设为与原文献相同，如图2a、2b、2c、2d、2e、2f、2g、2h、2i、
2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t。

[0105] 其它步骤及参数与具体实施方式一或二相同。

[0106] 具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤五中对立体匹配代价进行叠加；具体过程为：

[0107] 对立体匹配代价进行叠加，得到大小为m×n的初始视差图；-1≤m≤1,-1≤n≤1。

[0108] 其它步骤及参数与具体实施方式一至三之一相同。

[0109] 具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤六中建立视差置信度；具体过程为：

[0110] 采用置信度传播和置信补偿，将视差从可靠像素传递到不可靠像素，其中置信度定义为：

[0111]

[0112] 式中，Dr(p)为初始视差图，B(p)是像素置信度。

[0113] 其它步骤及参数与具体实施方式一至四之一相同。

[0114] 具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤七中从1(左)到N(右)视差置信度传递；具体过程为：

[0115] 初始化，如果Dr(p)不可信，同时 将 的值赋给 将Df(q)的值赋给Df(P)；

[0116] 否则，将B(p)的值赋给 Dr(p)的值赋给Df(P)；

[0117] 代表从1(左)到N(右)的累加视差置信度，Wp,q(I)是相邻像素p和q的权值，

[0118]

[0119] 其中，c∈{R,G,B}，δ为常量，用于校准相邻像素的相似度；Ic(p)为RGB图像I中像素p的c通道亮度值，Ic(q)为RGB图像I中像素q的c通道亮度值，

[0120] Df(q)为像素q最终经过优化后的视差图，Df(P)为像素p最终经过优化后的视差图；

[0121] 为置信度补偿量，上标lr代表从1(左)到N(右)视差传递过程，下标p代表像素p的补偿量；

[0122]

[0123] 式中，Ic(p1)为RGB图像I中像素p1的c通道亮度值；Ic(p2)为RGB图像I中像素p2的c通道亮度值；Wp,q(I)是相邻像素p和q的权值， 为置信补偿。

[0124]

[0125] 其它步骤及参数与具体实施方式一至五之一相同。

[0126] 具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤八中从N(右)到1(左)视差置信度传递；具体过程为：

[0127] 初始化，对于所有的p∈{第i行}，i为正整数，将 的值赋给

[0128] 如果Df(p)＝Df(q)，将 的值赋给 将Df(q)的值赋给Df(q)；

[0129] 否则，Df(P)≠Df(q)，如果 则Df(P)＝Df(q)；

[0130] 代表从N(右)到1(左)视差图像的累加视差置信度；Df(q)为像素q最终经过优化后的视差图，Df(P)为像素p最终经过优化后的视差图；

[0131]

[0132] 式中，Ic(p1)为RGB图像I中像素p1的c通道亮度值；Ic(p2)为RGB图像I中像素p2的c通道亮度值；Wp,q(I)是相邻像素p和q的权值， 为置信补偿，Ic(p)为RGB图像I中像素p的c通道亮度值。

[0133]

[0134] 其它步骤及参数与具体实施方式一至六之一相同。

[0135] 具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述步骤九中从1(上)到M(下)视差置信度传递；具体过程为：

[0136] 当像素p的视差不可靠(Dr(p)是不可靠像素)，且 时，则

[0137] Df(p)＝Df(q)

[0138] 否则： Df(p)＝Dr(p)

[0139] 式中， 代表从1(上)到M(下)视差图像的累加视差置信度； 为置信补偿。

[0140] 其它步骤及参数与具体实施方式一至七之一相同。

[0141] 具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：所述步骤十中从M(下)到1(上)视差置信度传递；具体过程为：

[0142] 首先初始化每一行像素的置信度

[0143] 如果Df(p)＝Df(q)则

[0144]

[0145] Df(p)＝Df(q)

[0146] 否则：如果 则

[0147] Df(p)＝Df(q)

[0148] 式中， 代表从M(下)到1(上)视差图像的累加视差置信度。

[0149] 其它步骤及参数与具体实施方式一至七之一相同。

[0150] 具体实施方式十：本实施方式与具体实施方式一至九之一不同的是：所述图像I转换到HSI颜色空间，再计算每个通道c∈{H,S,I}的权值：

[0151] 式中，HSI是一种彩色模型，图像用色度、饱和度和亮度来描述。

[0152] 其它步骤及参数与具体实施方式一至八之一相同。

[0153] 采用以下实施例验证本发明的有益效果：实施例一：本实施例一种改进的光学仿射不变双目立体匹配代价与视差优化方法具体是按照以下步骤制备的：

[0154] 两个垂直方向上的视差累加操作与步骤(3)的操作类似，最后，经过以上步骤可以得到每个像素点都有最大总置信度的视差图像。根据图1a、图1b、图1c实例可见，采用相对梯度算法能够得到更加清晰的物体轮廓信息。本文提出的双目立体匹配代价算法的实验结果如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t、3a、3b所示。表1为各种算法的运行效率比较结果，测试时采用427x370像素和70个差分层读的Aloe图片作为测试对象，测试设备为2.0GHz因特尔双核笔记本电脑，其RAM大小为2GB，算法没有进行并行优化，编程语言为C语言，从实验结果可以看出本文提出的算法具有较高的精度和运行效率。图3a、图3b为不同光照和曝光组合条件下的错误率。可以清楚的看出，在强仿射变化时，本文算法的错误率远远低于RG算法，与ANCC算法错误率接近，但是存在较小的仿射变化时远优于ANCC算法；如表1：

[0155] 表1

[0156]

[0157] 为了研究置信补偿 对视差优化结果的影响，图4(a)假设一个单位置信量从p1传递到p，有补偿与无补偿的情况下，单位置信度均可无损到达p点。然而，在存在采样噪声或非理想局部图案的情况下(图4(b))，可以计算出在无补偿的情况下只有0.053置信量传播到p，低于像素p从p2接收到的0.099置信量，从而导致p从p2接收到一个错误的视差。在有补偿的情况下，则单位置信量可以无损失地传递到p。这是因为在有补偿的情况下，对于任何p′,q′∈(p1,p]，当|I(p′)-I(p2)|＞|I(p′)-I(p1)|时， 相反，
说明算法仍然可以保留物体的边缘。图4a、4b一维情况下置信度的
传播例子。4a理想边缘；4b假设存在测量噪声或非理想图案情况下的边缘。其中数字代表从p1到p2的像素的亮度值。

[0158] 图5a、5b、5c是使用与不使用置信补偿情况下的实验结果对比，可以看出，在使用置信补偿后，物体边缘错误的匹配像素变少了。表2和图6a、6b、6c、6d给出了各种算法的优化结果，可以看出在精度上，本专利的方法与方法[12]接近，优于方法[10]。同时，我们测试了几种算法的处理速度，测试仪器及编程语言通权利要求1，方法[12]需要10.7秒，方法[10]用了956ms，而本发明所采用的方法仅仅需要18.7ms。图6a、6b、6c为本发明视差优化方法与[10]和[12]中方法的实验结果对比。本发明提出的方法运用于道路交通图像上的结果如图7a、7b、7c、8a、8b、8c、9a、9b、9c、10a、10b、10c、所示。图7a、7b、7c将本发明的算法运用与交通图像上的实验结果,(a)为左视图，(b)为右视图，(c)为用本发明算法得到的视差图；

[0159] 综上，本文提出的视差优化算法在提高精度的同时具有较低的计算复杂度。同时，本文提出的视差优化因对每一行/列独立运算，所以可以通过并行处理加快算法的运行速度，从而满足实时性的需求。表2

[0160] 表2各种视差优化算法的精度比较结果，测试图像来自middlebury网站，本实验所选用的测试图像的曝光度指数为1，亮度指数为2。

[0161] 表2

[0162]