[0001] 本发明涉及图像处理技术领域，尤其涉及在自由视点电视中应用的、在基于有限视点合成的任意视角图像中对所获取的深度图像进行降噪处理，从而便于虚拟视点的绘制的技术。

[0002] 随着互联网技术的飞速提升，网络已经成为人们生活中不可缺少的一部分，线上交流逐渐成为了人们主要的通讯手段。如今，在电子通讯行业的迅速发展，数字图像技术对于视频内容的生成、传播与表达是一个很有力的工具，尤其是立体显示技术可以更加真实的表达场景的深度层次感。自由视点立体电视(FTV：Free-viewpoint TV)是一个很好的例子，其特点在于观察者在电视的不同方位可观看电视图像中的场景不同视角的图像。所以多视点图像(Multi-view image)逐渐成为了人们的关注点。

[0003] 该技术主要应用于在复杂且蕴含重要信息的视频中对于视角的扩展。自由视角电视是此技术中一个很好的例子，该电视可以提供比传统媒体更多的信息，我们可以通过自由视角电视实时动态地看到任意视角的自然场景。图1展示了足球场及不同位置的摄像机，图2表示自由视点电视可根据观众喜好观看不同视角视频。三维立体显示技术是利用了人的立体视觉特性，将左右眼睛所看到相同场景中具有视差的图像信息，经过大脑的合成使人们产生空间感。三维电视是一种3D显示设备，是如今继高清电视技术之后新的发展趋势。在三维电视系统中，使用者能够看到有深度层次的图像，也可以选择观看的方向与角度。三维电视系统中虚拟视点图像合成是其中的关键技术，在场景中安置多个摄像机在不同角度进行拍摄，根据已拍摄的参考图像来绘制场景中新的图像，此过程称为虚拟视点合成。这能够让观众在显示器端看到不同位置的图像和视频，进而能够感受到真实场景的空间感，也减少了视频所需的数据量。

[0004] 在该方法中利用相关深度传感器Microsoft的kinect游戏设备对深度图像进行获取。深度图像获取装置摄像机主要分为三部分：RGB彩色摄像头，红外深度传感器和麦克风，该设备的测距方法称之为激光散斑图测距。所谓的激光散斑图测距是一种结构光原理的测距技术，结构光测距也是三角测量原理的一种，该方法与传统的双目测距方法不同，结构光测距技术不是利用场景的颜色和纹理对距离进行测量，而是利用主动发射光源例如平行的线条、散斑等，将其光源投影在物体表面根据反射的图案通过内部计算得出物体表面的空间结构，再利用相似三角形原理得出物体的深度参数。

[0005] 深度图像获取装置所采用的方法在结构光技术有的改进，利用红外光通过光栅投射到物体表面上会呈现衍射斑点，这些斑点具有随机性，他们在空间中不同位置会呈现出各种不同形状的图案，这些图案被称之为激光散斑。在该系统中，空间通常被分为许多层，每个层都会有相应的参考面，设备会计算出参考平面上散斑图，非参考平面上的位置会根据与所有参考平面进行比对进而计算获取，这些点与参考平面的偏差对应其散斑图案在深度图像获取装置的基线方向上的偏移。利用红外图像各个点对应的参考平面进行互相关计算，可以得到该场景各个点的深度数据和空间结构。

[0006] 但是由于深度图像获取装置的自身原理会导致其深度图像并不完善，在玻璃或非漫反射位置会出现深度图像无效位置，利用深度图像获取装置获取深度图像如图5所示。

[0007] 为了解决虚拟视点合成中深度图像的优化问题，本发明对获取到的深度图像进行滤波处理，本方法主要采用双边滤波对深度图像进行处理，其特点在于深度图处理后可以保持原边界效果而对图像内部进行平滑。

[0022] 为了使本发明的目的、技术方案及优点更加清楚明白，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

[0023] 本发明将Xbox游戏机的kinect体感设备(深度图像获取装置)所收集到的深度图像进行滤波处理，因为噪声会造成图像不光滑进而影响生成图像的效果，所以说深度图像的质量直接影响最终生成的结果。但是如果对结果图像进行平滑的话，图像就会变得很模糊。首先考虑如何补充深度图像空点的值。出现物体表面存在空点的原因是由于图像坐标计算错误及深度不连续而导致的。需要调整成周围最合适的值，这会出现一个像素点大小的空值区域。通过中值滤波对这些空洞区域通过进行填充。深度不连续会导致深度图中存在块状空洞区域。这些区域不能通过中值滤波进行填充。然而绝大多数深度图出现的空洞块是闭合连通的。所以这些区域可以通过其他相机的信息进行填充。

[0024] 本发明对深度图像获取装置所采集的深度图像进一步进行降噪处理以便虚拟视点合成。

[0025] 所谓视点是摄像机拍摄图像的所处位置，所谓虚拟视点是根据固定左右摄像 机所拍摄的图像通过相应算法获得中间任意视点的图像效果，由于此图像是通过图像处理得来并不是真实拍摄，所以称之为虚拟的视点。

[0026] 本发明涉及虚拟视点合成中深度图像的降噪方法，其中，虚拟视点合成的方法的整个过程为：首先，由两个摄像头在不同角度获取彩色图像和深度图像；然后，对深度图像进行双边滤波预处理；接下来，根据深度图像生成边界图像；接下来，根据边界图像利用引导滤波生成蒙板图像。接下来，根据蒙板图像分离前景图像与背景图像；然后，分别对前景图像与背景图像进行三维变换；最后，将两幅变换后的图像进行相互补充空洞，从而完善虚拟视点图像效果。

[0027] 本发明所涉及的图像降噪方法是在上述虚拟视点合成中在对深度图像进行双边滤波预处理的过程中降低图像噪声的方法。图1是表示本发明所涉及的虚拟视点合成中深度图像的图像降噪方法的流程图。如图1所示，本发明的虚拟视点合成中深度图像的降噪方法，包括：深度图像获取步骤S1，利用深度图像采集装置对场景的深度图像进行获取；深度图像预处理步骤S2，对深度图像中出现的空洞区域进行填充；深度图像滤波步骤S3，将深度图像采集装置所采集的深度图像中的无效值进行滤波，得到相对平滑的深度数据；以及重构步骤S4，通过对虚拟图像的深度图像进行重构，从而而实现虚拟视点合成效果。

[0028] 具体来说，某些情况中，在生成有真实感的图像中对深度图进行滤波是很有必要的过程，因为噪声会造成图像不光滑进而影响生成图像的效果，所以说深度图像的质量直接影响最终生成的结果。但是如果对结果图像进行平滑的话，图像就会变得很模糊。首先要考虑如何补充深度图像空点的值，出现物体表面存在空点的原因是由于图像坐标计算错误及深度不连续导致的。需要调整成周围最合适的值，这会出现一个像素点大小的空值区域。这些空洞区域通过中值滤波进行填充。深度不连续会导致深度图中存在块状空洞区域。这些区域不能通过中值滤波进行填充。然而绝大多数深度图出现的空洞块是闭合连通的。所以这些区域可以通过其他相机的信息进行填充，图4为深度图像的预处理效果。

[0029] 具体来说，三维变换不仅在物体上会出现空白区域而且在同一物体上的深度 值不连续。这些会造成生成的图像从观看的角度会显得不自然，所以需要对这些图像进行平滑处理。大多数通常采用低通滤波器来对图像进行平滑处理。然而原本在深度图像边界应该保留的部分在低通滤波器的作用下的边界会显得模糊。所以说低通滤波器不能满足我们所需的要求，所以我们采用双边滤波器进行相应操作，等式(1)就是该滤波器的定义式。

[0030] h(x)＝k-1∫∫Df(ξ)c(ξ-x)s(f(ξ)-f(x))dξ   (1)

[0031] 式中，k是标准化的常数，D代表频域，这是一个平移不变的高斯滤波器。这里亲近函数c和相似函数s都是高斯函数。c是一个完全对称的函数如等式2所示。

[0032]

[0033] 这里，是欧氏距离的方差，函数s与c类似其形式为等式3。

[0034]

[0035] 在公式(3)中，代表色域的方差。在这种情况下，颜色空间较远的点其权重较小，这些点在平滑过程后保留了边界区域。

[0036] 图2是本发明所涉及的图像降噪装置的功能框图。如图2所示，本发明所涉及的图像降噪装置是虚拟视点合成中深度图像的降噪装置1包括：深度图像获取模块10，其利用深度图像采集装置对场景的深度图像进行获取；深度图像预处理模块11，其对深度图像中出现的空洞区域进行填充；深度图像滤波模块13，其将深度图像采集装置所采集的深度图像中的无效值进行滤波，得到相对平滑的深度数据；以及重构模块14，其通过对虚拟图像的深度图像进行重构，从而实现虚拟视点合成效果。

[0037] 图3(a)表示原始状态，图3(b)表示添加了高斯噪声之后的状态，图3(c)和图3(d)表示通过双边滤波和高速滤波处理后的效果。图3(a)利用双边滤波能够很好地将边界区域恢复出来。

[0038] 图4(a)和图4(b)表示利用中值滤波和双边滤波生成的图像。

[0039] 在本方法中，发明者在虚拟视点合成过程中提出了深度图像降噪的新方法。这个方法可将虚拟图像的深度图像单一颜色区域内部进行平滑处理，这种滤波方法可有效的解决基于深度图像绘制技术(DIBR)所出现的问题，将深度图像获取装置所采集的深度图像中无效值进行滤波后得到相对平滑的深度数据，进而使得虚拟图像的绘制效果增强。其次，光线空间的实现可利用对虚拟图像的深度图进行重构来完成，最终实现虚拟视点合成效果。

[0040] 以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。