[0001] 本公开涉及一种用于使用飞行时间信息生成视场的深度图的方法。本公开还涉及用于执行该方法的相关联的装置。例如，该方法可以在增强现实、3D感测或3D建模中得到应用。例如，该装置可以在智能手机、智能眼镜、虚拟现实耳机和机器人系统中得到应用。

[0002] 本公开涉及一种用于使用飞行时间信息生成视场的深度图的方法。

[0003] 用于生成视场的深度图的系统可以包括辐射源(例如激光器)，其可操作以发射辐射从而照射视场；以及传感器，其可操作以测量发射的辐射被设置在视场中的对象反射的一部分。该系统可操作以根据由传感器测量的辐射确定视场中的对象的深度信息。

[0004] 景深系统可进一步包括聚焦光学器件，其被布置成在传感器上形成视场的图像。传感器可以包括多个分离的感测元件，每个感测元件接收来自视场的不同部分(例如立体角元素)的辐射。每个感测元件可以对应于系统的像素，并且术语“感测元件”和“像素”可以在下文中互换使用。

[0005] 用于生成视场的深度图的系统可以有许多应用。例如，这些系统可以在增强现实、3D感测或3D建模中得到应用。这些系统可以在任何合适的硬件中实现，例如，诸如智能手机、智能眼镜、虚拟现实耳机和机器人系统。

[0006] 第一种类型的已知系统使用飞行时间信息来确定视场中对象的深度信息。这些系统使用光速将辐射的发射和反射的辐射的接收之间所花费的时间转换成深度。如果反射的辐射被传感器的感测元件接收，则可以确定对象被设置在视场的对应部分中(例如，立体角的给定元素)。可以为每个像素确定距离或深度，并且以这种方式，可以确定视场的深度图。飞行时间系统通常用辐射照射整个视场。飞行时间系统可以是直接的，也可以是间接的。直接飞行时间系统直接测量辐射的发射和反射的辐射的接收之间的时间。间接飞行时间系统使用(时间)调制辐射来照射视场，并测量传感器处调制的相位。使用调制的频率将测量的相位转换成辐射的发射和反射的辐射的接收之间的时间。测量的相位对应于多个候选飞行时间，因此间接飞行时间系统也具有用于选择一个特定飞行时间的一些系统。

[0007] 第二种类型的已知系统使用结构化光源将空间光图案发射到视场中。该空间光图案从视场中的对象的反射被传感器检测到。测量的光图案相对于发射的光图案的任何失真归因于来自不同深度的对象的反射，并且这种失真被转换成深度图。即，在用于生成视场的深度图的结构化光源系统中，测量的光图案中的各种特征的位置被转换成深度值。这种系统可以使用三角测量。

[0008] 众所周知，飞行时间系统和结构化光系统各自具有不同的优点和缺点，并且可能具有互补的误差源。因此，在一些已知的系统中，结合使用飞行时间和结构化光测量来确定深度信息。

[0009] 本公开的目的是提供一种用于生成视场的深度图的方法(和相关联的装置)，该方法解决了与现有技术布置相关联的一个或多个问题，无论是上述还是其他的。

[0055] 总体而言，本公开提供了用于生成视场的深度图的方法和相关联的装置。该方法涉及用多个离散辐射束照射视场，以产生包括多个离散点的稀疏深度图，其中，所述深度图内的位置对应于多个离散辐射束中对应的离散辐射束的位置或方向。稀疏或离散的深度图可以与视场的另一图像(例如彩色照片)组合或融合，以有效地在使用多个离散辐射束采样的视场内的离散点之间进行内插，从而产生密集或连续的深度图。

[0056] 附图中给出了解决方案的一些示例。

[0057] 图1是根据本公开的用于生成视场的深度图的装置100的示意图。装置100包括辐射源102、传感器104和控制器108。

[0058] 辐射源102可操作以发射辐射，从而照射视场112。具体地，辐射源102可操作以发射多个离散辐射束110，从而用多个离散辐射束110照射视场112。辐射源102可以包括多个辐射发射元件，例如，诸如激光二极管。每个辐射发射元件可操作以输出离散辐射束110中的一个。附加地或可替代地，辐射源102可以包括单个辐射发射元件和分光光学器件，它们一起可操作以输出多个离散辐射束110。

[0059] 可选地，装置100可进一步包括聚焦光学器件106。聚焦光学器件106可以被布置成在传感器104的平面中形成视场112的图像。

[0060] 传感器104可操作以接收和检测多个离散辐射束110中的至少一些的反射部分116。例如，这种反射部分116可以从被设置在视场112中的对象反射。传感器104包括感测元件的二维阵列。传感器104可以包括各种辐射敏感技术，包括硅光电倍增管(SiPM)、单光子雪崩二极管(SPAD)、互补金属氧化物半导体(CMOS)或电荷耦合设备(CCD)。传感器104可以具有任意分辨率，并且可以根据期望包括任意数量行和列的感测元件。在一些实施方式中，传感器104可以包括320×240个感测元件，其可以被称为QVGA(四分之一视频图形阵列)分辨率。在一些实施方式中，传感器104可以包括160×120个感测元件，其可以被称为QQVGA(四分之一QVGA)或Q2VGA分辨率。

[0061] 由于聚焦光学器件106在传感器104的平面中形成视场112的图像，所以感测元件的二维阵列将视场112划分成多个像素，每个像素对应于不同的立体角元素。聚焦光学器件106被布置成将从每个像素的立体角元素接收的辐射116聚焦到传感器的不同感测元件。在下文中，术语“像素”可以互换地使用以表示传感器104的感测元件或聚焦到该感测元件上的视场的对应立体角元素。

[0062] 控制器108可操作以控制辐射源102和传感器104的操作，如下面进一步解释的。例如，控制器108可操作以向辐射源102发送控制信号118，以控制辐射110从辐射源102的发射。类似地，控制器108可操作以与传感器104交换信号120。信号120可以包括到传感器104的控制信号，以控制感测元件的二维阵列内的感测元件的激活；以及包含由传感器104确定的强度和/或定时信息的返回信号。

[0063] 可选地，装置100可以包括投影光学器件114，其可操作以将辐射100从辐射源102引导到视场112。投影光学器件114可以包括色散光学器件。

[0064] 辐射源102和投影光学器件114(如果存在的话)可以被认为是投影仪122。传感器104和聚焦光学器件106(如果存在的话)可以被认为是相机124。

[0065] 控制器108可以包括任何合适的处理器。控制器108可操作以基于飞行时间确定视场内112反射每个反射部分116的对象的距离信息。控制器108可操作以识别每个反射部分116源自的多个离散辐射束110中的对应一个。控制器108可操作以生成包括多个点的深度图，每个点具有：对应于离散辐射束110所检测到的反射部分116的确定的距离信息的深度值；以及深度图内对应于多个离散辐射束110中的识别的对应的离散辐射束的位置的位置。

[0066] 本公开的一些实施方式涉及用于生成视场112的深度图的新方法，如下面进一步讨论的(参考图2至图5D)。控制器108可操作以控制辐射源102和传感器104的操作，从而实现这些新方法(下面描述)。

[0067] 图2是用于生成视场的深度图的方法200的示意图。方法200包括用多个离散辐射束110照射视场112的步骤210。方法200进一步包括检测多个离散辐射束110中的至少一些的反射部分116的步骤220。

[0068] 方法200包括基于飞行时间信息确定视场112内反射每个反射部分116的对象的距离信息的步骤230。

[0069] 方法200包括识别每个反射部分116源自的多个离散辐射束110中的对应的离散辐射束的步骤240。

[0070] 应当理解，步骤230和240可以以任何顺序或并行执行，如图2中示意性地描绘的。

[0071] 方法200包括生成包括多个点的深度图的步骤250，每个点具有：对应于离散辐射束所检测到的反射部分116的确定的距离信息的深度值；以及深度图内对应于多个离散辐射束110中的识别的对应的离散辐射束的位置的位置。

[0072] 可选地，方法200可以包括将包括多个点的深度图与另一图像组合以形成密集的深度图的步骤260，如下面参考图5A至图5D进一步讨论的。

[0073] 如现在所讨论的，根据本公开并在图2中示意性示出的方法200优于现有技术的方法。

[0074] 第一类型的现有技术方法涉及用辐射照射视场，然后使用飞行时间信息来确定视场中对象的深度信息。该现有技术方法输出深度图，其中深度图的每个像素被分配在传感器上检测到的照射辐射的反射部分的位置。与根据本公开的方法200相比，这种已知系统不为每个像素分配深度图内的位置，该位置对应于照射辐射的所识别的对应的离散辐射束的位置。

[0075] 第二种类型的现有技术方法涉及使用结构化光源将空间光图案(例如多个条纹)发射到视场中。传感器上测量的光图案相对于发射的光图案的任何失真归因于来自不同深度的对象的反射，并且这种失真被转换到深度图上。这种系统使用三角测量来确定深度信息。与根据本公开的方法200相比，这种系统不使用飞行时间信息。

[0076] 第三种类型的现有技术方法涉及结合使用飞行时间和结构化光测量来确定深度信息。这与根据本公开的方法200相比，该方法仅使用飞行时间信息来确定深度信息。

[0077] 与这种已知系统相比，根据本公开的方法200是有利的，因为它提供了受益于飞行时间系统的优点(诸如高质量测量和大深度范围)的系统，同时减少了系统使用的能量。如现在参考图3A和图3B所描述的，由于视差效应，飞行时间传感器104(例如，其可以包括SPAD阵列)上的点的位置随距离而变化。

[0078] 图3A是从辐射源102到视场112的单个离散辐射束110的轨迹300和该离散辐射束110的反射部分116的轨迹302的示意图。投影仪122的光学中心304和投影仪图像平面306如图3A中所示。此外，相机124的光学中心308和相机图像平面310如图3A中所示。应当理解，相机图像平面310对应于传感器104的平面。图3B是从辐射源102到视场112的单个离散辐射束
110的轨迹300和该离散辐射束110的反射部分116的四个不同轨迹302a、302b、302c、302d的示意图。反射部分116的四个不同轨迹302a、302b、302c、302d各自对应于来自视场112中不同深度的反射。从图3B可以看出，离散辐射束110的反射部分116与相机图像平面310的相交取决于视场112中辐射被反射的深度。

[0079] 发明人已经意识到，使用传感器104测量反射部分116的光斑位置的精度通常受到传感器104的分辨率的限制。结果，传感器104上每个点的测量位置存在误差。如果该测量位置被用于产生稀疏或离散的深度图，该深度图随后与视场的另一图像(例如照片)组合或融合，以有效地在使用多个离散辐射束110采样的视场内的离散点之间进行内插，并形成密集或连续的深度图，则这些误差会显著地影响组合的图像。例如，在如此密集的深度图中，对象的直边在组合图像中可能是弯曲的或波浪状的，这是不希望的。有利地，通过使用来自投影仪122而不是传感器104的每个点的位置信息来产生稀疏或离散的深度图，可以显著减少这种误差。

[0080] 虽然先前已知将飞行时间与结构化光相结合以提高距离测量的精度，但是根据本公开的方法200使用用于距离和深度测量的飞行时间信息以及来自投影的辐射光110的信息来改善该测量在传感器104上的x、y定位。

[0081] 由使用根据本公开的方法200的系统确定的距离信息与将点位置编码为距离的函数的结构化光模型相结合，以推断深度图内每个距离测量的精确位置。可以根据校准来估计结构化光编码。结果，根据本公开的方法200允许以亚像素精度估计点位置。换句话说，它能够达到优于传感器104的物理分辨率的分辨率。例如，根据本公开的方法200可以允许以传感器104的0.1像素数量级的精度来估计点位置。这允许以传感器104(或它被投影到其上的任何其他平面)上的非常精确位置提供距离测量，并且可以显著提高最终深度图的质量。通常，在估计对象的边缘附近的深度时，距离测量的精确位置可能会产生重大影响。

[0082] 除非另有说明，如本文所使用的，对象距光学系统(例如，相机124或投影仪122)的距离旨在表示从该光学系统的光学中心到对象的距离。此外，对象距光学系统(例如，相机124或投影仪122)的深度旨在表示从该光学系统的光学中心到对象的该距离在系统的光轴上的投影。

[0083] 注意，在方法200的步骤230中，基于飞行时间信息确定视场112内反射每个反射部分116的对象的距离信息。再次参考图3A，对象距投影仪122的距离是从投影仪122的光学中心304到视场112内的对象的轨迹300的长度。类似地，对象距相机124的距离是从相机124的光学中心308到视场112内的对象的轨迹302的长度。在直接飞行时间测量中测量的是辐射沿着轨迹300传播并沿着轨迹302返回所用的时间Δt。这可以通过乘以光速转换成辐射路径的长度cΔt。

[0084] 从投影仪122的光学中心304到视场112内的对象的轨迹300和从相机124的光学中心308到视场112内的对象的轨迹302可以被认为形成三角形的两条边。该三角形的第三条边可以被称为三角形的底边，是从投影仪122的光学中心304到相机124的光学中心308的线(图3A和图3B中未示出)。对于给定的系统，这个底边的长度是已知的。此外，从投影仪122的光学中心304到视场112内的对象的轨迹300与底边之间的角度可以从离散辐射束110与投影仪图像平面306的相交处找到。使用几何学、该三角形的已知底边和角度以及测量的辐射路径的总长度(三角形的其他两条边的和)，可以确定：对象距相机124的距离；或者对象距投影仪122的距离。同样，使用几何学，可以确定对象的深度(三角形的高度)。由于投影仪122的光学中心304和相机124的光学中心308之间的距离通常显著小于从投影仪122的光学中心304到对象的轨迹300和从相机124的光学中心308到对象的轨迹302，因此在一些实施方式中，任一距离(距相机124或距投影仪122)可以被估计为辐射路径长度的一半，即，cΔt/2。

[0085] 注意，在方法200的步骤250中，深度图的每个点具有对应于离散辐射束的检测到的反射部分116的确定的距离信息的深度值。即，在步骤230确定的距离信息在步骤250被转换成深度值。

[0086] 方法200包括生成包括多个点的深度图的步骤250，每个点具有：对应于离散辐射束的检测到的反射部分116的确定的距离信息的深度值；以及深度图内对应于多个离散辐射束110中的识别的对应的离散辐射束的位置的位置。

[0087] 方法200的步骤220(检测多个离散辐射束110中的至少一些的反射部分116)可以如下实现。对于在步骤210发射的多个离散辐射束110中的每一个：步骤220可以涉及监测可以接收源自离散辐射束110的反射辐射116的传感器104的区域。传感器104的区域可以包括传感器104的多个感测元件或像素。例如，被监测的传感器104的区域可以包括传感器的感测元件或像素的方形阵列。

[0088] 如果传感器104的这种监测区域接收到辐射，则基于飞行时间来确定视场112内反射了反射部分116的对象的距离信息。此外，反射部分116可以与离散辐射束相关联，或者说对应于离散辐射束110，传感器104的该监测区域可以接收源自该离散辐射束的反射辐射。

[0089] 方法200的步骤240(识别每个反射部分116源自的多个离散辐射束110中的对应的离散辐射束)可以如下实现。如果在传感器104的监测区域中接收到针对给定的离散辐射束110的辐射，则该给定的离散辐射束110被识别(步骤240)为反射部分116源自的多个离散辐射束110中的对应的离散辐射束。

[0090] 如上文参考图3B所解释的，由于视差效应，飞行时间传感器104上对应于离散辐射束110的每个点的预期位置将随时间移动。例如，可以在发射离散辐射束110时启动定时器。从启动该定时器到传感器104上接收反射部分之间的时间段越长，辐射被从其反射的对象的距离就越大。随着时间的推移，接收反射辐射束的预期位置将会移动。

[0091] 在一些实施方式中，方法200的步骤220(检测多个离散辐射束110中的至少一些的反射部分116)可以如下实现。该检测可以根据多个离散辐射束的发射被划分为多个检测时间间隔。在每个这样的检测时间间隔中，对于多个离散辐射束110中的每一个，监测可以接收该辐射束110的反射部分的传感器104的区域。

[0092] 例如，多个时间间隔中的每一个可以对应于距离间隔。例如，该方法可以在第一时间间隔内检测来自距离为0至1m的任何对象的辐射，然后在第二时间间隔内检测来自距离为1至2m的任何对象的辐射，依此类推。对于每个不同的时间(或等效的距离)间隔，对于给定的离散辐射束110，被监测的传感器104上的区域可以是不同的。

[0093] 方法200的步骤230(基于飞行时间信息确定视场112内反射每个反射部分116的对象的距离信息)可以如下实现。

[0094] 在一些实施方式中，基于飞行时间确定视场112内反射部分116被反射的对象的距离信息包括测量从离散辐射束110的投影到其反射部分116的检测的时间间隔。这可以被称为直接飞行时间测量。可以根据时间间隔和辐射的速度(例如，光速)来确定距离。

[0095] 可替代地，在一些其他实施方式中，离散辐射束110可以被调制，并且基于飞行时间确定视场内反射部分116被从其反射的对象的距离信息可以包括测量这种调制的相位。可以根据相位、辐射的速度(例如，光速)和调制频率来确定距离。这可以被称为间接飞行时间测量。

[0096] 多个离散辐射束110中的识别的对应的离散辐射束的位置对应于对应的离散辐射束110被发射到视场中的角度。该位置可以在投影仪图像平面306中表示。投影仪平面306可以是投影仪光学器件114的焦平面，其被布置成将多个离散辐射束110引导到视场112中。

[0097] 深度图内对应于每个离散辐射束110的位置的位置可以被存储在存储器中，例如，控制器108内部的或可由控制器108访问的存储器。

[0098] 在一些实施方式中，可以根据校准数据确定深度图内对应于所识别的对应的离散辐射束110的位置的位置。例如，可以在制造用于执行根据本公开的方法200的装置100之后确定一次这种校准数据。可替代地，可以定期地确定校准数据。

[0099] 在一些实施方式中，方法200可进一步包括确定校准数据，根据校准数据可以确定深度图内对应于多个离散辐射束110中的每一个的位置的位置。

[0100] 图4中示意性地示出了用于确定校准数据的方法400，现在对其进行描述。首先，在步骤410，在视场112中提供平坦参考表面。平坦参考表面可以被设置为大致垂直于投影仪122和相机124的光轴。

[0101] 第二，在步骤420，用多个离散辐射束110照射视场112。第三，在步骤430，使用传感器104确定多个离散辐射束110中的每一个(从平坦参考表面反射的)的反射部分116的位置。步骤420和430可以被认为是测量步骤422的两个部分。

[0102] 接下来，在步骤440，在视场112中移动平坦参考表面。平坦参考表面可以大致平行于投影仪122和相机124的光轴移动(因此可以保持大致垂直于所述光轴)。在步骤440之后，重复步骤420和430以执行另一个测量步骤422。这种测量步骤422可以利用设置在离装置100多个不同距离处的平坦参考表面来进行。该校准数据可以允许确定深度图内对应于多个离散辐射束110中的每一个的位置的位置。

[0103] 如上所述，在一些实施方式中，方法200可以包括将包括多个点的深度图与另一图像组合以形成密集的深度图的步骤260。现在参考图5A至图5D简要讨论这一点。

[0104] 图5A示出了包括多个点502的深度图500。该深度图500可以被称为离散深度图或稀疏深度图。每个点502具有对应于针对离散辐射束的检测到的反射部分所确定的距离信息的深度值(由在灰度上的点502的值指示)。每个点502在深度图500内的位置对应于多个离散辐射束110中的识别的对应的离散辐射束的位置(例如在投影仪图像平面306中)。

[0105] 图5B示出了视场112的另一图像504。例如，图像504可以包括使用相机捕获的照片。

[0106] 稀疏深度图500可以与视场112的另一图像504组合或融合，例如使用已知技术，以产生密集的深度图。这种已知技术可以将稀疏深度图和另一图像作为输入。可以使用机器学习模型来融合稀疏深度图和其他图像。可以使用神经网络来实现机器学习模型。这种技术可以被称为RGB深度图融合或深度图致密化。这些技术将是本领域技术人员已知的，并且例如在以下论文中进行了描述，这些论文中的每一篇通过引用并入本文：(1)Shreyas S.Shivakumar,Ty Nguyen,Ian D.Miller,Steven W.Chen,Vijay Kumar以及Camillo J.Taylor,“DFuseNet:Deep Fusion of RGB and Sparse Depth Information for Image Guided Dense Depth Completion”,arXiv preprint arXiv:1902.00761v2[cs.CV],2019年7月10日；以及(2)Z.Chen,V.Badrinarayanan,G.Drozdov,以及A.Rabinovich,“Estimating Depth from RGB and Sparse Sensing”,arXiv preprint arXiv:1804.02771,2018。为了将稀疏深度图500与另一图像504组合，稀疏深度图500和另一图像
504对准，以产生两个重叠图像的组合506，如图5C中所示。注意，为了实现这种对准，深度图
500可以被投影到另一图像504的图像平面上。应当理解，该投影仅仅是从投影仪图像平面
306到另一图像504的图像平面的几何变换。

[0107] 图5D示出了由稀疏深度图500与视场112的另一图像504的组合产生的密集的深度图508。

[0108] 这有效地实现了在使用多个离散辐射束110采样的视场112内的离散点之间进行的内插以形成稀疏深度图500。有利地，使用被投影到视场112上的对应的离散辐射束110的离散深度图的每个点502的位置显著减少了这种内插中的误差。

[0109] 参考数字列表：

[0110] 100用于生成视场的深度图的装置

[0111] 102 辐射源

[0112] 104 传感器

[0113] 106 聚焦光学器件

[0114] 108 控制器

[0115] 110 多个离散辐射束

[0116] 112 视场

[0117] 114 投影光学器件

[0118] 116 反射部分

[0119] 118 控制信号

[0120] 120 信号

[0121] 122 投影仪

[0122] 124 相机

[0123] 200用于生成视场的深度图的方法

[0124] 210 照射视场的步骤

[0125] 220 检测反射辐射的步骤

[0126] 230 确定距离信息的步骤

[0127] 240识别对应的离散辐射束的步骤

[0128] 250生成深度图的步骤

[0129] 260将深度图与另一图像组合以形成密集的深度图的步骤

[0130] 300单个离散辐射束的轨迹

[0131] 302该离散辐射束的反射部分的轨迹

[0132] 302a该离散辐射束的反射部分的第一轨迹

[0133] 302b该离散辐射束的反射部分的第二轨迹

[0134] 302c该离散辐射束的反射部分的第三轨迹

[0135] 302d该离散辐射束的反射部分的第四轨迹

[0136] 304 投影仪的光学中心

[0137] 306 投影仪图像平面

[0138] 308 相机的光学中心

[0139] 310 相机图像平面

[0140] 400用于确定校准数据的方法

[0141] 410提供平坦参考表面的步骤

[0142] 420照射视场的步骤

[0143] 430确定反射辐射束的位置的步骤

[0144] 440移动平坦参考表面的步骤

[0145] 500 包括多个点的深度图

[0146] 502 深度图中的点

[0147] 504 视场的另一图像

[0148] 506 两个重叠图像的组合

[0149] 508密集的深度图

[0150] 本技术人员将理解，在前面的描述和所附权利要求中，诸如“上面”、“沿着”、“侧面”等位置术语是参考概念性图示而进行的，诸如在附图中所示的那些。这些术语是为了便于参考而使用的，但并非旨在具有限制性质。因此，这些术语应被理解为指处于如附图中所示的方位的对象。

[0151] 尽管已经根据如上所述的优选实施方式描述了本公开，但是应当理解，这些实施方式仅仅是说明性的，并且权利要求不限于那些实施方式。鉴于本公开，本领域技术人员将能够进行被认为落入所附权利要求范围内的修改和替代。本说明书中公开或示出的每个特征可以结合到任何实施方式中，无论是单独地还是与本文中公开或示出的任何其他特征的任何适当组合。