[0001] 本公开涉及汽车用的感测(sensing)系统。

[0002] 为了自动驾驶、前照灯的配光的自动控制，利用对存在于车辆的周围的物体的位置以及种类进行感测的物体识别系统。物体识别系统包含传感器和对传感器的输出进行解析的运算处理装置。考虑用途、要求精度、成本而从摄像机、LiDAR(光检测和测距(Light Detection and Ranging)、激光成像检测和测距(Laser Imaging Detection and Ranging))、毫米波雷达、超声波声呐等中选择传感器。

[0003] 光学传感器(以下，简称为传感器)大致分为无源传感器和有源传感器。无源传感器检测物体发出的光、或者物体反射环境光后的光，传感器自身不发出光。另一方面，有源传感器对物体照射照明光，检测其反射光。有源传感器主要具备对物体照射光的投光器(照明)和检测来自物体的反射光的光传感器。有源传感器通过使照明光的波长与传感器的灵敏度波长区域一致，从而与无源传感器相比，具有能够提高对干扰的耐性这样的优点。

[0026] (实施方式的概要)

[0027] 对本公开的若干个例示性的实施方式的概要进行说明。该概要作为后述的详细说明的前序，以实施方式的基本理解为目的，简化说明一个或多个实施方式的若干个概念，而并不限定发明或者公开的范围。此外，该概要并非能够想到的全部实施方式的包括性的概要，不限定实施方式的不可或缺的构成要素。为了方便，“一实施方式”有时用作意指本说明书中公开的一个实施方式(实施例、变形例)或多个实施方式(实施例、变形例)。

[0028] 一实施方式所涉及的感测系统具备：图像传感器；以及运算处理装置，对图像传感器生成的图像进行处理。运算处理装置基于图像的连续的两个帧的相同判定区域的变化来判定水滴的有无。

[0029] 本发明的发明人认识到，若在图像传感器的光轴上(视场上)的玻璃罩附着水滴，则因由水滴造成的散射，图像的对比度降低。在比较时间上相邻的两个帧时，在图像内拍摄的相同物体的位置大不相同的情况很少，物体的亮度大不相同的情况很少。因此，若比较两个帧内的相同判定区域，则对比度实质上相同的可能性高。换言之，如果在相同判定区域内在对比度上检测到显著的降低，则能够推定为这是起因于水滴的附着。这样，根据上述结构，通过图像处理，能够判定水滴的附着。

[0030] 关于是否“对比度降低”，只要针对各帧的判定区域，生成成为对比度的指标的判定值，并基于两个判定值的相对关系或者绝对关系来判定即可。

[0031] 在一实施方式中，判定区域也可以被确定在给定位置。给定位置也可以确定在始终拍摄相同物体或者什么都不拍摄的范围。可以说，关于这样的地方而言，除了水滴的附着以外使对比度变化的因素少，因此可以说适合于判定区域。例如，图像的上部对应于什么都没有的空间(空)，图像的下部对应于路面。通过将始终拍摄相同被摄体的范围设为判定区域，从而由水滴的附着引起的对比度的检测变得容易。

[0032] 在一实施方式中，运算处理装置也可以将两个帧分别分割为多个判定区域，针对各判定区域判定水滴的附着。

[0033] 在一实施方式中，运算处理装置也可以检测图像中包含的物体，并确定判定区域以使包含检测到的物体。由此，能够将拍摄有人、车辆等关注物体的范围作为对象来检测水滴。此外，拍摄有人、车辆等的部分的由水滴的有无引起的对比度的变化更大，因此能够期待提高水滴的检测精度的效果。

[0034] 在一实施方式中，运算处理装置也可以针对两个帧的判定区域生成两个直方图。能够通过生成直方图来检测对比度的变化。

[0035] 在一实施方式中，运算处理装置也可以在某帧的直方图的低亮度侧的给定区间的度数比前一帧的直方图的相同区间的度数降低时，判定为附着了水滴。若附着水滴，则因由水滴造成的散射光，不存在物体的部分的像素值上升。因此能够基于低亮度侧的区间的度数来检测水滴。

[0036] 在一实施方式中，运算处理装置也可以在某帧的直方图的给定区间的中值比前一帧的直方图的给定区间的中值增加时，判定为附着了水滴。若附着水滴，则因由水滴造成的散射光，不存在物体的部分的像素值上升，由此，中值向高亮度侧偏移(shift)。因此，能够基于直方图的中值的变化来检测水滴。

[0037] 在一实施方式中，运算处理装置也可以在某帧的判定区域的空间频率比前一帧的判定区域的空间频率降低时，判定为附着了水滴。若因水滴而产生散射，则物体的图像的轮廓模糊，对比度降低。该轮廓的模糊表现为空间频率的降低。因此，通过监视空间频率，能够检测水滴的附着。

[0038] 在一实施方式中，还可以具备对视场照射照明光的照明装置。感测系统也可以是ToF(飞行时间(Time of Flight))摄像机，该ToF摄像机能够通过将视场在进深方向上划分为多个范围(range)，并按每个范围使发光和拍摄的时间差变化，从而生成与多个范围对应的多个范围图像。

[0039] 在一实施方式中，运算处理装置也可以将某帧的多个范围图像各自的判定区域、和后一帧的多个范围图像各自的判定区域进行比较，若在两张以上的范围图像中检测到对比度的降低，则判定为水滴的附着。水滴的影响在与多个范围对应的多个范围图像中表现。因此，通过将在两张以上的范围图像中检测到对比度的降低设为水滴判定的条件，从而能够提高检测精度。

[0040] 以下，参照附图对优选的实施方式进行说明。对各附图所示的相同或等同的构成要素、构件、处理标注相同的附图标记，适当省略重复的说明。此外，实施方式并非对公开进行限定而是例示，实施方式中记载的全部特征、其组合不一定是公开的本质内容。

[0041] 图1是实施方式所涉及的感测系统400的框图。感测系统400是可见光摄像机、红外线摄像机、立体摄像机、ToF摄像机、LIDAR等。在本实施方式中，感测系统400是有源传感器，具备照明装置410、图像传感器420、感测控制器430、运算处理装置440。

[0042] 照明装置410包含激光二极管、发光二极管(LED)等半导体发光元件，对视场照射照明光L1。照明光L1的波长没有特别限定，既可以是红外光，也可以是可见光，还可以是白色光。

[0043] 图像传感器420对与照明光L1相同的波长具有灵敏度。图像传感器420接受由基于感测系统400的感测范围(视场)内的物体OBJ反射照明光L1后的反射光L2，生成图像数据IMG。

[0044] 感测控制器430综合地控制感测系统400。具体而言，同步控制照明装置410的发光、和基于图像传感器420的感测。

[0045] 运算处理装置440对图像传感器420生成的图像数据IMG进行处理。

[0046] 在图像传感器420的光轴上，设置有玻璃罩422。玻璃罩422是直接露出于外部环境的构件，既可以是图像传感器420的一部分，也可以是独立于图像传感器420的其他构件。

[0047] 运算处理装置440具有通过处理图像数据IMG来检测附着于玻璃罩422的水滴WD的功能。

[0048] 运算处理装置440若检测到图像数据IMG的在时间上连续的两个帧Fi、Fi+1的相同区域(称为判定区域)的对比度的降低，则判定为附着有水滴WD。

[0049] 以上是感测系统400的结构。接下来，对其动作进行说明。图2是说明水滴对图像数据造成的影响的图。在图2中，示出拍摄了相同场景的两张图像数据。左边是水滴附着前的图像数据，右边是附着了水滴后的图像数据。若附着水滴，则因水滴而来自物体的反射光、或者物体发出的光被散射，因此不存在物体的部分的明亮度变亮。即，由于水滴，与没有水滴的情况相比，图像的对比度降低。

[0050] 此外，若附着水滴，则物体的轮廓显得模糊。即，在着眼于包含物体的狭窄区域时，由于水滴，与没有水滴的情况相比，图像的对比度降低。

[0051] 图3的(a)、图3的(b)是说明基于图1的感测系统400的水滴检测的图。在图3的(a)中，示出了在时间上连续的两个帧Fi、Fi+1。在各帧Fi、Fi+1中，示出了相同大小、相同位置的判定区域Ai、Ai+1。设为在前一帧Fi中在判定区域Ai中没有附着水滴，而在后一帧Fi+1的判定区域Ai+1中附着有水滴WD。其中，由于水滴WD是透明的，所以图像本身不会拍摄到水滴WD。

[0052] 在图3的(b)中，示出两个帧Fi、Fi+1各自的判定区域Ai、Ai+1的直方图。

[0053] 运算处理装置440针对两个帧Fi、Fi+1的判定区域Ai、Ai+1，生成两个直方图HISTi、HISTi+1。若因水滴而光被散射，则入射到原本接受到强光的像素的光减少，入射到原本未入射光的像素的光增加。由此，直方图的亮度值小的低灰度区间(暗的部分)DARK的度数减少，亮度值大的高灰度区间(明亮的部分)BRIGHT、或中间灰度区间的度数增加。由此，向平坦的或偏向高亮度侧的度数分布迁移，对比度降低。

[0054] 运算处理装置440通过检测直方图的变化即对比度的降低，来判定水滴WD的有无。

[0055] 例如，运算处理装置440也可以监视低灰度区间DARK的直方图，并基于其变化，检测水滴的附着。

[0056] 例如，将低灰度区间DARK中的相邻的多个柱(bin)例如相邻的三个柱设为监视区间，并比较监视区间的度数的合计，由此检测水滴的附着。例如，也可以在直方图HISTi+1的监视区间的度数的合计值与直方图HISTi的监视区间的度数的合计值的差分超过了阈值时，判定为附着了水滴。

[0057] 或者，运算处理装置440也可以通过比较监视区间的中值来检测水滴的附着。

[0058] 也可以不是基于低灰度区间DARK，而是基于高灰度区间BRIGHT来判定水滴。例如，将高灰度区间BRIGHT中的相邻的多个柱设为监视区间，并比较监视区间的度数的合计，由此检测水滴的附着。例如，也可以在直方图HISTi+1的监视区间的度数的合计值与直方图HISTi的监视区间的度数的合计值的差分超过了阈值时，判定为附着了水滴。或者，运算处理装置440也可以通过比较监视区间内的中值来检测水滴的附着。

[0059] 接下来，对判定区域A进行说明。图4的(a)、图4的(b)是示出判定区域A的例子的图。

[0060] 如图4的(a)所示，判定区域A也可以固定在帧内的预先确定的给定位置。给定位置也可以确定在始终拍摄相同物体、或者什么都不拍摄的范围。例如，图像的上侧的一部分Ax对应于什么都没有的空间(天空)，拍摄到车、行人的可能性低，因此可以说除了水滴的附着以外，使对比度变化的因素少。因此，可以说适合于判定区域。

[0061] 此外，图像的下侧的一部分Ay对应于路面，拍摄到车、行人的可能性低。因此可以说除了水滴的附着以外，使对比度变化的因素少。因此，可以说适合于判定区域。

[0062] 这样，通过将始终拍摄相同被摄体的范围设为判定区域，从而由水滴的附着引起的对比度的检测变得容易。

[0063] 相反地，也可以使判定区域A动态地变化。图4的(b)示出动态地变化的判定区域Az。运算处理装置440也可以检测帧中包含的物体OBJ1、OBJ2，并确定判定区域Az1、Az2以使包含检测到的物体OBJ1、OBJ2。由此，能够将拍摄有人、车辆等关注物体的范围作为对象来检测水滴。此外，拍摄有人、车辆等的部分的由水滴的有无引起的对比度的变化更大，因此能够期待提高水滴的检测精度的效果。

[0064] 图5是说明判定区域A的其他例子的图。运算处理装置440将图像数据IMG(帧)分割为多个，将分割后的区域分别设为判定区域A1～An。运算处理装置440针对多个判定区域A1～An的每一个进行判定。例如，也可以在超过给定数的多个区域中检测到对比度的降低的情况下，最终判定为附着有水滴。

[0065] 对感测系统400的具体例进行说明。感测系统400的优选的应用之一是ToF摄像机。

[0066] 图6是ToF摄像机400B的框图。ToF摄像机400B将视场在进深方向上划分为多个N个(N≥2)范围RNG1～RNGN并进行拍摄。

[0067] ToF摄像机400B具备照明装置410、图像传感器420、摄像机控制器430、运算处理装置440。

[0068] 照明装置410与从摄像机控制器430提供的发光定时信号S1同步地对车辆前方照射脉冲的照明光L1。优选照明光L1是红外光，但不限于此，也可以是具有给定的波长的可见光。

[0069] 图像传感器420被构成为，能够进行与从摄像机控制器430提供的拍摄定时信号S2同步的曝光控制，并能够生成范围图像IMG。图像传感器420对与照明光L1相同的波长具有灵敏度，拍摄由物体OBJ所反射的反射光(返回光)L2。

[0070] 摄像机控制器430按每个范围RNG保持有预先确定的发光定时和曝光定时。摄像机控制器430在拍摄某范围RNGi时，基于与该范围对应的发光定时和曝光定时来生成发光定时信号S1以及拍摄定时信号S2，并进行拍摄。ToF摄像机400B能够生成与多个范围RNG1～RNGN对应的多个范围图像IMG1～IMGN。在第i个范围图像IMGi中，拍摄有对应的范围RNGi中包含的物体。

[0071] 图7是说明ToF摄像机400B的动作的图。在图7中，示出测量第i个范围RNGi时的情形。照明装置410与发光定时信号S1同步地，在时刻t0～t1之间的发光期间τ1的期间发光。在最上部，示出横轴取时间、纵轴取距离的光线的图表。将从ToF摄像机400B到范围RNGi的跟前的边界为止的距离设为dMINi，并将到范围RNGi的里侧的边界为止的距离设为dMAXi。

[0072] 在某时刻从照明装置410发出的光到达距离dMINi并其反射光返回到图像传感器420为止的往返时间TMINi为：

[0073] TMINi＝2×dMINi/c。

[0074] c是光速。

[0075] 同样地，在某时刻从照明装置410发出的光到达距离dMAXi并其反射光返回到图像传感器420为止的往返时间TMAXi为：

[0076] TMAXi＝2×dMAXi/c。

[0077] 在想要拍摄范围RNGi中包含的物体OBJ时，摄像机控制器430生成拍摄定时信号S2以使在时刻t2＝t0+TMINi开始进行曝光，并在时刻t3＝t1+TMAXi结束曝光。这是一次曝光动作。

[0078] 在拍摄第i个范围RNGi时，反复进行多次发光和曝光，在图像传感器420中对测量结果进行累计。

[0079] 图8的(a)、图8的(b)是说明通过ToF摄像机400B得到的图像的图。在图8的(a)的例子中，在范围RNG1中存在物体(行人)OBJ1，在范围RNG3中存在物体(车辆)OBJ3。在图8的(b)中，示出在图8的(a)的状况下得到的多个范围图像IMG1～IMG3。在拍摄范围图像IMG1时，图像传感器仅通过来自范围RNG1的反射光而被曝光，因此在范围图像IMG1中，拍摄有行人OBJ1的物体像OBJ1。

[0080] 在拍摄范围图像IMG2时，图像传感器通过来自范围RNG2的反射光而被曝光，因此范围图像IMG2中没有拍摄到任何物体像。

[0081] 同样地，在拍摄范围图像IMG3时，图像传感器通过来自范围RNG3的反射光而被曝光，因此范围图像IMG3中仅拍摄到物体像OBJ3。这样，根据ToF摄像机400B，能够按每个范围将物体分离并进行拍摄。

[0082] 返回到图6。运算处理装置440基于多个范围图像IMG1～IMGN来检测水滴的附着。

[0083] 图9是说明基于范围图像的水滴的检测的图。

[0084] 运算处理装置440将某帧的多个范围图像IMG1～IMGN各自的判定区域、与后一帧的多个范围图像IMG1～IMGN各自的判定区域进行比较参照。并且，若在多个范围图像IMG1～IMGN中的两张以上中，检测到判定区域内的对比度的降低，则判定为水滴的附着。

[0085] 水滴的影响不是在特定的范围的范围图像中，而是在多个范围图像IMG1～IMGN中的多个中表现的可能性高。因此，通过将在两张以上的范围图像中检测到对比度的降低设为水滴判定的条件，从而能够提高检测精度。

[0086] 基于运算处理装置440的检测结果能够作为水滴去除装置的动作开始的触发来利用。

[0087] 图10是示出具备水滴去除装置的感测系统的图。感测系统400具备水滴去除装置460。水滴去除装置460是鼓风机(blower)方式，通过将风吹到玻璃罩422来去除水滴。水滴去除装置460包含送风机462以及管道464。另外，也可以配置为将送风机462所产生的空气的流动直接吹到玻璃罩422。

[0088] 运算处理装置440若通过图像处理检测到水滴，则对水滴去除装置460输出触发TRIG。响应于该触发TRIG，水滴去除装置460将风吹到玻璃罩422。另外，水滴去除装置460的结构不限于鼓风机方式，也可以基于擦拭器等其他手段。

[0089] 在图10中，感测系统400安装在前照灯600主体的下侧，但感测系统400的摄像机也可以内置在前照灯600中。在该情况下，附着在前照灯600的玻璃罩602的水滴成为基于感测系统400的检测对象。

[0090] (用途)

[0091] 图11是示出内置感测系统400的车辆用灯具200的图。车辆用灯具200具备壳体210、外透镜220、远光以及近光的灯具单元230H/230L、以及感测系统400。灯具单元230H/
230L以及感测系统400被收容在壳体210中。

[0092] 另外，感测系统400的一部分，例如图像传感器420、运算处理装置440也可以设置在车辆用灯具200的外部，例如内后视镜的背面侧。

[0093] 图12是示出具备感测系统400的车辆用灯具200的框图。车辆用灯具200与车辆侧ECU304一起构成灯具系统310。车辆用灯具200具备光源202、点亮电路204、光学系统206。

[0094] 运算处理装置40被构成为，能够基于通过感测系统400而得到的图像来识别物体的种类。

[0095] 运算处理装置40能够通过CPU(中央处理单元(Central Processing Unit))、MPU(微处理单元(Micro Processing Unit))、微型计算机等处理器(硬件)、和由处理器(硬件)执行的软件程序的组合来实现。运算处理装置40也可以是多个处理器的组合。或者，运算处理装置40也可以仅由硬件来构成。

[0096] 与运算处理装置40检测到的物体OBJ相关的信息也可以利用于车辆用灯具200的配光控制。具体而言，灯具侧ECU208基于运算处理装置40所生成的物体OBJ的种类和其位置所相关的信息，生成适当的配光图案。点亮电路204以及光学系统206进行动作，以使得到灯具侧ECU208所生成的配光图案。

[0097] 此外，与运算处理装置40检测到的物体OBJ相关的信息也可以发送到车辆侧ECU304。车辆侧ECU也可以基于该信息来进行自动驾驶。

[0098] 本领域技术人员应理解，上述的实施方式是例示，这些各构成要素、各处理过程的组合能够进行各种各样的变形例。以下，对这样的变形例进行说明。

[0099] (变形例1)

[0100] 感测系统400不限定于ToF摄像机，也可以是LIDAR(光检测和测距(Light Detection and Ranging)、激光成像检测和测距(Laser Imaging Detection and Ranging))。或者，感测系统400也可以是利用了相关计算的单像素成像装置(量子雷达)。

[0101] (变形例2)

[0102] 在实施方式中，通过直方图的变化而检测了对比度的降低，但判定对比度的降低的方法不限定于此。运算处理装置440也可以在某帧的判定区域的空间频率比前一帧的判定区域的空间频率降低时，判定为附着了水滴。

[0103] (变形例3)

[0104] 在实施方式中，将图像数据的一部分设为了判定区域，但也可以将图像数据的整体设为判定区域。

[0105] 本领域技术人员应理解，实施方式是例示，这些各构成要素、各处理过程的组合存在各种各样的变形例，此外，这样的变形例也包含在本公开或本发明的范围内。

[0106] 工业上的可利用性

[0107] 本公开涉及汽车用的感测系统。

[0108] 附图标记的说明

[0109] OBJ：物体，S1：发光定时信号，S2：拍摄定时信号，200：车辆用灯具，202：光源，204：点亮电路，206：光学系统，310：灯具系统，304：车辆侧ECU，400：感测系统，410：照明装置，
420：图像传感器，430：感测控制器，440：运算处理装置，460：水滴去除装置。