[0001] 本公开涉及搭载于车辆的相机取得的相机图像的图像识别技术。

[0002] 专利文献1公开了如下技术，在搭载于车辆的相机的相机图像中，检测看上去视野闭塞的闭塞状况，基于周边的环境确定闭塞的原因。闭塞的原因包括“道路昏暗”、“前挡风玻璃、相机的镜头结冰、起雾”等。

[0003] 现有技术文献

[0004] 专利文献

[0005] 专利文献1日本特开2019‑535149号公报

[0058] 参照附图来说明本公开的实施方式。

[0059] 1.概要

[0060] 本实施方式的图像识别方法，是搭载于车辆的相机取得的相机图像的图像识别方法。搭载于车辆的相机(摄像头)，例如在车辆的驾驶辅助系统中应用。驾驶辅助系统包括预防安全系统、远程驾驶系统、远程辅助系统、自动驾驶系统。例如，在远程驾驶系统中，设想为“基于搭载于车辆的相机取得的相机图像，远程操作员判断车辆周围的状况而进行远程驾驶”。以下，除非另有说明，相机指的是搭载于车辆的相机，相机图像指的是搭载于车辆的相机取得的相机图像。

[0061] 相机有时会发生由遮挡引起的视野不佳。遮挡或者遮挡状态，指的是在相机的镜头、车辆的窗玻璃等中被称作遮挡物的物体附着而光被遮住、玻璃起雾、起霭的状态。遮挡状态使得相机的视野难以看清。例如，在图1中，搭载于车辆100的外侧的相机111、搭载于车辆100的内侧的相机112以及前挡风玻璃121中的任一方成为了遮挡状态。遮挡状态中，(a)是因遮挡物的附着而光被遮住的状态，(b)是起雾、起霭的状态。作为遮挡物的例子，可以举出落叶、花瓣、塑料袋、泥污、鸟粪、灰尘等。作为起雾、起霭的例子，可以举出结露、结冰、雾等。如图1所示，相机中，存在搭载于车辆的外侧的相机和搭载于车辆的内侧的相机。在相机搭载于车辆的内侧的情况下，“由遮挡引起的视野不佳”不仅会因相机的镜头成为遮挡状态，还会因处于相机所朝向的方向上的窗玻璃成为遮挡状态而发生。以下，除非另有说明，称作遮挡状态时，说的是相对于相机发生视野不佳的所有遮挡状态，关于遮挡状态，不区分是发生在镜头还是发生在窗玻璃。图1中示出的相机被用作前方识别用的相机，但相机也可以用于识别除此以外的方向，例如侧方、后方。

[0062] 作为表示车辆周围的状况的信息，相机图像具有大的信息量，所以，若在发生了由遮挡引起的视野不佳的状态下继续使用相机，则可能给车辆的行驶带来障碍。因而，在使用相机的系统中，在发生由遮挡引起的视野不佳而检测到遮挡状态的情况下，多会采取某些应对。例如，设想为“在车辆的远程辅助系统中检测到遮挡状态的情况下，结束相机功能，向操作员通知无法使用相机功能这一情况”。或者，例如设想为“在车辆的自动驾驶系统中检测到遮挡状态的情况下，结束自动驾驶系统，将车辆强制地切换为手动驾驶”。为了合适地进行这样的针对遮挡的应对，“对是否发生了由遮挡引起的视野不佳准确地进行判断”也是重要的。

[0063] 在此，对相对于本实施方式的图像识别方法的比较技术进行说明。图2是示出比较技术中的处理的例子的流程图。在步骤S101中，判定车辆是否处于行驶中(是否处于行驶期间)。在车辆处于行驶中的情况下(步骤S101：是)，处理前进至步骤S102。在车辆没有处于行驶中的情况下(步骤S101：否)，处理结束。

[0064] 在步骤S102中，判定是否从相机图像检测到遮挡特征。在检测到遮挡特征的情况下(步骤S102：是)，处理前进至步骤S103。在没有检测到遮挡特征的情况下(步骤S102：否)，处理结束。遮挡特征是在相机图像的图像识别中示出发生了由遮挡引起的视野不佳的可能性的特征。遮挡特征可以通过根据相机图像的每个像素的辉度变化、亮度、对象物的颜色等提取图像内的特征量来检测。典型地，在无法从相机图像得到足够的特征量时，认为检测到遮挡特征。

[0065] 在步骤S103中，判定是否持续(继续)检测到遮挡特征。在持续检测到遮挡特征的情况下(步骤S103：是)，处理前进至步骤S104。在不再检测到遮挡特征的情况下(步骤S103：否)，处理结束。

[0066] 在步骤S104中，视野不佳判定的标志激活。之后，处理结束。

[0067] 图2的流程图中的步骤S102～步骤S103是用于检测遮挡状态的处理。在比较例中，受理持续地从相机图像检测到遮挡特征这一情况而检测遮挡状态。当检测到遮挡状态时，视野不佳判定标志设立(激活)，在进行与“发生了由遮挡引起的视野不佳”对应的车辆的控制时等情况下使用。相机图像在车辆的行驶时使用的情况多，所以，如图2所示，遮挡状态的检测典型地在车辆处于行驶中的情况下进行。

[0068] 如比较技术那样，通过在检测到遮挡状态的情况下设立视野不佳判定标志，在车辆的驾驶辅助系统等中，能够避免在发生了由遮挡引起的视野不佳的状态下继续使用相机图像的情况。但是，即便是在相机没有发生遮挡的状态下，当因抖动而相机图像成为了模糊的状态时，也会从相机图像检测到遮挡特征。这是例如是由“相机图像模糊而变得无法从图像得到足够的特征量”引起的。因而，当相机图像抖动时，尽管实际上没有发生遮挡，却误判定为发生了由遮挡引起的视野不佳。这样的相机图像的抖动，在图像的拍摄中，也就是说相机的快门打开了的状态下，在相机在横向、纵向或者斜方向上大幅动作时发生。在搭载于车辆的相机中，这样的相机的动作多由车辆的动作引起。

[0069] 于是，在本实施方式的图像识别方法中，在检测到引发相机图像的抖动的车辆的动作的期间，中止遮挡状态的检测。“引发相机图像的抖动的车辆的动作”是相对于相机的朝向成为横向、纵向或者斜方向那样的车辆的动作。将引发相机图像的抖动的车辆的动作称作抖动引发运动。通过在检测到抖动引发运动的期间不进行遮挡状态的检测，能够防止“因相机图像的抖动而误判定为发生了由遮挡引起的视野不佳”这一情况。

[0070] 2.构成例

[0071] 图3是实现本实施方式的控制方法的构成的例子。图3的构成包括车辆100、相机110以及图像识别装置200。相机110是搭载于车辆的相机，包括图1所示的相机111、相机
112。车辆100包括传感器群11、车辆控制装置12、通信装置13以及处理器14。图像识别装置
200包括存储装置21及处理器22。车辆100、相机110、图像识别装置200构成为能够彼此进行通信。图像识别装置200既可以包括在车辆100中，也可以包括在构成为能够与车辆进行通信的未图示的服务器中。

[0072] 传感器群11是偏航率传感器、俯仰率传感器、翻滚传感器、操舵角传感器等搭载于车辆的传感器。车辆控制装置12进行车辆的控制。通信装置13构成为能够与车辆的外部进行通信。处理器14既可以是ECU(Electronic Control Unit)的处理器，也可以是ECU以外的搭载于车辆的处理器。存储装置21存储程序，处理器22执行存储装置21所存储的程序。

[0073] 3.功能构成例

[0074] 图4的框图示出图3的构成所具备的功能的构成的例子。本实施方式的控制方法例如由图4所示的功能构成执行。

[0075] 车辆状态信息部1取得车辆状态信息。车辆状态信息是偏航率、俯仰率、操舵角等与车辆的动作有关的信息。车辆状态信息部1例如包括在构成传感器群11的各个传感器中。图像拍摄元件2拍摄图像，作为相机图像而取得。图像拍摄元件2包括在相机110中。

[0076] 接受来自车辆状态信息部1的车辆状态信息的输入，在车辆状态判定部3中进行判定抖动引发运动的有无的处理。当输入了由车辆状态判定部3输出的车辆状态判定结果及图像拍摄元件2拍摄到的图像后，由遮挡状态检测部4进行遮挡状态的检测。在遮挡状态检测部4中，在检测到抖动引发运动的期间，中止遮挡状态的检测。由遮挡状态检测部4输出的遮挡状态的检测结果向系统停止处理部5输入，系统停止处理部5基于遮挡状态的检测结果执行系统停止处理。在检测到遮挡状态的情况下，从系统停止处理部5输出的系统的工作停止的指示向各系统的工作停止部6输入，进行各系统的工作停止。“工作停止部6使得停止工作的系统”例如是车辆的远程辅助系统内的相机系统、车辆的自动驾驶系统。在由工作停止部6使得系统停止的情况下，车辆控制装置12执行用于抑制伴随于系统停止的风险的处理。例如，在远程辅助系统内的相机系统停止的情况下，对驾驶员告知“使用相机系统所进行的辅助停止”。另外，在自动驾驶系统停止的情况下，进行使车辆自动地退避到路肩等安全场所的退避处理。

[0077] 车辆状态判定部3既可以包括在处理器14中，也可以包括在处理器22中。遮挡状态检测部4及系统停止处理部5包括在处理器22中。工作停止部6既可以包括在车辆控制装置12中，也可以包括在图3中未图示的驾驶辅助系统中。

[0078] 4.处理例

[0079] 图5是执行本实施方式的图像识别方法的流程图的例子。图5的流程图所示出的处理以预定的控制周期反复执行。在步骤S201中，与比较技术同样地判定车辆是否处于行驶中。在车辆处于行驶中的情况下(步骤S201：是)，处理前进至步骤S202。在车辆没有处于行驶中的情况下(步骤S201：否)，处理结束。

[0080] 在步骤S202中判定是否检测到抖动引发运动。在没有检测到抖动引发运动的情况下(步骤S202：否)，处理前进至步骤S203。在检测到抖动引发运动的情况下(步骤S202：是)，处理结束。

[0081] 在步骤S203～步骤S205中，进行与比较技术中的步骤S102～步骤S104同样的处理。在步骤S203及步骤S204中可以与比较技术同样，在无法从相机图像得到足够的特征量时认为检测到遮挡特征。在步骤S205中设立了视野不佳判定的标志之后，处理结束。

[0082] 图5的流程图所示的处理在遮挡状态检测部4中进行。如该流程图所示，在本实施方式的图像识别方法中，在检测到抖动引发运动的期间，不进行遮挡状态的检测。由此，能够减少因相机图像的抖动而误判定为发生了由遮挡引起的视野不佳的情况。关于遮挡状态的检测，既可以与持续时间无关地，受理从相机图像检测到遮挡特征这一情况而检测遮挡状态，也可以如图5的步骤S203～步骤S204所示，受理持续预定时间以上地从相机图像检测到遮挡特征这一情况而检测遮挡状态。

[0083] 5.车辆的动作的具体例

[0084] 作为抖动引发运动的具体例，可以举出车辆的转动及颠簸(bouncing：纵向震动)。转动是车辆的横向的动作。颠簸是车辆的纵向的动作，例如，因在具有凹凸的路面上行驶而发生。作为搭载于车辆的相机，使用前方识别用的相机的情况多，在前方识别用的相机中，尤其容易产生相机图像的抖动的动作是车辆的转动及颠簸。车辆的转动使得容易产生相机图像的横向的抖动，颠簸使得容易产生相机图像的纵向的抖动。因而，通过将抖动引发运动设为车辆的转动或颠簸，在检测到车辆的转动及颠簸中的至少一个的期间，不进行遮挡状态的检测，由此能够更准确地防止误判定。

[0085] 该具体例的处理，例如作为在图5的步骤S202中对车辆的转动或颠簸的检测进行判定的流程图而执行。在车辆的转动及颠簸均没有检测到的情况下(步骤S202：否)，处理前进至步骤S203。在检测到车辆的转动及颠簸中的任一个以上的情况下(步骤S202：是)，处理结束。

[0086] 车辆的转动及颠簸可以根据传感器群11所包括的偏航率传感器、俯仰率传感器、操舵角传感器所取得的车辆状态信息、通信装置13所取得的地图信息、GPS信息来进行检测。作为对车辆的转动进行检测的方法，例如，可以是“将由偏航率传感器取得的车辆的偏航率为预定的值以上的情况判断为处于车辆的转动中的方法”、“将车辆的操舵角为预定的值以上的情况判断为处于车辆的转动中的方法”、或者“在根据地图信息和GPS信息而车辆正行驶在交叉路口、弯道的情况下判断为处于车辆的转动中的方法”。另外，作为对颠簸进行检测的方法，例如可以是“在由俯仰率传感器取得的车辆的俯仰率为一定的值以上的情况下判断为处于颠簸中的方法”、或者“根据悬架的振动、负荷的状态判断颠簸的方法”。若地图信息包括铺装状态等与道路的凹凸相关的信息，则也可以根据该信息推定是否发生了颠簸。“检测为转动的车辆的动作”既可以仅是车辆的偏航角向一定方向变化那样的车辆的动作，也可以包括车辆向左右持续地蛇行那样的动作。

[0087] 6.其他实施方式

[0088] 作为用于减少由遮挡引起的视野不佳的发生的误判定的方法，除了本实施方式的图像识别方法，还可以考虑其他实施方式。在其他实施方式中，受理持续预定时间以上地从相机图像检测到遮挡特征这一情况而检测遮挡状态。并且，在检测到抖动引发运动的期间，使上述预定时间与没有检测到抖动引发运动时相比变长。图6中示出其他实施方式中的流程图的例子。图6的流程图中表示的处理以预定的控制周期反复执行。

[0089] 步骤S301与图5的流程图的步骤S201同样。在步骤S302中，与图5的流程图同样地判定是否检测到抖动引发运动。在没有检测到抖动引发运动的情况下(步骤S302：否)，处理前进至步骤S303。在检测到抖动引发运动的情况下(步骤S302：是)，处理前进至步骤S306。

[0090] 在步骤S303中，判定是否从相机图像检测到遮挡特征。在检测到遮挡特征的情况下(步骤S303：是)，处理前进至步骤S304。在没有检测到遮挡特征的情况下(步骤S303：否)，处理结束。

[0091] 在步骤S304中，判定是否比预定时间α长地持续检测到遮挡特征。在比预定时间α长地持续检测到遮挡特征的情况下(步骤S304：是)，处理前进至步骤S305。在持续检测到遮挡特征的时间比预定时间α短的情况下(步骤S304：否)，处理结束。

[0092] 在步骤S306中，判定是否从相机图像检测到遮挡特征。在检测到遮挡特征的情况下(步骤S306：是)，处理前进至步骤S307。在没有检测到遮挡特征的情况下(步骤S306：否)，处理结束。

[0093] 在步骤S307中，判定是否比预定时间β长地持续检测到遮挡特征。在比预定时间β长地持续检测到遮挡特征的情况下(步骤S307：是)，处理前进至步骤S305。在持续检测到遮挡特征的时间比预定时间β短的情况下(步骤S304：否)，处理结束。

[0094] 在步骤S305中设立了视野不佳判定的标志之后，处理结束。

[0095] 在图6的流程图中，在检测到抖动引发运动的情况和没有检测到的情况下，均进行是否比预定时间长地持续从相机图像检测到遮挡特征的判定。不过，检测到抖动引发运动的情况下的预定时间β是比没有检测到抖动引发运动的情况下的预定时间α长的时间。

[0096] 相机图像中有时仅在短时间内检测到遮挡特征。“仅在短时间内检测到的遮挡特征”例如因相机的误工作、由直接光射入引起的光晕、在从下雨到使雨刷动作为止的期间暂时附在窗上的水滴等而发生。在这样的仅在短时间内检测到遮挡特征那样的情形下，无需基于使用相机的系统的、针对遮挡状态的应对。因此，为了防止在这样的情形下检测到遮挡状态而设定了预定时间α。例如，若仅在短时间内检测到的遮挡特征在10秒左右结束的情况多，则将α设定为12秒。通过这样做，能够防止由于仅在短时间内检测到的遮挡特征而检测到遮挡状态这一情况。

[0097] 但是，在这样的仅在短时间内检测到的遮挡特征发生了之后，到“检测到遮挡特征”解除为止的期间存在抖动引发运动的情况下，可能持续比预定时间α长的时间地检测到遮挡特征，而误判定为发生了由遮挡引起的视野不佳。

[0098] 例如，在图7所示的例子中，预定时间α设定为了10秒。仅在短时间内检测到的遮挡特征在图6的例子中在8秒结束，所以，若没有抖动引发运动，则不会检测到遮挡状态。但是，通过在5秒后抖动引发运动开始，“检测到遮挡特征”持续10秒以上，检测为遮挡状态。因此，为了防止这样的情形，在检测到抖动引发运动的期间，将预定时间设为比α长的β。由此，能够减少由遮挡引起的视野不佳的发生的误判定。

[0099] β例如既可以是对α追加检测到抖动引发运动的时间而得到的时间，也可以设定为比α长的一定的时间。例如，可以在α是10秒并且在跨3秒地(在3秒的期间中)检测到抖动引发运动时将β设为13秒，也可以与检测到抖动引发运动的时间无关地将β设为15秒。

[0100] 7.实施方式的变形例

[0101] 作为本实施方式的图像识别方法的变形例，“遮挡状态的检测的中止”也可以限定于在夜间或将相机的曝光时间设定为比一定时间长的情况下进行。在夜间或将相机的曝光时间设定为比一定时间长的情况下，相机图像的抖动比通常情况大。通过仅在这样的相机图像的抖动容易发生的情形下进行遮挡状态的检测的中止，能够更准确地对由遮挡引起的视野不佳的发生进行判断。

[0102] 如以上所说明的那样，在本实施方式的图像识别方法中，在检测到引发相机图像的抖动的所述车辆的动作的期间，中止遮挡状态的检测。由此，能够减少由遮挡引起的视野不佳的发生的误判定。