[0001] 本公开涉及一种对从自动进行车辆的行驶控制的自动驾驶模式向由驾驶员进行的手动驾驶模式的转变进行辅助的驾驶辅助装置和驾驶辅助方法。

[0002] 近年来，正积极地研究开发自动进行车辆的行驶控制(加速、转向以及制动等)的自动驾驶系统。在自动驾驶系统中，广泛地使用了从驾驶员和系统的与驾驶相关的任务分担的观点来看定义的自动化级别。例如，在美国运输部道路交通安全局的定义中，将级别0作为手动驾驶，将级别4作为完全自动驾驶，自动化级别被分类为五个级别。

[0003] 在上述定义中，当前，已实用化的自动驾驶系统的自动化级别到级别2为止。级别2是由系统进行加速、转向以及制动中的多个操作，但驾驶员需要始终监视驾驶状况的自动化级别。可认为，在不久的将来，级别3的自动驾驶系统会被实用化。级别3是由系统进行全部的加速、转向以及控制，驾驶员无需进行驾驶状况的监视，但在系统的功能极限时驾驶员需要接手驾驶的自动化级别。

[0004] 在级别3的自动驾驶系统中，只要系统稳定工作，驾驶员无需进行驾驶操作或驾驶状况的监视等驾驶任务。其中，由于在系统陷入功能极限的情况下会从自动驾驶模式切换为手动驾驶模式，所以驾驶员需要从系统接手驾驶任务。但是，可认为，由于在自动驾驶模式中驾驶员会从驾驶任务中解放，所以在手动驾驶模式的切换时，很有可能无法充分地立刻进行对周边环境的状况识别。因此，从驾驶中的安全确保的观点来看，从系统的自动驾驶向驾驶员的手动驾驶的适当的转变方法作为用于实现级别3的自动驾驶的重要的课题，已提出了各种方法。

[0005] 例如，在专利文献1中公开了如下车辆驾驶辅助装置：通过预测本车辆的前方的道路状况，判定今后是否能够继续自动驾驶，在判定为无法继续自动驾驶的情况下，向驾驶员预告将要解除系统的自动驾驶模式。专利文献1的车辆驾驶辅助装置在从预测为将要解除自动驾驶的位置到本车辆为止的距离成为预定值以下时，进行解除预告。这样，通过事前预告系统从自动驾驶向手动驾驶的转变，使得驾驶员能够事先进行周边环境的状况识别等向手动驾驶的准备，并能够安全地进行向手动驾驶的转变。

[0006] 在先技术文献

[0007] 专利文献

[0008] 专利文献1：日本特开2015-230573号公报

[0009] 专利文献2：日本特开2015-210660号公报

[0043] (成为本公开的基础的见解)

[0044] 如上所述，在级别3的自动驾驶系统中，只要系统稳定工作，驾驶员无需进行驾驶操作、驾驶状况的监视等驾驶任务。此时，可认为由于驾驶员有了富余时间，所以很有可能收看电视节目、阅读智能手机的邮件等进行驾驶以外的行为。

[0045] 另一方面，在系统陷入功能极限的情况下，驾驶员需要从系统接手驾驶任务。在此，可认为在驾驶员长时间进行了驾驶以外的行为的情况下，对周围环境的状况识别或对本车辆的状态把握等对驾驶的意识会显著降低。若处于这样的状态时切换为手动驾驶，则驾驶员有可能对在车辆的驾驶中应注意的对象反应迟缓，或看漏对象。而且，在最差的情况下，也有可能导致交通事故。

[0046] 因此，为了实现级别3的自动驾驶系统，用于使从驾驶任务离开的驾驶员安全且顺利地恢复为能够进行手动驾驶的状态的转变方法是非常重要的课题。

[0047] 如上所述，在专利文献1中公开了如下方法：预测本车辆的前方的道路状况，判定系统是否能够继续自动驾驶，在判定为无法继续的情况下，向驾驶员预告将要解除系统的自动驾驶模式这一情况。根据该方法，由于事前向驾驶员预告从自动驾驶向手动驾驶的转变，所以驾驶员能够事先进行向手动驾驶的准备。

[0048] 然而，本申请发明人在刻苦研究后发现，在以往的驾驶辅助装置中存在如下问题：在解除自动驾驶模式时，无法确认驾驶员是否真的已成为能够手动驾驶的状态。

[0049] 特别是，根据专利文献1的方法，在从预测为将要解除自动驾驶的位置到本车辆为止的距离成为预定值以下时，开始解除预告的提示。因此，根据提示解除预告时的驾驶员的状态的不同，例如在感到强烈的困倦等情况下，驾驶员进行向手动驾驶的准备的时间有可能不足。另外，也考虑到如下情况：在提示解除预告时，在驾驶员例如正在进行利用智能手机的电视节目收看和打游戏等行为的情况下，没有注意到自动驾驶的解除预告。因此，本申请发明人注意到：需要进行基于自动驾驶中的驾驶员的行为、对驾驶的意识的解除预告的提示。

[0050] 在专利文献2中公开了如下方法：推定自动驾驶中的驾驶员的行为，在判断为驾驶员正在进行驾驶以外的行为的情况下，基于该行为从多个信息提示单元中选择特定的信息提示单元，提示催促停止驾驶以外的行为的信息。专利文献2的方法推定驾驶员从驾驶以外的行为到能够手动驾驶所需的接手时间、和到成为无法继续利用由系统实现的自动驾驶的到达时间，在接手时间比到达时间长的情况下，立刻提示停止行为的信息。

[0051] 根据上述方法，能够基于自动驾驶中的驾驶员的行为，改变提示催促停止驾驶员的驾驶以外的行为的信息的单元。例如，能够在驾驶员用智能手机进行电视节目的收看和打游戏等行为的情况下，在智能手机的画面本身提示催促该行为的中止的信息。本申请发明人考虑到这样的催促行为的中止的信息可视为提示解除预告的信息的一种。

[0052] 另外，在专利文献2的方法中，开始提示催促驾驶以外的行为的停止的信息的定时基于驾驶员从驾驶以外的行为恢复为手动驾驶所需的接手时间而决定。此时，接手时间根据驾驶员的行为的种类来规定。

[0053] 但是，例如，驾驶员在自动驾驶期间使用智能手机打游戏的情况中，也存在驾驶员长时间埋头打游戏的状态和一边时不时监视本车辆的周围环境一边断续地打游戏的状态。可认为，在各种状态下，驾驶员从游戏行为到能够切实地恢复为手动驾驶为止所需的时间应该不同，在埋头打游戏的状态下接手时间花费得更长。

[0054] 本申请发明人着眼于：在以往方法中，没有考虑以上情况，结果，会产生如下问题：在自动驾驶模式的解除时，不知道驾驶员是否真的能够恢复为能够手动驾驶的状态。本申请发明人刻苦研究后得到了如下见解：手动驾驶的接手时间不仅需要考虑驾驶员的行为的种类，而且也要考虑驾驶员对该行为的生理状态和心理状态来设定。

[0055] 因此，在本公开的一个技术方案涉及的驾驶辅助装置中，在从自动驾驶模式向由驾驶员进行的手动驾驶模式的转变时，基于自动驾驶中的驾驶员的行为和驾驶员对该行为的状态，改变向驾驶员提示自动驾驶的解除预告的方法。由此，能够容易地使驾驶员安全且顺利地恢复为手动驾驶。

[0056] 以下，参照附图，说明本公开的实施方式。

[0057] 此外，以下说明的实施方式均为示出总括性或具体的例子的实施方式。在以下的实施方式中所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一个例子，并不意在限定本发明。另外，关于以下实施方式的构成要素中、在表示最上位概念的独立权利要求中所没有记载的构成要素，作为任意的构成要素进行说明。

[0058] (实施方式1)

[0059] 以下，说明实施方式1涉及的驾驶辅助装置。

[0060] 1.构成

[0061] 参照图1，说明本实施方式涉及的驾驶辅助装置的构成。图1是表示本实施方式涉及的驾驶辅助装置1的构成的框图。

[0062] 如图1所示，驾驶辅助装置1具备第一传感器组2、车载设备接口(以下将“接口”略记为“IF”)20、行为检测部3、驾驶员状态检测部4以及解除预告方法决定部5。另外，驾驶辅助装置1具备提示控制部6、第二传感器组7、驾驶模式选择部8以及车辆控制部80。驾驶辅助装置1搭载在成为自动驾驶的对象的车辆上，是对从自动进行车辆的行驶控制的自动驾驶模式向由驾驶员驾驶车辆的手动驾驶模式的转变进行辅助的装置。

[0063] 第一传感器组2是感知用于监视车辆的驾驶员的各种信息的传感器设备的集合。在本实施方式中，第一传感器组2包含车内摄像头21、麦克风22、体动传感器23、血压传感器
24以及心律传感器25。第一传感器组2的各种传感器21～25和车载设备IF20分别是本实施方式中的传感器部的一例。

[0064] 车内摄像头21是拍摄车辆内部的第一摄像头的一例。车内摄像头21生成表示拍摄图像的图像数据。在本实施方式中，作为一例，可以料想驾驶员位于驾驶席。车内摄像头21以能够拍摄驾驶席附近的方式配置在车辆内。

[0065] 麦克风22配置在车辆内，并收集周围的声音。麦克风22生成表示收集到的声音的数据(音频数据)。

[0066] 体动传感器23例如由配置在驾驶席的靠背或座面(座椅接触面)的内部的荷重传感器构成。体动传感器23感知位于驾驶席的人的姿势的变化，并生成感知的结果的传感器信号。体动传感器23也可以由加速度传感器和/或角速度传感器等构成。

[0067] 血压传感器24测量驾驶员的血压，并生成测量结果的传感器信号。血压传感器24例如由可穿戴设备构成，预先安装于在手动驾驶模式时应进行驾驶的责任人。

[0068] 心律传感器25测量驾驶员的心律，并生成测量结果的传感器信号。心律传感器25既可以是安装在耳垂等身体上的接触型传感器设备，也可以是提取与脉搏对应的脸色的变化的摄像头等非接触型传感器设备。

[0069] 车载设备IF20是在有线或无线通信中在车辆内的各种设备之间进行各种信号的收发的接口电路(模块)。车载设备IF20按照预定的通信标准进行通信。预定的标准包括USB、HDMI(注册商标)、IEEE1395、Wi-Fi、Bluetooth(注册商标)等。

[0070] 例如，车载设备IF20与搭载在车辆上的汽车导航装置(以下称为“汽车导航”)或车载电视进行通信。另外，在本实施方式中，车载设备IF20例如进行与驾驶员拥有的智能手机65的信息通信。例如，在智能手机65中安装用于与车载设备IF20的通信的专用应用程序，可以进行无线通信，也可以进行有线连接。也可以取代智能手机65，或在智能手机65的基础上，使用游戏终端、平板终端以及笔记本电脑等各种便携信息终端。

[0071] 行为检测部3基于来自第一传感器组2的各种传感器21～25和车载设备IF20的各种信息，例如周期性地检测驾驶员的行为。将在后面说明利用行为检测部3的行为检测方法。

[0072] 驾驶员状态检测部4基于来自第一传感器组2的各种传感器21～25和车载设备IF20的各种信息，例如周期性地检测与驾驶员的对驾驶的意识相关的多个状态。以下，将由驾驶员状态检测部4检测的驾驶员的多个状态总称为“驾驶员状态”。驾驶员状态包括驾驶员的生理状态和心理状态。生理状态是基于困倦和疲劳等人的生理性原因的状态。心理状态是基于紧张和集中等人的心理性原因的状态。

[0073] 在本实施方式中，作为一例，驾驶员状态检测部4包括分别检测驾驶员的清醒度、疲劳度、紧张度或集中度的级别的清醒度检测部41、疲劳度检测部42、紧张度检测部43以及集中度检测部44。清醒度和疲劳度是分别表示驾驶员的生理状态的尺度的一例。紧张度和集中度是分别表示驾驶员的心理状态的尺度的一例。将在后面说明利用驾驶员状态检测部4的各种尺度的检测方法。

[0074] 行为检测部3和驾驶员状态检测部4例如以一体地构成检测部10的方式安装。检测部10例如具备与软件协作来实现预定的功能的CPU等，并实现行为检测部3和驾驶员状态检测部4的各功能。另外，检测部10具备由ROM和RAM等构成的内部存储器，并将行为检测部3和驾驶员状态检测部4的检测结果随时存储在内部存储器中。

[0075] 解除预告方法决定部5具备解除预告方法选择部50和存储部55。解除预告方法选择部50例如由与软件协作来实现预定的功能的CPU等构成，实现解除预告开始时刻算出部51、解除预告提示单元选择部52以及解除预告提示内容选择部53的各功能(后述)。由此，解除预告方法选择部50选择在车辆内提示解除预告的方法，所述解除预告向驾驶员传达将要解除自动驾驶模式这一情况。

[0076] 存储部55是存储实现解除预告方法决定部5的功能所需的程序和数据的记录介质，由ROM和RAM等构成。存储部55例如存储解除预告方法数据库D1。解除预告方法数据库D1是将驾驶员的行为和状态、提示解除预告的各种方法进行关联而管理的数据库。将在后面说明解除预告方法决定部5的功能的详细情况。

[0077] 提示控制部6例如由与软件协作来实现预定的功能的CPU等构成，控制能够在车辆内以各种形式提示信息的提示单元60。提示单元60包括汽车导航等各种车载显示器61、扬声器62、驾驶员座椅63以及智能手机65。例如，提示控制部6对内置于驾驶员座椅63的振动致动器或安全带的振动致动器等进行驱动控制。

[0078] 另外，在本实施方式中，提示控制部6与各种车载显示器61一起，作为显示器系统的提示单元60之一控制智能手机65。提示控制部6例如经由车载设备IF20进行通信，并控制智能手机65等的画面上的图像显示。

[0079] 第二传感器组7是感知用于监视车辆的外部状况的各种信息的传感器设备的集合。第二传感器组7例如包括摄像头71、雷达72以及GPS73等(参照图9)。

[0080] 第二传感器组7的摄像头71例如配置在车辆的外表面，是拍摄车辆的外部环境(例如，周围的其他车辆)的第二摄像头的一例。雷达72测量到存在于本车辆周围的车辆或障碍物的距离和位置等。GPS73从GPS卫星接收表示本车辆的位置的GPS信息。

[0081] 驾驶模式选择部8例如由与软件协作来实现预定的功能的CPU等构成，包括行驶状态信息取得部81、道路状况预测部82、自动驾驶继续判定部83、自动驾驶解除判定部84以及自动/手动驾驶切换部85。驾驶模式选择部8基于由第二传感器组7得到的各个信息，选择自动进行车辆的行驶控制的自动驾驶模式和由驾驶员驾驶车辆的手动驾驶模式中的某一种模式。

[0082] 车辆控制部80例如由与软件协作来实现预定的功能的CPU等构成，基于当前选择的驾驶模式，进行车辆的行驶控制。例如，在自动驾驶模式中，车辆控制部80使用由第二传感器组7得到的各个信息，在车辆中控制加速、转向以及制动用的各种致动器和ECU等。

[0083] 在以上说明的驾驶辅助装置1中，检测部10、解除预告方法决定部5、提示控制部6、驾驶模式选择部8以及车辆控制部80等各部的各构成要素也可以由专用硬件构成。另外，可以通过执行适合于各构成要素的软件程序来实现。另外，各构成要素也可以通过CPU或处理器等程序执行部读出并执行记录在硬盘或半导体存储器等记录介质中的软件程序而实现。

[0084] 进而，构成上述各装置的构成要素的一部分或全部可以由一个系统LSI(Large Scale Integration：大规模集成电路)构成。系统LSI是将多个构成部集成在一个芯片上制造而成的超多功能LSI，具体而言，是包括微处理器、ROM以及RAM等而构成的计算机系统。在RAM中存储有计算机程序。通过微处理器按照计算机程序工作，系统LSI实现其功能。

[0085] 另外，构成上述各装置的构成要素的一部分或全部可以由可拆装于各装置的IC卡或单个模块构成。IC卡或模块是由微处理器、ROM以及RAM等构成的计算机系统。IC卡或模块也可以包括上述的超多功能LSI。通过微处理器按照计算机程序工作，IC卡或模块实现该功能。该IC卡或该模块也可以具有防篡改性。

[0086] 2.工作

[0087] 以下，说明按以上方式构成的本实施方式中的驾驶辅助装置1的工作。

[0088] 2-1.工作的概要

[0089] 参照图1，说明本实施方式中的驾驶辅助装置1的工作的概要。在本实施方式中，驾驶辅助装置1利用行为检测部3和驾驶员状态检测部4，继续监视驾驶中的驾驶员的行为和进行该行为的驾驶员的状态。另外，在自动驾驶模式中，在驾驶模式选择部8中，始终基于道路状况等，进行自动驾驶是否能够从当前时刻起继续预定时间(例如1小时)以上的判定。

[0090] 在上述判定处理中，在判定为自动驾驶无法继续预定时间以上时，解除预告方法决定部5参照此时检测到的驾驶员的行为、和基于该行为的特定的驾驶员的状态的检测结果，决定提示自动驾驶的解除预告的方法。于是，提示控制部6用依照决定的方法的开始定时、提示单元以及提示内容等，向驾驶员提示解除预告。在此，特定的驾驶员的状态是被认为为了判定为驾驶员能够切实地从驾驶以外的行为恢复为手动驾驶所需的驾驶员的状态(例如集中度)，并根据检测到的驾驶员的行为而预先设定。

[0091] 具体而言，驾驶员在自动驾驶模式中进行电视收看或游戏行为等情况下，不仅基于该行为期间的驾驶员的清醒度，也基于对该行为的集中度，变更开始解除预告的提示的开始定时、提示单元(声音、画面等)、提示内容。例如，在驾驶员迷迷糊糊地收看电视的状态下或热衷于游戏等并极度集中于画面的状态下，可认为驾驶员成为能够手动驾驶的状态的时间花费得比通常的状态长。因此，在本实施方式中，与通常相比提早解除预告的开始定时，或以强调解除预告的方式设定提示单元和提示内容。

[0092] 如上所述，通过根据驾驶员的行为和状态变更自动驾驶的解除预告方法，能够安全且顺利地使在自动驾驶模式中从驾驶离开的驾驶员容易地返回到能够手动驾驶的状态。以下，说明本实施方式涉及的驾驶辅助装置1的工作的详细情况。

[0093] 2-2.驾驶员的行为的检测方法

[0094] 参照图2和图3，说明由行为检测部3进行的驾驶员的行为的检测方法。图2是例示驾驶辅助装置1中的行为检测部3的功能的功能框图。图3是用于说明行为检测部3的工作的图。

[0095] 如图2所示，行为检测部3包括用于检测被推定为驾驶员正在进行的行为的行为推定部300。行为检测部3随时接收来自第一传感器组2的各种传感器21、22、23的传感器信号和车载设备IF20的输出信号，并依次进行用于识别驾驶中的驾驶员的行为的各种检测处理。如图3例示地，行为推定部300基于检测处理结果，检测收发邮件、打游戏以及收看电视等各种驾驶员的行为。

[0096] 例如，当进行了汽车导航61a和智能手机65等通信连接着的设备的操作时，车载设备IF20接收包括正在操作的设备和操作内容的操作信息，并生成表示操作信息的输出信号。

[0097] 如图2所示，行为检测部3包括操作设备检测部301和操作内容检测部302。操作设备检测部301基于车载设备IF20的输出信号，检测输出信号所包括的操作信息表示的设备。操作内容检测部302基于车载设备IF20的输出信号，检测操作信息表示的操作内容。

[0098] 例如，驾驶员用智能手机65打游戏时，行为检测部3用操作设备检测部301检测智能手机65，并用操作内容检测部302检测出操作内容为游戏。由此，行为推定部300检测出“利用智能手机的游戏行为”来作为所推定的驾驶员的行为。

[0099] 进而，如图2所示，行为检测部3包括上半身图像检测部303、动作识别部304、把持物体识别部305、面部图像提取部306以及视线对象检测部307。行为检测部3从车内摄像头21接收表示拍摄图像的图像数据，在上述各部中，按以下方式进行基于车内摄像头21的拍摄图像的图像识别处理。

[0100] 上半身图像检测部303基于来自车内摄像头21的图像数据，检测拍摄图像中的表示驾驶员的上半身的上半身图像。例如，将表示驾驶员不在时的拍摄图像的图像数据预先存储在内部存储器中，上半身图像检测部303读出该图像数据，基于图像数据间的差值检测上半身图像。

[0101] 为了识别进行行为时的驾驶员的动作，动作识别部304基于检测到的上半身图像，例如根据上半身图像的轮廓检测手臂和手的位置和方向等。驾驶员的动作例如包括用手指触摸设备的画面等或按下按钮、以把持物体的方式移动手或移动手臂、为了吃饭或说话而活动嘴等。

[0102] 另外，在检测到把持物体的动作的情况下，把持物体识别部305进行用于识别所把持的物体的图像处理。例如，把持物体识别部305从上半身图像中的手附近提取把持物体的图像，参照智能手机、游戏终端以及书本等预先存储为把持物体的候选的图像数据，进行图像间的类似判定。

[0103] 面部图像提取部306例如基于与人的面部相关的特征量，从检测到的上半身图像提取面部图像。面部图像提取部306也可以从拍摄图像的图像数据整体提取面部图像。

[0104] 视线对象检测部307基于从所提取的面部图像检测出的面部的朝向、根据从面部图像提取的眼睛的图像推定出的视线方向，检测驾驶员的视线朝向的对象。例如，视线对象检测部307通过拍摄图像整体的图像解析或基于车内摄像头21的配置的车辆内设备的配置推定等，检测位于面部的朝向、视线的延长线上的物体。

[0105] 基于以上的图像识别处理，行为推定部300例如能够检测设备的操作或收看行为(包括不与车载设备IF20通信连接的设备)、阅读书本或文件等的行为或吃饭行为等(参照图3)。

[0106] 进而，如图2所示，行为检测部3包括语音检测部308、说话人数检测部309、环境声检测部310以及环境声识别部311。行为检测部3接收从麦克风22收集到的数据，在上述各部中如下进行语音和环境声识别处理。

[0107] 语音检测部308在从麦克风22收集到的数据之中，例如提取人发出的声音的特有特征量，并检测人的语音。说话人数检测部309例如基于检测到的语音的特征量的个人差别，检测出说话者的人数。由此，如图3所示，在检测到人的语音的情况下，如果说话人数为一人，则能够推定是驾驶员的通话行为，如果说话人数为多人，则能够推定是驾驶员和同乘者的会话行为。

[0108] 环境声检测部310在从麦克风22收集到的数据之中检测出环境声，所述环境声是根据预定的特征量等判定为不是人的语音的声音。环境声识别部311进行用于识别检测到的环境声的处理。例如，环境声识别部311参照音乐、收音机的声音、吃饭的咀嚼声、剃须刀等的工作声音等作为环境声的候选而预先存储的环境声数据，进行环境声数据间的比较判定。

[0109] 进而，如图2所示，行为检测部3包括体动信息检测部313。体动信息检测部313基于体动传感器23的传感器信号，检测表示驾驶员的体动的体动信息。由此，检测出驾驶员进行各种行为时改变姿势的体动，能够提高与驾驶员的行为相应的动作的检测精度(参照图3)。

[0110] 2-3.驾驶员状态的检测方法

[0111] 以下，说明由驾驶员状态检测部4进行的各种驾驶员状态的检测方法。

[0112] 2-3-1.清醒度的检测方法

[0113] 参照图4，说明由驾驶员状态检测部4的清醒度检测部41进行的清醒度的检测方法。图4是例示驾驶辅助装置1中的清醒度检测部41的功能的功能框图。

[0114] 在本实施方式中，清醒度是指表示与困倦相反地清醒的程度的尺度。即，在驾驶员困倦的情况下，清醒度降低。

[0115] 清醒度检测部41例如通过利用车内摄像头21的拍摄图像的图像解析，检测驾驶员的清醒度。如图4所示，清醒度检测部41包括面部图像提取部411、睁眼度检测部412、眨眼检测部413、头部位置检测部414以及清醒度推定部410。

[0116] 在利用清醒度检测部41的图像解析中，首先，面部图像提取部411随时取得来自车内摄像头21的图像数据，并提取拍摄图像中的驾驶员的面部图像。接着，睁眼度检测部412检测睁眼度，所述睁眼度表示提取出的面部图像中的眼皮的睁开情况。在此，可认为驾驶员的困倦感越强，眼皮越倾向闭合，睁眼度变得越小。因此，清醒度推定部410以检测到的睁眼度越小清醒度的级别就越降低的方式，算出清醒度的推定级别。

[0117] 另外，可认为在驾驶员困倦时，每一次眨眼时眼皮闭上的闭眼时间变长，眨眼次数减少。因此，眨眼检测部413基于与预定时间(例如一分钟)相应的面部图像，检测闭眼时间和眨眼次数。检测到的闭眼时间越长，则清醒度推定部410就使清醒度的推定级别越降低，并且检测到的眨眼次数越减少，则清醒度推定部410就使清醒度的推定级别越降低。

[0118] 另外，可认为在驾驶员困倦时，驾驶员的头部位置变得不稳定。因此，头部位置检测部414基于车内摄像头21的拍摄图像中的提取出的面部图像的位置，检测驾驶员的头部位置。清醒度推定部410基于与预定时间(例如一分钟)相应的头部位置的检测结果，头部位置的变动率越大，就使清醒度的推定级别越降低。

[0119] 除了以上的拍摄图像的图像解析以外，或取代该拍摄图像的图像解析，清醒度检测部41也可以通过车辆内的语音解析来检测清醒度。可认为在驾驶员困倦时，能够观测到鼾声等睡眠中的呼吸。因此，清醒度检测部41包括呼吸声检测部415。呼吸声检测部415在从麦克风22收集到的数据中检测驾驶员的呼吸声，并判断在检测到的呼吸声中是否包括鼾声等睡眠中的呼吸。每当判断为包括睡眠中的呼吸时，清醒度推定部410使清醒度的推定级别降低。

[0120] 另外，清醒度检测部41也可以基于心律传感器25的测量结果来检测清醒度。已知在人困倦时，在心律变动(HRV)所包括的HF成分(例如0.04Hz～0.15Hz)和LF成分(例如0.04Hz～0.15Hz)中，由副交感神经的活动引起的HF成分变大。

[0121] 因此，如图4所示，清醒度检测部41包括心律变动检测部416和LF/HF检测部417。心律变动检测部416根据心律传感器25的传感器信号来检测心律变动。LF/HF检测部417对检测出的心律变动中的LF成分与HF成分之比(LF/HF比)进行检测。检测出的LF/HF比越小，则清醒度推定部410就使清醒度的推定级别越降低。

[0122] 另外，如图4所示，清醒度检测部41也可以包括体动信息检测部418。可认为在驾驶员的体动频繁时，驾驶员是清醒着的。因此，体动信息检测部418基于体动传感器23的传感器信号，检测表示驾驶员的体动的体动信息。清醒度推定部410基于体动信息，体动越多，则使清醒度的推定级别越增大。

[0123] 另外，如图4所示，清醒度检测部41也可以包括操作频率检测部419。可认为在频繁地进行设备的操作时，驾驶员是清醒着的。因此，操作频率检测部419例如基于过去1分钟等预定时间中的来自车载设备IF20的输出信号所包括的操作信息，检测操作频率。操作频率是在预定时间中操作设备的频率。检测到的操作频率越多，则清醒度推定部410使清醒度的推定级别越增大。

[0124] 此外，在以上说明中，说明了如下例子：在清醒度推定部410中，根据睁眼度检测部412、眨眼检测部413、头部位置检测部414、呼吸声检测部415、LF/HF检测部417、操作频率检测部419、体动信息检测部418中的某一个检测部的结果，进行清醒度级别的推定。本公开不限定于此，在清醒度推定部410中，可以统合地判断上述各检测部的结果来进行清醒度级别的推定。

[0125] 2-3-2.疲劳度的检测方法

[0126] 参照图5，说明由驾驶员状态检测部4的疲劳度检测部42进行的疲劳度的检测方法。图5是例示驾驶辅助装置1中的疲劳度检测部42的功能的功能框图。

[0127] 在本实施方式中，疲劳度是指表示身体疲劳的积累情况的尺度。

[0128] 疲劳度检测部42例如基于心律传感器25的测量结果来检测疲劳度。如图5所示，疲劳度检测部42包括心率检测部421、心律变动检测部422、LF/HF检测部423以及疲劳度推定部420。

[0129] 心率检测部421基于心律传感器25的传感器信号检测心率(HR)。可认为在驾驶员积累了疲劳时，心率从安静时的平均心率偏离。因此，疲劳度推定部420以检测到的心率与预先设定的心率的基准值的差值越大则将疲劳度推定为越大的方式算出疲劳度的推定级别。

[0130] 另外，疲劳度检测部42的心律变动检测部422和LF/HF检测部423分别与清醒度检测部41的例子同样地，检测心律变动和LF/HF比。可认为在驾驶员积累了疲劳时，在心律变动中因交感神经的活动引起的LF成分变大。因此，检测到的LF/HF比越大，则疲劳度推定部420使疲劳度的推定级别越增大。

[0131] 另外，如图5所示，疲劳度检测部42可以包括与清醒度检测部41同样地检测体动信息的体动信息检测部424。可认为在驾驶员积累了疲劳时，为了减轻身体上的紧张状态，频繁地进行调整坐姿等姿势变化，体动变多。因此，疲劳度推定部420基于所检测的体动信息，体动越多，则使疲劳度的推定级别越增大。

[0132] 另外，如图5所示，疲劳度检测部42也可以包括操作频率检测部425和误操作检测部426。与清醒度检测部41的操作频率检测部419同样地，疲劳度检测部42的操作频率检测部425基于来自车载设备IF20的操作信息，检测操作频率。误操作检测部426基于来自车载设备IF20的操作信息所包括的操作内容，检测误操作频率。误操作频率是在预定时间中进行的操作中的误操作的频率。

[0133] 在本实施方式中，可以料想驾驶员由于在自动驾驶模式中进行驾驶以外的行为而产生疲劳。例如，可认为，在驾驶员进行智能手机等的操作时，在产生疲劳时，操作频率减少，误操作频率增加。因此，检测到的操作频率越减少，则疲劳度推定部420使疲劳度的推定级别越增大，检测到的误操作频率越增大，则疲劳度推定部420使疲劳度的推定级别越增大。

[0134] 此外，在以上说明中，说明了如下例子：在疲劳度推定部420中，根据心率检测部421、心律变动检测部422、LF/HF检测部423、体动信息检测部424、操作频率检测部425以及误操作检测部426中的某一个检测部的结果，进行疲劳度级别的推定。本公开不限定于此，在疲劳度推定部420中，可以统合地判断上述各检测部的结果来进行疲劳度级别的推定。

[0135] 2-3-3.紧张度的检测方法

[0136] 参照图6，说明由驾驶员状态检测部4的紧张度检测部43进行的紧张度的检测方法。图6是例示驾驶辅助装置1中的紧张度检测部43的功能的功能框图。

[0137] 在本实施方式中，紧张度是指表示作为对象的人紧张(或兴奋)的程度的尺度。

[0138] 紧张度检测部43例如基于血压传感器24的测量结果，检测紧张度。如图6所示，紧张度检测部43包括血压检测部431和紧张度推定部430。

[0139] 血压检测部431基于血压传感器24的传感器信号，检测驾驶员的血压。当人紧张时，血压倾向于变高。因此，紧张度推定部430基于检测到的血压，以检测到的血压越大则将紧张度推定为越大的方式算出紧张度的推定级别。

[0140] 另外，如图6所示，紧张度检测部43可以包括与疲劳度检测部42的例子同样地分别检测心率、心律变动以及LF/HF比的心率检测部432、心律变动检测部433以及LF/HF检测部434。

[0141] 当人紧张时，心率倾向于变高。因此，检测到的心率越高，则紧张度推定部430使紧张度的推定级别越增大。另外，当人紧张时，心律变动中的LF成分倾向于变大。因此，检测到的LF/HF比越大，则紧张度推定部430就使紧张度的推定级别越增大。

[0142] 另外，如图6所示，紧张度检测部43可以包括与疲劳度检测部42的例子同样地检测误操作频率的误操作检测部435。可认为，在驾驶员进行智能手机等的操作时，若感到紧张则误操作频率会增加。因此，检测到的误操作频率越增大，则紧张度推定部430使紧张度的推定级别越增大。

[0143] 此外，在以上说明中，说明了如下例子：在紧张度推定部430中，根据血压检测部431、心率检测部432、心律变动检测部433、LF/HF检测部434以及误操作检测部435中的某一个检测部的结果，进行紧张度级别的推定。本公开不限定于此，在紧张度推定部430中，可以统合地判断上述各检测部的结果来进行紧张度级别的推定。

[0144] 2-3-4.集中度的检测方法

[0145] 参照图7，说明由驾驶员状态检测部4的集中度检测部44进行的集中度的检测方法。图7是例示驾驶辅助装置1中的集中度检测部44的功能的功能框图。

[0146] 在本实施方式中，集中度是指表示作为对象的人对正在进行的行为的集中力的程度的尺度。

[0147] 集中度检测部44例如通过利用车内摄像头21的拍摄图像的图像解析来检测集中度。如图7所示，集中度检测部44包括面部图像提取部441、视线举动检测部442以及集中度推定部440。集中度检测部44的面部图像提取部441与清醒度检测部41的例子同样地提取面部图像。

[0148] 视线举动检测部442例如确定在过去1分钟等预定时间中提取出的面部图像中的眼睛的位置，来检测视线的举动即视线的移动率。可认为在驾驶员对特定行为的集中力变高时，驾驶员注视行为的对象(例如游戏终端的画面等)，视线的移动变少。因此，集中度推定部440以检测到的视线的移动率越低，则使集中度的级别越增大的方式算出该集中度的级别。

[0149] 另外，如图7所示，集中度检测部44可以在视线举动检测部442的基础上，或取代视线举动检测部442，包括与清醒度检测部41的例子同样地检测睁眼度的睁眼度检测部443和/或与清醒度检测部41的例子同样地检测眨眼次数的眨眼次数检测部444。可认为在驾驶员的集中力变高时，睁眼度变大，眨眼次数减少。因此，检测到的睁眼度越大和/或检测到的眨眼次数越多，则集中度推定部440使集中度的推定级别越增大。

[0150] 另外，如图7所示，集中度检测部44可以包括与疲劳度检测部42的例子同样地检测操作频率的操作频率检测部445和/或检测误操作频率的误操作频率检测部446。例如，可认为在正在打游戏的驾驶员的集中力变高时，游戏终端等的操作频率变高，误操作频率变低。因此，检测到的操作频率越高和/或检测到的误操作频率越低，则集中度推定部440使集中度的推定级别越增大。

[0151] 另外，如图7所示，集中度检测部44可以包括与疲劳度检测部42的例子同样地检测心率的心率检测部447。可认为在驾驶员的集中力变高时，特别是不管驾驶员的行为如何，心率都比平常时大。因此，检测到的心率越高，则集中度推定部440使集中度的推定级别越增大。

[0152] 此外，在以上说明中，说明了如下例子：在集中度推定部440中，根据面部图像提取部441、视线举动检测部442、睁眼度检测部443、眨眼次数检测部444、操作频率检测部445、误操作频率检测部446以及心率检测部447中的某一个检测部的结果，进行集中度级别的推定。本公开不限定于此，在集中度推定部440中，可以统合地判断上述各检测部的结果来进行集中度级别的推定。

[0153] 2-4.关于自动驾驶模式的解除处理

[0154] 参照图1和图8，说明在解除自动驾驶模式时所执行的解除处理。图8是用于说明由驾驶辅助装置1进行的自动驾驶模式的解除处理的流程图。

[0155] 在驾驶辅助装置1中，在自动驾驶模式中执行图8所示的流程图。另外，在本处理的执行中，行为检测部3和驾驶员状态检测部4分别反复进行上述检测工作。

[0156] 首先，在驾驶辅助装置1的驾驶模式选择部8(图1)中，道路状况预测部82基于来自行驶状态信息取得部81的行驶状态信息，进行道路状况的预测处理(S1)。例如，道路状况预测部82在本车辆行驶于高速公路的状况下，进行到达高速公路出口为止的期间的预测。行驶状态信息是表示本车辆行驶的行驶状态和本车辆的周围环境的信息。后面将说明行驶状态信息的取得方法。

[0157] 接着，自动驾驶继续判定部83基于道路状况的预测结果和行驶状态信息，判定自动驾驶模式是否能够从当前时刻起继续预定时间以上(S2)。预定时间是考虑了能够最大限度将解除预告的开始定时提早的余量而设定的时间，即，是被认为能够以某种程度的富余时间，使从驾驶任务离开的驾驶员返回到能够进行手动驾驶的状态的时间，例如是10分钟。

[0158] 在判定为自动驾驶模式能够继续时(在S2中为是)，驾驶模式选择部8在预定周期(例如1分钟)中反复进行步骤S1以后的处理。

[0159] 另一方面，在判定为自动驾驶模式无法继续时(在S2中为否)，解除预告方法决定部5的解除预告方法选择部50取得表示此时由行为检测部3检测到的行为和由驾驶员状态检测部4检测到的驾驶员状态的信息。解除预告方法决定部5基于所取得的行为和驾驶员状态的检测结果，决定解除预告方法(S3)。

[0160] 解除预告方法是在车辆内提示解除预告的方法。在步骤S3中，解除预告方法选择部50的解除预告开始时刻算出部51算出提示解除预告的开始定时，例如在提示控制部6中设定。另外，解除预告提示单元选择部52选择提示单元60中的提示解除预告的提示单元，并在提示控制部6中设定。另外，解除预告提示内容选择部53选择在解除预告中将要提示的提示内容，并在提示控制部6中设定。将在后面说明解除预告方法的决定处理的详细情况。

[0161] 接着，提示控制部6判定当前时刻是否已到达所设定的开始定时(S4)。提示控制部6反复进行本步骤直到当前时刻到达设定的开始定时。

[0162] 若当前时刻到达设定的开始定时(在S4中为是)，提示控制部6按照由解除预告方法决定部5决定的解除预告方法，控制解除预告的提示，以向所选择的提示单元提示选择的内容的解除预告(S5)。

[0163] 接着，驾驶模式选择部8中的自动驾驶解除判定部84基于解除预告的提示后的驾驶员的行为和驾驶员状态的检测结果，判定驾驶员是否能够手动驾驶(S6)。本处理例如通过判定驾驶员是否停止了驾驶以外的行为、视线是否朝向车辆前方等来进行。此时，可以适当使用清醒度等是否过低等生理/心理状态的检测结果。

[0164] 在判定为驾驶员无法手动驾驶的情况下(在S6中为否)，解除预告方法决定部5再次决定解除预告方法(S3)。在该情况下，考虑再次的解除预告这一情况，适当进行解除预告方法的再设定。

[0165] 另一方面，在判定为驾驶员能够手动驾驶的情况下(在S6中为是)，自动/手动驾驶切换部85控制车辆控制部80，以解除自动驾驶模式并切换为手动驾驶模式(S7)。于是，车辆控制部80解除车辆的自动驾驶控制。

[0166] 由此，车辆的驾驶转变至由驾驶员进行的手动驾驶，驾驶辅助装置1结束图8的流程图的处理。

[0167] 根据以上处理，在从自动驾驶模式向手动驾驶模式的转变时，根据自动驾驶中的驾驶员的行为和驾驶员对该行为的生理/心理状态，变更解除预告方法。由此，能够使驾驶员安全且顺利地恢复为手动驾驶。

[0168] 在以上说明中，说明了如下例子：紧接着步骤S3的决定处理，提示控制部6反复进行步骤4的判定处理直到当前时刻到达设定的开始定时。但不限于此，例如也可认为到在当前时刻到达设定的开始定时之前，驾驶员的行为和状态会发生变化。因此，例如，也可以是，在步骤S4中做出了“否”的判定时，解除预告方法决定部5确认行为检测部3和驾驶员状态检测部4的新的检测结果。此时，在驾驶员的行为和状态中确认到变化的情况下，解除预告方法决定部5适当更新所决定的解除预告方法的各种设定。

[0169] 另外，在以上说明中，在步骤S6中，在由自动驾驶解除判定部84判定为驾驶员无法手动驾驶的情况下(在S6中为否)，解除预告方法决定部5再次决定解除预告方法(S3)。也可以是，在步骤S6中反复进行了预定次数以上“否”的判定的情况下，结束本流程图的处理。此时，车辆控制部80例如也可以进行驾驶控制以使得车辆停在安全的位置。

[0170] 2-4-1.关于行驶状态信息的取得方法

[0171] 参照图9，说明图8的流程图的步骤S1中的行驶状态信息的取得方法。图9是例示行驶状态信息取得部81的功能的功能框图。

[0172] 如图9所示，行驶状态信息取得部81包括车辆行驶位置算出部811、地图数据存储部812、车辆行驶信息取得部813、周围环境信息取得部814以及交通信息取得部815。另外，第二传感器组7包括摄像头71、雷达72以及GPS73。另外，在车辆中安装有无线通信部11，所述无线通信部11是能够与互联网等网络无线连接的通信模块。

[0173] 行驶状态信息取得部81从第二传感器组7中的GPS73取得GPS信息。地图数据存储部812预先存储有地图数据。车辆行驶位置算出部811基于所取得的GPS信息，算出存储在地图数据存储部812中的地图数据中的本车辆的行驶位置。

[0174] 车辆行驶信息取得部813取得车辆行驶信息，所述车辆行驶信息表示车辆控制部80进行行驶控制的本车辆的行驶速度等。

[0175] 道路状况预测部82例如在自动驾驶模式下行驶于高速公路期间，在图8的步骤S1中，基于行驶位置信息、地图数据以及车辆行驶信息，算出本车辆到达高速公路出口为止的预测时间。在该情况下，在图8的步骤S2中，自动驾驶继续判定部83将预测时间与预先设定的预定时间(参照2-4)进行比较，当预测时间小于预定时间时，进入“否”。

[0176] 周围环境信息取得部814从摄像头71取得表示本车辆的外部环境的拍摄图像的图像数据。另外，周围环境信息取得部814也可以取得利用雷达72得到的测量信息。来自摄像头71的图像数据和利用雷达72得到的测量信息分别是周围环境信息的一例，所述周围环境信息包括表示存在于本车辆周围的其他车辆的状况的信息。

[0177] 交通信息取得部815从无线通信部11取得交通信息。交通信息是互联网等所公开的、表示堵车位置和堵车规模等实时交通状况的信息。

[0178] 道路状况预测部82基于由周围环境信息取得部814取得的周围环境信息、和由交通信息取得部815取得的交通信息等，预测例如上述预定时间内的本车辆周围的车辆的交通状况。例如预测本车辆是否会在预定时间内通过堵车位置。自动驾驶继续判定部83基于道路状况预测部82的预测结果，判定从当前时刻起自动驾驶模式是否能够继续预定时间以上，即，自动驾驶系统是否陷入功能极限。

[0179] 2-4-2.关于解除预告方法的决定处理

[0180] 参照图10～图13，说明图8的流程图的步骤S3中的解除预告方法的决定处理。

[0181] 图10表示行为状态表D2的一例。在图8的步骤S3中，解除预告方法决定部5例如参照行为状态表D2，从表示驾驶员状态的各种尺度之中，选择用于决定解除预告方法的尺度。行为状态表D2是将驾驶员的行为、和根据驾驶员的行为而应考虑的驾驶员状态的尺度进行关联而记录的数据表。

[0182] 在图10中例示的行为状态表D2关联有检测对象的行为、清醒度、疲劳度、紧张度以及集中度。检测对象的行为包括阅览邮件、SNS和WEB、打游戏、收看电视、读书、听音乐、收听收音机、会话、通话、吃饭以及打扮(剃须、化妆等)。在图8的步骤S3中，解除预告方法选择部50基于由行为检测部3检测到的行为，选择在行为状态表D2中设定为“○”的尺度。

[0183] 在图10的例子的行为状态表D2中，例如，对于阅览邮件、SNS和WEB、打游戏、收看电视、吃饭以及打扮这样的行为，集中度被设定为“○”。这是由于：可认为，在驾驶员集中于上述行为的情况下，驾驶员的视线锁定在特定的对象(例如游戏中的游戏画面)上，基本上不进行本车辆的周围环境的检查等，到恢复为手动驾驶为止，更花费时间。

[0184] 另外，可认为，在通话等行为中，在驾驶员感到紧张这样的心理状态的情况下，到恢复为手动驾驶为止，也很花费时间。因此，对于在图10的例子中列举的各行为，将紧张度设定为“○”。

[0185] 另外，可以料想，根据驾驶员的行为的不同，会因进行行为而产生疲劳或产生困倦。因此，在检测到图10例示的特定行为的情况下，疲劳度和清醒度被设定为“○”。

[0186] 解除预告方法决定部5基于由行为检测部3检测到的行为，从驾驶员状态检测部4取得按上述方式选择出的尺度的组合的各推定级别，参照解除预告方法数据库D1来决定解除预告方法。

[0187] 图11表示解除预告方法数据库D1的一例。解除预告方法数据库D1将驾驶员的行为、驾驶员状态以及解除预告的提示方法进行关联而管理。在图11中，例示了驾驶员的行为是阅览邮件、SNS和WEB、游戏、收看电视以及读书的情况下的解除预告方法数据库D1。在该情况下，根据清醒度、疲劳度、紧张度以及集中度来决定解除预告方法(参照图10)。

[0188] 另外，作为一例，在图11中例示的解除预告方法数据库D1用“低”、“中”、“高”这三个等级将各种驾驶员状态进行分类，并管理对应的解除预告方法。解除预告方法决定部5将从驾驶员状态检测部4取得的各推定级别分别与两个阈值级别比较，判定各种驾驶员状态的“低”、“中”、“高”。

[0189] 在图11的例子中，在清醒度、疲劳度、紧张度以及集中度全部为“中”的情况下，是表示驾驶员的平常状态的驾驶员状态。在该情况下，解除预告方法决定部5的解除预告提示内容选择部53将解除预告的提示内容设定为“切换为手动驾驶的通知”。另外，解除预告提示单元选择部52将显示器系统和扬声器系统采用为提示单元。由此，如图11所示，在解除预告中，上述通知内容显示在汽车导航61a等预定画面上，并进行声音输出。

[0190] 另外，在上述情况下，作为通常情况下的解除预告的开始定时，解除预告开始时刻算出部51算出比向手动驾驶切换的预想时刻前提前了预定的接手时间的定时。接手时间例如按每个行为设定成驾驶员恢复为手动驾驶为止所需的预想的时间。使用图12和13，说明解除预告的开始定时的算出方法。

[0191] 图12的图表示清醒度、疲劳度以及紧张度为“中”的情况下的集中度与解除预告的开始定时的关系。L1、L2表示用于判定集中度的三个等级(“低”、“中”、“高”)的阈值级别。t0表示通常情况下的解除预告的开始定时。图13的图表示清醒度、疲劳度以及集中度为“中”的情况下的紧张度与解除预告的开始定时的关系。L11、L12表示用于判定紧张度的三个等级的阈值级别。

[0192] 解除预告方法决定部5的存储部55按各种驾驶员状态的“低”、“中”、“高”的分类，预先存储有与图12和图13的图对应的信息D31、D32。

[0193] 在清醒度、疲劳度以及紧张度为“中”的情况下，解除预告开始时刻算出部51参照与图12的图对应的信息D31，算出由驾驶员状态检测部4检测到的集中度的推定级别所对应的开始定时。由此，在集中度为“高”的情况下，集中度越高，则开始定时比通常的定时t0越早。因此，驾驶员对游戏等行为的集中度越高，则在越早的定时提示解除预告，驾驶员容易安全地恢复为手动驾驶。

[0194] 另外，可认为即使在驾驶员的集中力散漫的情况下，到恢复为手动驾驶为止也花费时间。因此，在图12的例子中，解除预告的开始定时设定为：在集中度为“低”的情况下，集中度越低，则该解除预告的开始定时越早。

[0195] 另外，在清醒度、疲劳度以及集中度为“中”且紧张度为“高”的情况下，解除预告开始时刻算出部51参照与图13的图对应的信息D32，算出与紧张度的推定级别对应的开始定时。由此，驾驶员的紧张度越高，则在越早的定时提示解除预告，驾驶员容易安全地恢复为手动驾驶。

[0196] 返回图11，在清醒度为“中～高”、疲劳度为“低～高”、紧张度为“中～高”、集中度为“高”的情况下，解除预告提示内容选择部53将解除预告的提示内容设定为“催促行为的中止的警告”。如图11所示，解除预告提示单元选择部52决定：将警告内容即解除预告在显示器系统中显示在特定的画面上，并从扬声器系统声音输出。另外，为了更有效地警告驾驶员，解除预告提示单元选择部52决定：在致动器系统的提示单元中，使座椅振动以摇晃驾驶员的身体。

[0197] 在此，可认为，当驾驶员集中于阅览邮件、SNS和WEB、打游戏以及收看电视这样的行为时，驾驶员的视线集中于正在收看的画面。因此，如图11所示，解除预告提示单元选择部52基于驾驶员的行为的检测结果，选择正在收看的画面(例如正在收发邮件的智能手机或正在收看电视的车载电视)作为显示器系统的提示单元。另一方面，在驾驶员的行为是读书的情况下，在本实施方式中，如图11所示，将汽车导航61a的画面作为显示器系统的提示单元。

[0198] 另外，在清醒度为“低”、疲劳度为“低～高”、紧张度为“低～中”、集中度为“低”的情况下，解除预告提示内容选择部53将“催促清醒的内容”设定为提示内容。如图11所示，解除预告提示单元选择部52在利用显示器系统显示上述内容的基础上，决定：从扬声器系统的警告声音或警报输出、以及利用致动器系统的座椅的振动或从空调器送出冷风等。另外，在上述情况下，解除预告开始时刻算出部51例如基于清醒度的推定级别，算出将解除预告的开始定时提早的定时。

[0199] 3.效果等

[0200] 如以上说明那样，本实施方式涉及的驾驶辅助装置1对从自动进行车辆的行驶控制的自动驾驶模式向由驾驶员驾驶车辆的手动驾驶模式的转变进行辅助。驾驶辅助装置1具备行为检测部3、驾驶员状态检测部4以及解除预告方法决定部5。行为检测部3检测利用自动驾驶模式驾驶中的驾驶员的行为。驾驶员状态检测部4检测驾驶中的驾驶员的多个状态。解除预告方法决定部5决定在车辆内提示解除预告的方法，所述解除预告向驾驶员传达将要解除自动驾驶模式这一情况。具体而言，解除预告方法决定部5在将要解除自动驾驶模式之前，基于由行为检测部3检测到的驾驶员的行为和由驾驶员状态检测部4检测到的多个状态，在提示控制部6中设定解除预告方法，所述解除预告方法是提示解除预告的方法。

[0201] 根据以上的驾驶辅助装置1，根据驾驶员的行为和驾驶员对该行为的状态，设定解除预告方法。由此，在从自动驾驶模式向由驾驶员进行的手动驾驶模式的转变时，驾驶员能够容易地恢复为手动驾驶。

[0202] 例如，不仅能够基于驾驶员的行为，还能够基于驾驶员对该行为的生理/心理状态，适当地变更提示单元和/或开始提示的定时。例如，可认为，在驾驶员非常集中于游戏行为等情况下，与不集中的情况下相比，驾驶员能够切实地进行手动驾驶所需的时间花费得更长。在本构成中，由于能够基于驾驶员状态检测部4的检测结果，根据驾驶员对游戏行为的集中度来改变提示解除预告的定时，所以能够使得驾驶员切实地进行手动驾驶。

[0203] 另外，在本实施方式中，解除预告方法决定部5(解除预告方法选择部50)根据基于检测到的驾驶员的行为的、特定的驾驶员状态的检测结果(例如，集中度较高等)来变更解除预告方法，并在提示控制部6中设定解除预告方法。由此，能够使驾驶员安全且顺利地从驾驶以外的行为恢复为手动驾驶。

[0204] 另外，在本实施方式中，驾驶员状态检测部4分别检测表示驾驶员的多个状态的多个尺度的级别。解除预告方法决定部5基于在多个尺度的级别中与检测到的驾驶员的行为相应的组合的尺度的级别的检测结果，设定解除预告方法(参照图10)。由此，基于与驾驶员的行为相应的各种组合的尺度的级别，适当地设定解除预告方法。

[0205] 另外，在本实施方式中，上述多个状态包括利用驾驶员的集中度表示的心理状态。由此，能够考虑驾驶员的集中度来设定解除预告方法。

[0206] 另外，在本实施方式中，驾驶员状态检测部4检测驾驶员的集中度的级别。在检测到的驾驶员的行为属于特定行为的情况下，解除预告方法决定部5设定解除预告方法，以根据检测到的集中度的级别来强调解除预告的提示内容。由此，驾驶员对特定的行为的集中度越高，则越强调解除预告的提示内容，驾驶员容易恢复为手动驾驶。

[0207] 另外，在本实施方式中，解除预告方法决定部5设定解除预告方法，以根据检测到的集中度的级别将开始解除预告的开始定时提早。由此，在驾驶员对特定行为过度集中时，尽早地开始解除预告，驾驶员更容易恢复为手动驾驶。

[0208] 另外，在本实施方式中，上述多个状态包括驾驶员的生理状态。由此，能够考虑驾驶员的困倦等生理状态来设定解除预告方法。

[0209] 另外，在本实施方式中，解除预告方法的设定包括开始解除预告的开始定时、解除预告的提示内容以及提示解除预告的提示单元中的至少一个的设定。由此，能够从各种观点出发来进行解除预告方法的设定。

[0210] 另外，在本实施方式中，驾驶辅助装置1还具备第一传感器组2和车载设备IF20作为感知与驾驶中的驾驶员相关的信息的传感器部。行为检测部3基于所感知的信息来检测驾驶员的行为。驾驶员状态检测部4基于所感知的信息来检测多个状态。由此，通过传感器部监视驾驶员，能够高精度地检测驾驶员的行为和状态。

[0211] 另外，在本实施方式中，驾驶辅助装置1的传感器部包括：拍摄车辆内部的车内摄像头21、收集车辆内的声音的麦克风22、从车辆内的设备接收信息的车载设备IF20、心律传感器25、血压传感器24以及体动传感器23中的至少一个。由此，能够用各种传感器装置监视驾驶员。

[0212] 此外，驾驶辅助装置1的传感器部既可以包括上述各装置的任一个的组合，也可以包括例如出汗传感器等其他传感器装置。此时，也可以是，行为检测部3和驾驶员状态检测部4使用由传感器部所包括的装置中的任一个感知的信息，检测驾驶员的行为和状态。

[0213] 另外，在本实施方式中，驾驶辅助装置1还具备行驶状态信息取得部81和自动驾驶继续判定部83。行驶状态信息取得部81取得表示车辆的行驶状态的行驶状态信息。自动驾驶继续判定部83在自动驾驶模式中，基于行驶状态信息，判定自动驾驶模式是否能够继续预定时间以上。解除预告方法决定部5在自动驾驶继续判定部83判定为无法将自动驾驶模式继续预定时间以上时，设定解除预告方法。由此，能够在解除自动驾驶模式之前且基于行驶状态信息判断为自动驾驶模式无法继续预定时间以上时，事先进行解除预告方法的设定。

[0214] 另外，在本实施方式中，行驶状态信息包括车辆的行驶速度信息、车辆的行驶位置信息以及表示车辆的周围环境的状况的周围环境信息。由此，能够基于各种信息进行自动驾驶模式的继续判定。

[0215] 另外，在本实施方式中，周围环境信息包括表示存在于车辆的周围的其他车辆的状况的信息。由此，能够根据其他车辆的状况，进行自动驾驶模式的继续判定。

[0216] 另外，在本实施方式中，拍摄车辆外部的摄像头71配置在车辆上。行驶状态信息取得部81从摄像头71取得周围环境信息。由此，能够根据拍摄在摄像头71的拍摄图像中的其他车辆的状况，进行自动驾驶模式的继续判定。

[0217] 另外，本实施方式涉及的驾驶辅助方法是驾驶辅助装置1对从自动进行车辆的行驶控制的自动驾驶模式向由驾驶员驾驶车辆的手动驾驶模式的转变进行辅助的方法。本方法包括驾驶辅助装置1检测驾驶中的驾驶员的行为的步骤。本方法包括驾驶辅助装置1检测驾驶中的驾驶员的多个状态的步骤。本方法包括决定解除预告方法的步骤，所述解除预告方法是驾驶辅助装置1在车辆内提示用于向驾驶员传达自动驾驶模式的解除的信息的方法。决定解除预告方法的步骤包括在解除自动驾驶模式之前，基于检测到的驾驶员的行为和检测到的驾驶员的多个状态来设定解除预告方法的步骤。

[0218] 利用以上驾驶辅助方法，在从自动驾驶模式向由驾驶员进行的手动驾驶模式的转变时，驾驶员能够容易地恢复为手动驾驶。

[0219] (其他实施方式)

[0220] 此外，以上的总括或具体的技术方案既可以用系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等记录介质来实现，也可以用系统、方法、集成电路、计算机程序和记录介质的任意组合来实现。

[0221] 另外，本公开包含以上所示的各种方法。本公开的一个技术方案既可以是利用计算机实现这些方法的计算机程序，也可以是由上述计算机程序构成的数字信号。

[0222] 进而，本公开的一个技术方案也可以将上述计算机程序或上述数字信号记录于计算机可读的记录介质，例如软盘、硬盘、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(注册商标))、USB存储器、SD卡等存储卡或半导体存储器等。另外，本公开也可以是记录在这些记录介质中的上述数字信号。

[0223] 另外，本公开的一个技术方案可以经由电通信线路、无线或有线通信线路、以互联网为代表的网络或数据广播等输送上述计算机程序或上述数字信号。

[0224] 另外，本公开的一个技术方案可以是具备微处理器和存储器的计算机系统，上述存储器存储有上述计算机程序，上述微处理器按照上述计算机程序工作。

[0225] 另外，也可以通过将上述程序或上述数字信号记录于上述记录介质并转送，或经由上述网络等转送上述程序或上述数字信号，由此通过独立的其他计算机系统实施上述装置。

[0226] 另外，在上述说明中使用的数字全部是为了具体说明本公开而例示的数字，本公开不限于所例示的数字。

[0227] 另外，框图中的功能块的分割为一例，可以将多个功能块作为一个功能块来实现，将一个功能块分割为多个，或将一部分功能转移到其他功能块。另外，也可以是单一的硬件或软件以并行或时分方式处理具有类似功能的多个功能块的功能。

[0228] 另外，执行上述驾驶辅助方法所包括的多个步骤的顺序是为了具体说明本公开而例示的顺序，也可以是除上述以外的顺序。并且，上述步骤的一部分也可以与其他的步骤同时(并行)执行。

[0229] 以上，基于实施方式说明了一个或多个技术方案涉及的驾驶辅助装置，但本公开不限于上述实施方式。只要不脱离本发明的宗旨，对本实施方式实施了本领域的技术人员能够想到的各种变形而得到实施方式、以及组合不同的实施方式中的构成要素而构成的实施方式均可包括在一个或多个方式的范围内。

[0230] 产业上的可利用性

[0231] 本公开涉及的驾驶辅助装置和驾驶辅助方法能够应用于将车辆的驾驶自动化的自动驾驶系统。