技术领域
[0001] 本公开涉及能进行自动驾驶的车辆。
相关背景技术
[0002] 近年来,正在推进一种自动驾驶技术的开发,该自动驾驶技术使用通过机器学习生成的训练完毕模型,根据车载传感器等的数据来决定车辆控制。在专利文献1中,提出了一种收集能在用于生成训练完毕模型的机器学习中使用的训练数据的方法。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1:国际公开第2019/116423号
[0006] 专利文献2:日本特开2020-153939号公报
[0007] 专利文献3:日本特开2019-074359号公报
[0008] 专利文献4:日本特开2020-173264号公报
[0009] 不过,在车辆周围的环境改变了的情况下,通过训练完毕模型得到的推论结果可能会发生变化。因此,例如,根据天气、时间段、通行量等交通环境,能使用训练完毕模型来适当地执行车辆控制的范围可能发生变化。其结果是,可能发生迫使期待自动驾驶的用户进行手动驾驶的操作的场景。
具体实施方式
[0024] 1.车辆的自动驾驶
[0025] 图1是表示与本实施方式的车辆1的自动驾驶关联的构成例的框图。自动驾驶是指不借助由车辆1的用户实施的驾驶操作而自动地进行车辆1的转向、加速以及减速中的至少一个。自动驾驶是不仅包括完全自动驾驶,还包括风险回避控制、车道保持辅助控制等的概念。
[0026] 车辆1包括传感器组10、自动驾驶装置20以及车辆控制装置30。
[0027] 传感器组10包括用于识别车辆1的周围的状况的识别传感器11。作为识别传感器11,举例示出摄像机、LiDAR(Laser Imaging Detection and Ranging:激光成像探测和测距)、雷达等。而且,传感器组10也可以包括检测车辆1的状态的状态传感器12、检测车辆1的位置的位置传感器13等。作为状态传感器12,举例示出速度传感器、加速度传感器、横摆角速度传感器、舵角传感器等。作为位置传感器13,举例示出GNSS(Global Navigation Satellite System:全球导航卫星系统)传感器。
[0028] 传感器检测信息SEN是通过传感器组10获得的信息。例如,传感器检测信息SEN包含通过摄像机拍摄的图像。作为另一例子,传感器检测信息SEN也可以包含通过LiDAR获得的点群信息。传感器检测信息SEN也可以包含表示车辆1的状态的车辆状态信息。传感器检测信息SEN也可以包含表示车辆1的位置的位置信息。
[0029] 自动驾驶装置20包括识别部21、计划部22以及控制量计算部23。
[0030] 识别部21接受传感器检测信息SEN。识别部21基于通过识别传感器11获得的信息来识别车辆1的周围的状况。例如,识别部21识别车辆1的周围的物体。作为物体,举例示出行人、其他车辆(先行车辆、泊车车辆等)、白线、道路构造物(例如:护栏、路缘石)、掉落物、信号灯、交叉路口、标志等。识别结果信息RES表示通过识别部21得到的识别结果。例如,识别结果信息RES包含表示物体相对于车辆1的相对位置和相对速度的物体信息。
[0031] 计划部(planner)22从识别部21接受识别结果信息RES。此外,计划部22也可以接受车辆状态信息、位置信息、预先生成的地图信息。地图信息可以是高精度三维地图信息。计划部22基于接受到的信息来生成车辆1的行驶计划。行驶计划可以是用于到达预先设定的目的地的计划,也可以是用于回避风险的计划。作为行驶计划,举例示出维持当前的行驶车道、进行车道变更、进行超车、进行右转/左转、转向、加速、减速、停止等。而且,计划部22生成车辆1按照行驶计划行驶所需的目标轨迹TRJ。目标轨迹TRJ包括目标位置和目标速度。
[0032] 控制量计算部23从计划部22接受目标轨迹TRJ。控制量计算部23计算车辆追随目标轨迹TRJ所需的控制量CON。控制量CON也可以说是为了使车辆1与目标轨迹TRJ之间的偏差减少而被请求的控制量。控制量CON包括转向控制量、驱动控制量以及制动控制量中的至少一个。
[0033] 识别部21包括基于规则的模型和机器学习模型中的至少一方。基于规则的模型基于预先决定出的规则组来进行识别处理。作为机器学习模型,举例示出NN(Neural Network:神经网络)、SVM(Support Vector Machine:支持向量机)、回归模型、决策树模型等。NN也可以是CNN(Convolutional Neural Network:卷积神经网络)、RNN(Recurrent Neural Network:循环神经网络)或者它们的组合。NN中的各层的种类、层数、节点数是任意的。识别部21通过向模型输入传感器检测信息SEN来进行识别处理。从模型输出识别结果信息RES,或者基于来自模型的输出来生成识别结果信息RES。
[0034] 计划部22也同样地,包括基于规则的模型和机器学习模型中的至少一方。计划部22通过向模型输入识别结果信息RES来进行计划处理。从模型输出目标轨迹TRJ,或者基于来自模型的输出来生成目标轨迹TRJ。
[0035] 控制量计算部23也同样地,包括基于规则的模型和机器学习模型中的至少一方。控制量计算部23通过向模型输入目标轨迹TRJ来进行控制量计算处理。从模型输出控制量CON,或者基于来自模型的输出来生成控制量CON。
[0036] 识别部21、计划部22以及控制量计算部23中的两个以上可以一体地构成。识别部21、计划部22以及控制量计算部23也可以全部一体地构成(End‑to‑End(端对端)构成)。例如,识别部21和计划部22可以由根据传感器检测信息SEN而输出目标轨迹TRJ的NN一体地构成。即使在一体构成的情况下,也可以输出识别结果信息RES、目标轨迹TRJ之类的中间生成物。例如,也可以是,在识别部21和计划部22由NN一体地构成的情况下,识别结果信息RES是NN的中间层的输出。
[0037] 在本实施方式中,机器学习模型被用于构成自动驾驶装置20的识别部21、计划部22以及控制量计算部23中的至少一部分。即,识别部21、计划部22以及控制量计算部23中的至少一个包括机器学习模型。自动驾驶装置20利用机器学习模型来进行用于车辆1的自动驾驶的信息处理的至少一部分。
[0038] 车辆控制装置30包括转向驱动器31、驱动驱动器32以及制动驱动器33。转向驱动器31向对车轮进行转舵的转向装置提供控制信号。例如,转向装置包括电动动力转向(EPS:Electric Power Steering)装置。驱动驱动器32向产生驱动力的驱动装置输入控制信号。
作为驱动装置,举例示出发动机、电动机、轮内马达等。制动驱动器33向产生制动力的制动装置提供控制信号。车辆控制装置30接受从自动驾驶装置20输出的控制量CON。车辆控制装置30以控制量CON为目标值来使转向驱动器31、驱动驱动器32以及制动驱动器33中的至少一个工作。由此,车辆1以追随目标轨迹TRJ的方式进行行驶。
[0039] 图2是表示本实施方式的自动驾驶系统100的构成例的概念图。自动驾驶系统100搭载于车辆1,进行用于车辆1的自动驾驶的信息处理。自动驾驶系统100至少具有上述的自动驾驶装置20的功能。而且,自动驾驶系统100也可以包括传感器组10、车辆控制装置30。
[0040] 自动驾驶系统100包括一个或多个处理器110(以下,仅称为处理器110)。处理器110执行各种处理。作为处理器110,举例示出CPU(Central Processing Unit:中央处理器)、ASIC(Application Specific Integrated Circuit:专用集成电路)、FPGA(Field‑Programmable Gate Array:现场可编程门阵列)等。识别部21、计划部22以及控制量计算部
23既可以通过单个处理器110来实现,也可以通过各自分开的处理器110来实现。此外,在自动驾驶系统100包括车辆控制装置30的情况下,自动驾驶装置20和车辆控制装置30既可以通过单个处理器110来实现,也可以通过各自分开的处理器110来实现。需要说明的是,各自分开的处理器110也可以包括不同种类的处理器110。
[0041] 自动驾驶系统100包括一个或多个存储装置120(以下,仅称为存储装置120)。作为存储装置120,举例示出HDD(Hard Disk Drive:硬盘驱动器)、SSD(Solid State Drive:固态硬盘)、易失性存储器、非易失性存储器等。存储装置120至少包括程序存储区域130、模型数据存储区域140以及交通环境信息存储区域150。程序存储区域130、模型数据存储区域140以及交通环境信息存储区域150既可以通过单个存储装置120来实现,也可以通过各自分开的存储装置120来实现。需要说明的是,各自分开的存储装置120也可以包括不同种类的存储装置120。
[0042] 程序存储区域130中储存有一个或多个程序。各程序由多个指令构成。程序是用于对车辆1进行控制的计算机程序,由处理器110执行。可以通过执行程序的处理器110与存储装置120的协作来实现由自动驾驶系统100实施的各种处理。程序也可以记录于计算机可读记录介质。
[0043] 模型数据存储区域140中储存有用于自动驾驶的模型数据。模型数据是识别部21、计划部22以及控制量计算部23中所包括的模型的数据。如上所述,在本实施方式中,识别部21、计划部22以及控制量计算部23中的至少一个包括机器学习模型,但这些机器学习模型已经训练完毕(以下,将训练完毕的机器学习模型仅称为训练完毕模型)。自动驾驶装置20预先具备的自动驾驶用的机器学习模型是所有车辆共享的全球模型。训练完毕模型是通过对全球模型实施自适应学习而获得的本地模型。通过使车辆1行驶而实际获得的学习用数据被用于自适应学习。训练完毕模型的参数作为模型数据存储于模型数据存储区域140。
[0044] 交通环境信息存储区域150中储存有与交通环境相关的各种信息。具体而言,交通环境信息中包含天气信息、路径上的设置传感器的信息、在车辆1可能选择的候选路线行驶的其他车辆的车载传感器的信息。天气信息例如包含雨云雷达的信息、短期的天气预报。路径上的设置传感器的信息例如包含监视摄像机的信息和从道路交通信息系统获得的信息。从道路交通信息系统获得的信息中例如包含拥堵信息、与道路的白线状况相关的信息、与正在进行施工的路线和场所相关的信息等。其他车辆的车载传感器的信息中例如包含加速度信息、速度信息、与识别出的物体相关的信息等。这些交通环境信息既可以通过车载装置直接获取,也可以根据需要从管理服务器200获取。
[0045] 管理服务器200是存在于车辆1的外部的外部装置。管理服务器200经由通信网络与一个或多个车辆1进行通信。管理服务器200具有数据库220。数据库220中保存有车辆1所需的交通环境信息的一部分或全部。保存于数据库220的交通环境信息中还包含从一个或多个车辆1上传的车载传感器的信息。车辆1的处理器110可以通过访问管理服务器200来将所需的信息从保存于数据库220的交通环境信息之中下载到交通环境信息存储区域150。
[0046] 2.自动驾驶的可靠性的模拟
[0047] 训练完毕模型在各种交通环境下进行学习。然而,并非所有假定的交通环境都被反映到训练完毕模型,交通环境的训练完毕模型的反映度根据在训练中遇到的频度而不同。就是说,根据在怎样的条件下进行了学习,训练完毕模型的参数存在差异。因此,取决于在自动驾驶中遇到的交通环境,使用训练完毕模型的自动驾驶的可靠性可能会降低,从而可能发生迫使用户进行手动驾驶的场景。但是,无法继续进行自动驾驶这样的状况对于用户而言可能也难以进行驾驶。
[0048] 因此,在本实施方式中,为了确保对自动驾驶的执行的可否的预测性,进行针对通过自动驾驶在从当前所在地到目的地的路线进行行驶的情况下的可靠性的模拟。通过对用户显示该模拟的结果,用户能在预先掌握了驾驶交替的风险之后选择通过自动驾驶进行行驶的路线。
[0049] 图3是表示与本实施方式的自动驾驶的可靠性的模拟关联的构成例的框图。自动驾驶的可靠性的模拟通过自动驾驶系统100来进行。更详细而言,自动驾驶系统100使用自动驾驶装置20所具备的训练完毕模型25来进行模拟。在以下的说明中,设为识别部21、计划部22以及控制量计算部23各自包括训练完毕模型,这些训练完毕模型的集合是训练完毕模型25。
[0050] 为了自动驾驶的可靠性的模拟,自动驾驶系统100还具备路径计划部50和交通环境信息获取部60。路径计划部50具有地图信息,接受目的地的输入并检索从当前所在地到目的地的一个或多个候选路线。路径计划部50也可以是车载的导航装置。交通环境信息获取部60按通过路径计划部50检索到的每个候选路线来获取交通环境信息。交通环境信息中既有能通过车辆1的车载装置获取的信息,又有能从管理服务器200获取的信息。获取到的交通环境信息被暂时存储于交通环境信息存储区域150。
[0051] 通过路径计划部50检索到的一个或多个候选路线与通过交通环境信息获取部60获取到的每个候选路线的交通环境信息一起被输入至自动驾驶装置20的训练完毕模型25。在训练完毕模型25中,基于交通环境信息,按每个候选路线来进行用于判定是否能进行自动驾驶的模拟。在自动驾驶的可否的判定中,不仅可以考虑判定时间点的交通环境信息、预测信息,还可以考虑过去的实绩信息。
[0052] 训练完毕模型25基于在行驶时获得的学习用数据来实施自适应学习。因此,车辆1是否缠绕有链条、轮胎的定制(custom)的有无、轮胎的磨耗程度等车辆状态被反映到训练完毕模型25。车辆1是否能通过自动驾驶在某一路线行驶很大程度上依赖于车辆状态与交通环境的关系。因此,通过使用自适应学习完毕的训练完毕模型25来进行自动驾驶的可靠性的模拟,能确保对自动驾驶的可否的高的预测性。
[0053] 由训练完毕模型25实施的模拟的结果被显示于显示装置40。显示装置40例如可以是设于仪表板的信息显示器。以下,对显示于显示装置40的模拟结果的例子进行说明。
[0054] 2-1.第一例
[0055] 图4A是用于对显示于显示装置40的模拟结果的第一例进行说明的概念图。在第一例中,按每个候选路线进行基于交通环境信息的模拟,判定能进行自动驾驶的区间和不能进行自动驾驶的区间,就是说,请求由用户实施的驾驶的辅助的区间。并且,按每个候选路线计算车辆1到达目的地为止的时间和假定由用户实施的驾驶的辅助的时间(以下,称为驾驶辅助假定时间)。
[0056] 在显示装置40显示候选路线。并且,例如通过改变显示颜色来区别显示各候选路线中的能进行自动驾驶的区间和不能进行自动驾驶的区间。此外,在显示装置40中按每个候选路线显示到达目的地为止的时间和驾驶辅助假定时间。
[0057] 在图4A所示的例子中,两个候选路线显示于显示装置40。与选择了路线2的情况相比,在选择了路线1的情况下,能在短时间内到达目的地。但是,路线1包括不能进行自动驾驶的区间,因此在中途需要用户自己驾驶车辆1。基于这些信息,用户从显示于显示装置40的候选路线之中选择任一个候选路线。如果用户不擅长驾驶,则该用户选择路线2,由此即使绕远也能通过自动驾驶移动至目的地。
[0058] 2-2.第二例
[0059] 图4B是用于对显示于显示装置40的模拟结果的第二例进行说明的概念图。在第二例中,按每个候选路线进行基于交通环境信息的模拟,判定能进行自动驾驶的区间和不能进行自动驾驶的区间。能进行自动驾驶还是不能进行自动驾驶通过由用户实施的驾驶的辅助发生的概率(以下,称为驾驶辅助发生概率)来判定。如果驾驶辅助发生概率小于等于阈值,则判定为能进行自动驾驶,如果驾驶辅助发生概率大于阈值,则判定为不能进行自动驾驶。驾驶辅助发生概率的阈值可以设定为任意的值(例如30%)。
[0060] 在显示装置40显示候选路线。并且,例如通过改变显示颜色来区别显示各候选路线中的能进行自动驾驶的区间和不能进行自动驾驶的区间。能进行自动驾驶的区间是驾驶辅助发生概率小于等于阈值的区间。不能进行自动驾驶的区间是驾驶辅助发生概率大于阈值的区间。此外,在显示装置40按每个候选路线显示到达目的地为止的时间和路线中的最大的驾驶辅助发生概率。
[0061] 在图4B所示的例子中,两个候选路线显示于显示装置40。在路线1和路线2都不存在不能进行自动驾驶的区间。但是,在以驾驶辅助发生概率进行了比较的情况下,路线1的驾驶辅助发生概率比路线2的驾驶辅助发生概率高。如果用户希望通过自动驾驶移动至目的地,则该用户选择路线2,由此能更可靠地通过自动驾驶移动至目的地。
[0062] 2-3.第三例
[0063] 图5A是用于对显示于显示装置40的模拟结果的第三例进行说明的概念图。在第三例中,按每个候选路线进行基于交通环境信息的模拟,判定能进行自动驾驶的区间和不能进行自动驾驶的区间。而且,针对不能进行自动驾驶的区间,判定是否是不能进行自动驾驶但能进行由驾驶支援系统实施的驾驶支援的区间。需要说明的是,由驾驶支援系统实施的驾驶支援是指二级以下的低级的自动驾驶。
[0064] 在显示装置40显示候选路线。并且,例如通过改变显示颜色来区别显示各候选路线中的能进行自动驾驶的区间、不能进行自动驾驶的区间以及能进行驾驶支援的区间。不能进行自动驾驶的区间是指既不能进行自动驾驶也不能进行由驾驶支援系统实施的驾驶支援的区间。能进行驾驶支援的区间是指不能进行自动驾驶但能进行由驾驶支援系统实施的驾驶支援的区间。此外,在显示装置40按每个候选路线显示到达目的地为止的时间和驾驶辅助假定时间。驾驶辅助假定时间中还包括用户接受由驾驶支援系统实施的驾驶支援来进行驾驶的时间。
[0065] 在图5A所示的例子中,两个候选路线显示于显示装置40。无论选择路线1还是选择路线2,都需要由用户自己实施的驾驶。与选择了路线2的情况相比,在选择了路线1的情况下,能在短时间内到达目的地。此外,与路线2相比,路线1的用户必须自己驾驶车辆1的时间少。不过,在路线2中,需要由用户自己实施的驾驶的区间是能进行驾驶支援的区间,与之相对,路线1中包括既不能进行自动驾驶也不能进行驾驶支援的区间。用户能基于这样的显示内容判断应该选择哪个候选路线。
[0066] 2-4.第四例
[0067] 图5B用于对显示于显示装置40的模拟结果的第四例进行说明的概念图。在第四例中,按每个候选路线进行基于交通环境信息的模拟,判定能进行自动驾驶的区间和不能进行自动驾驶的区间。而且,针对不能进行自动驾驶的区间,判定是否是驾驶危险的区间。驾驶危险的区间是指即使通过由用户实施的手动驾驶也危险的区间。在不能进行自动驾驶的状况下,即使将驾驶交替给用户,也可能会无法安全地进行驾驶。
[0068] 在显示装置40显示候选路线。并且,例如通过改变显示颜色来区别显示各候选路线中的能进行自动驾驶的区间、不能进行自动驾驶的区间以及驾驶危险的区间。针对驾驶危险的区间,显示判断为危险的理由,并且显示过去的基于手动驾驶的驾驶实绩。需要说明的是,所显示的驾驶实绩中也可以包括进行了驾驶的时间段、那时的天气。此外,在显示装置40中按每个候选路线显示到达目的地为止的时间和驾驶辅助假定时间。驾驶辅助假定时间中还包括用户在驾驶危险区间通过手动进行驾驶的时间。
[0069] 在图5B所示的例子中,两个候选路线显示于显示装置40。与选择了路线2的情况相比,在选择了路线1的情况下,能在短时间内到达目的地。但是,在路线1的中途存在用户必须自己驾驶车辆1的区间,而且该区间中包括判定为驾驶危险的区间。在这样的情况下,是否选择路线1取决于用户的判断。判断为驾驶危险的理由和在该区间中的驾驶实绩的有无成为用户判断应该选择哪个候选路线上的有用的信息。
[0070] 2-5.第五例
[0071] 图6A和图6B是用于对显示于显示装置40的模拟结果的第五例进行说明的概念图。在第五例中,按每个候选路线进行基于交通环境信息的模拟,判定能进行自动驾驶的区间和不能进行自动驾驶的区间。而且,在驾驶的开始后,定期地或者不定期地重新检索候选路线。并且,针对通过重新检索获得的候选路线,进行基于更新后的交通环境信息的模拟,判定能进行自动驾驶的区间和不能进行自动驾驶的区间。此外,每当重新模拟时,重新计算车辆1到达目的地为止的时间和驾驶辅助假定时间。
[0072] 在图6A所示的例子中,两个候选路线显示于显示装置40。在该时间点,预计无论选择路线1还是选择路线2,都不需要由用户实施的驾驶,能通过自动驾驶移动至目的地。此外,预计与选择了路线2的情况相比,在选择了路线1的情况下,能在短时间内到达目的地。因此,在图6A所示的例子中,设为由用户选择了路线1。
[0073] 在图6B所示的例子中,在从图6A所示的状态起的时间经过后新检索到的两个候选路线显示于显示装置40。路线1是在当前时间点所选择的候选路线,路线3是新检索到的候选路线。由于时间经过,交通环境可能发生变化。因此,在上次的判定时能进行自动驾驶的区间在当前时间点可能会变得不能进行自动驾驶。反之,在上次的判定时不能进行自动驾驶的区间在当前时间点可能会变得能进行自动驾驶。例如,在上次的判定中,路线1中不包括不能进行自动驾驶的区间,但在本次的判定中,路线1中包括不能进行自动驾驶的区间。另一方面,新检索到的路线3中不包括不能进行自动驾驶的区间。与选择了路线1的情况相比,在选择了路线3的情况下,到达目的地为止的时间变长,但能通过自动驾驶移动至目的地。基于这些信息,用户从显示于显示装置40的候选路线之中重新选择任一个候选路线。
[0074] 2-6.第六例
[0075] 也可以是上述的第一例~第五例中的两个以上的组合。例如,可以设为:在第三例~第五例中,像第二例那样显示驾驶辅助发生概率来代替显示驾驶辅助假定时间。此外,也可以设为:在第三例~第四例中,像第五例那样定期地或者不定期地重新检索候选路线,按重新检索到的每个候选路线,基于更新后的交通环境信息来进行重新模拟。此外,也可以设为:在第三例中,像第四例那样显示驾驶危险的区间。