技术领域
[0001] 本申请涉及自动驾驶技术领域,尤其涉及一种智能驾驶方法及智能驾驶系统。
相关背景技术
[0002] 智能驾驶车辆在普通车辆的基础上增加了先进的传感器(雷达、摄像)、控制器、执行器等装置,通过车载传感系统和信息终端实现与人、车、路等的智能信息交换,使车辆具备智能的环境感知能力,能够自动分析车辆行驶的安全及危险状态,并使车辆按照人的意愿到达目的地,最终实现替代人来操作的目的以减轻人驾驶汽车的负担。
[0003] 在现有技术中,智能驾驶车辆的总控制系统,会统一采集各个分系统的各个部分的数据,然后对这些数据统一处理,进而对智能驾驶车辆进行控制。如:可以统计分析获取的道路环境视频图像并建立城市道路场景、乡村道路场景、高速公路场景识别数据库,并利用深度卷积神经网络对数据库内样本图片进行特征提取和卷积训练,得到卷积神经网络分类器,最终将实时感知图片输入卷积神经网络分类器进行识别,分类出当前车辆所处驾驶场景。
[0004] 然而,上述采用卷积神经网络分类器对场景进行分类的方式,在雨天、雾天、光照条件等不好的情况下容易造成实时感知图像不清晰,降低将实时感知图片输入卷积神经网络分类器进行识别的准确性,进而无法准确识别出当前驾驶场景,影响车辆的智能驾驶。
具体实施方式
[0046] 下面结合附图对本申请实施例提供的方法进行阐述。
[0047] 图1为本申请实施例提供的智能驾驶方法的原理框图,如图1所示,本申请实施例的思想为:预先设置场景特征库,该场景特征库包括场景类、场景类对应的标准场景以及标准场景对应的结构化语义信息、道路属性以及交通态势频谱,将当前时刻获取到的结构化语义信息、道路属性以及交通态势频谱与场景特征库包括的结构化语义信息、道路属性以及交通态势频谱分别进行比较,找到与当前时刻的驾驶场景(本申请实施例中,为了便于描述,可以将当前时刻的驾驶场景描述为当前驾驶场景)最相似的场景类,确定当前驾驶场景属于该场景类,即综合结构化语义信息、地图信息以及交通势态信息等多方面因素对当前驾驶场景进行识别,确定当前驾驶场景所属的场景类,并根据识别结果自动切换智能驾驶算法,使切换后的车辆驾驶状态符合当前驾驶场景,实现对车辆的智能驾驶。例如,可以根据当前驾驶场景的识别结果,切换车辆的驾驶状态使其适用于新的驾驶场景或者保持当前驾驶状态不变等。
[0048] 该方法可以由图2所示的智能驾驶系统200执行,该智能驾驶系统200可以位于车辆上,该车辆可以为轿车、货车、卡车或其他任何类型的车辆,不予限制。如图2所示,该智能驾驶系统200可以包括但不限于:处理器210、存储器220、车辆主动执行单元230,传感器单元240,人机交互界面250,连接不同系统组件(包括存储器220、处理器210、车辆主动执行单元230,传感器单元240、人机交互界面250)的总线260。
[0049] 其中,处理器210可以是一个中央处理器(Central Processing Unit,CPU),也可以是特定集成电路(Application Specific Integrated Circuit,ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路,例如:一个或多个数字信号处理器(Digital Signal Processor,DSP),或,一个或者多个现场可编程门阵列(Field Programmable Gate Array,FPGA)。
[0050] 所述存储器220存储有程序以及智能驾驶算法,所述程序代码可以被所述处理器210执行,使得所述处理器210执行本申请实施例所述的智能驾驶方法。例如,所述处理器
210可以执行如图3中所示的步骤。当处理器210识别出当前驾驶场景后,可以根据与当前驾驶场景对应的智能驾驶算法对车辆进行智能驾驶。
[0051] 所述存储器220可以包括易失性存储器形式的可读介质,例如随机存取存储单元(random access memory,RAM)和/或高速缓存存储器,还可以进一步包括只读存储器(read-only memory,ROM)。所述存储器220还可以包括具有一组(至少一个)程序模块的程序/实用工具,这样的程序模块包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0052] 该车辆执行单元230包括但不限于制动系统、转向系统、驱动系统、照明系统,每一个系统都具备接受上层指令,并执行指令动作的能力。处理器210可以按照智能驾驶算法的规定向车辆执行单元230发送操作指令,使车辆驾驶状态符合当前驾驶场景。
[0053] 传感器单元240,该传感器单元包括但不限于摄像头、毫米波雷达、激光雷达、地图、定位模块等系统,主要用于收集车辆周围的事物的相关信息。其中,定位模块可以是全球定位系统(Global Position System,GPS)、格洛纳斯系统或者北斗系统。
[0054] 人机交互模块250可以为设置在车辆上的显示屏或者触摸屏,可称为人机交互界面(human machine interface,HMI),驾驶员可以通过触摸操作向车辆发送操作指令,人机交互模块250可以将处理器210生成的指令或者信息显示给驾驶员。类似的,人机交互模块250也可以使用语音等方式实现车辆与驾驶员之间的交互,本申请不对人机交互模块250的形态和运行方式进行限定。
[0055] 总线260可以为表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0056] 下面结合附图2对本申请实施例提供的智能驾驶技术进行阐述。需要说明的是,本申请下述实施例中各参数的名字只是一个示例,具体实现中也可以是其他的名字,本申请实施例对此不作具体限定。
[0057] 图3为本申请实施例提供的一种智能驾驶方法,如图3所示,该方法可以包括:
[0058] 步骤301:获取车辆当前时刻的特征参数以及车辆在未来预设时间段内驾驶场景的道路属性。
[0059] 其中,所述特征参数可以包括结构化语义信息、道路属性以及交通态势频谱,还可以包括其他用于表征驾驶场景的特征参数,不予限制。
[0060] 本申请实施例中,结构化语义信息可以由驾驶场景中的物体信息转换而成,可以用于表征驾驶场景中的物体属性,如:结构化语义信息可以包括物体的坐标、速度、加速度等参数信息。其中,驾驶场景中的物体可以为人、数木、花草、建筑物、山川河流等等。示例性的,可以通过车辆上的外部感知模块(如:视觉传感器(或摄像头)、激光雷达、毫米波雷达、全球定位(global positioning system,GPS)定位模块和高精度地图等)实时采集当前时刻车辆行驶时周边的物体信息,将采集到的物体信息经过感知融合算法处理后得到结构化语义信息。其中,感知融合算法为图像处理中的常用算法,不同驾驶场景对应的感知融合算法不同,本申请实施例中,经过感知融合算法处理后得到结构化语义信息的过程可参照现有技术,不予赘述。
[0061] 道路属性可以用于表征车辆行驶的道路的类型,如:可以为高速公路、城际公路、乡村小路、地库行车道、大马路等等。示例性的,可以通过车辆上的GPS定位模块和高精度地图确定当前时刻的道路属性,如:通过GPS定位模块定位车辆当前运行位置,查找高精度地图中车辆定位的位置,根据该位置的环境确定道路属性。示例性的,可以通过车辆上的GPS定位模块、高精度地图和全局规划信息确定车辆在未来预设时间内驾驶场景的道路属性。其中,全局规划信息用于规定用户此次的行车路线,可以由用户预先设置并存储在车辆上。
未来预设时间段可以指当前时刻之后的时间段,该时间段可以根据需要进行设置,不予限制。例如,用户此次行车路线为从A地出发经过B、C、D到达E地,若车辆当前定位到B地,未来预设时间段设置为2个小时,这2小时的行车时间可以使车辆行驶到C地,且通过查看高精度地图确定从B到C需要经过一段高速公路,则可以确定车辆在未来预设时间段内驾驶场景的道路属性为:高速公路。
[0062] 交通态势频谱可以用于表征车辆的运行状态以及交通参与车辆的运行状态,车辆的运行状态可以包括但不限于:车辆的车速、方向盘转角、车辆横摆角等。交通参与车辆可以指在本车周围行驶的车辆,交通参与车辆的运行状态可以包括但不限于:交通参与车辆距离本车的距离、交通参与车辆的运行速度等。示例性的,可以收集车辆执行模块(如:制动系统、转向系统、驱动系统、照明系统等)在一段时间内上报的车辆状态参数信息,对车辆状态信息进行傅里叶变换,生成车辆状态参数信息的频谱特征FA,同时,通过车辆上的传感器单元(如:视觉传感器(或摄像头)、激光雷达、毫米波雷达、GPS定位模块和高精度地图等)采集一段时间内参与车辆的运行状态信息,对参与车辆的运行状态信息进行傅里叶变换,生成参与车辆的运行状态信息的频谱特征FOA,将频谱特征FA和频谱特征FOA组成当前时刻的交通态势频谱;其中,一段时间可以指包括当前时刻在内的一段时间。傅里叶变换可以为现有常用的傅里叶变换算法,不再赘述。
[0063] 步骤302:比较车辆当前时刻的特征参数与场景特征库中标准场景的特征参数,以及比较车辆在未来预设时间段内驾驶场景的道路属性与场景特征库中标准场景的道路属性,根据比较结果确定每个场景类与所述车辆当前时刻的驾驶场景的总相似度。
[0064] 其中,场景特征库中可以包括N个场景类,每个场景类可以由M个标准场景表征,每个标准场景对应有如下特征参数:结构化语义信息、道路属性以及交通态势频谱。N为大于或等于1的整数,M为大于或等于1的整数。场景类为目前常见的一些驾驶场景。可选的,可以收集大量车辆位于不同时刻的驾驶场景,通过统计分析算法对收集到的驾驶场景进行分析处理得到N个场景类、每个场景类对应的标准场景以及每个标准场景对应的特征参数。其中,统计分析算法为现有算法,不予赘述。除此之外,还可以通过统计分析算法分析得到不同道路属性间的相似度,将不同道路属性间的相似度保存在场景特征库中,不同道路属性间的相似度越高,表示道路情况比较接近,反之,则表示道路情况相差较大,如:高速公路与快速干道相差不大,二者间的相似度较高;高速公路和山间小路相差较大,二者之间的相似度较低。
[0065] 其中,场景特征库可以以列表的形式预先存在在智能驾驶系统上,并动态维护,如:当有新的场景类出现时,可以将该场景类对应的标准场景以及标准场景对应的特征参数实时添加到该场景特征库中;或者,场景特征库存储在其他设备上,在执行步骤302时从其他设备获取场景特征库。
[0066] 需要说明的是,每个标准场景对应的结构化语义信息、道路属性以及交通态势频谱不限于存储在同一场景特征库中,还可以将每个标准场景对应的结构化语义信息、道路属性以及交通态势频谱可以分开单独存储在不同的特征库中,如:可以将N个场景类,每个场景类对应的M个标准场景的结构化语义信息以列表的形式存储在场景语义库;可以将N个场景类,每个场景类对应的M个标准场景的道路属性以列表的形式存储在场景道路属性库;可以将N个场景类,每个场景类对应的M个标准场景的交通态势频谱以列表的形式存储在场景交通态势特征库。
[0067] 其中,场景类的总相似度可以用于表征场景类与当前驾驶场景间的相似程度,总相似度越高,表示当前驾驶场景越有可能为该场景类,反之,则表示当前驾驶场景不可能为该场景类。
[0068] 步骤303:将N个场景类中总相似度最高的第一场景类确定为当前时刻的驾驶场景。
[0069] 可选的,可以将N个场景类的总相似度按照从大到小的顺序进行排列,将排到最前面的场景类确定为当前时刻的驾驶场景;或者,将N个场景类的总相似度按照从小到大的顺序进行排列,将排到最后的场景类确定为当前时刻的驾驶场景。
[0070] 步骤304:根据确定结果控制车辆进行智能驾驶。
[0071] 其中,控制车辆进行智能驾驶可以指控制车辆的制动系统、转向系统、驱动系统、照明系统等车辆上的车辆执行单元,使车辆当前驾驶状态满足当前驾驶场景。
[0072] 在本申请的另一种可能的实现方式中,可以不确定并比较每个场景类的总相似度,而是根据每个场景类中的若干标准场景与车辆时刻特征参数以及所述车辆在未来预设时间段内驾驶场景的相似度确定当前时刻驾驶场景对应的场景类。
[0073] 具体来说,可以当获取车辆当前时刻的特征参数以及车辆在未来预设时间段内驾驶场景的道路属性之后,比较所述车辆当前时刻的特征参数与场景特征库中标准场景的特征参数、以及比较所述车辆在未来预设时间段内驾驶场景的道路属性与所述场景特征库中标准场景的道路属性,根据比较结果分别确定所述场景特征库中每个场景类的第一标准场景和第二标准场景与所述车辆当前时刻的驾驶场景的第一相似度和第二相似度;再根据N个场景类中的每个场景类的第一相似度和第二相似度确定当前时刻的驾驶场景对应的场景类。
[0074] 在本申请的另一种可能的实现方式中,还可以当获取车辆当前时刻的特征参数以及车辆在未来预设时间段内驾驶场景的道路属性之后,比较所述车辆当前时刻的特征参数与场景特征库中标准场景的特征参数、以及比较所述车辆在未来预设时间段内驾驶场景的道路属性与所述场景特征库中标准场景的道路属性,根据比较结果分别确定场景库中每个场景类的每个标准场景与所述车辆当前时刻的驾驶场景的相似度,并将每个场景类中相似度最高的标准场景的相似度作为该场景类的相似度,再根据每个场景类的相似度确定当前时刻的驾驶场景对应的场景类。
[0075] 图3所示的智能驾驶方法可以基于结构化语义信息、道路属性以及交通态势频谱三种维度识别车辆当前驾驶场景属于的场景类,使得场景类识别时参考的信息更加全面、可靠,提高了场景识别的准确性,提高了智能驾驶的可实现性。同时,基于结构化语义信息而不是图片识别场景类,降低了运算复杂度。
[0076] 具体的,步骤302比较当前时刻的特征参数与场景特征库中标准场景的特征参数,以及比较车辆在未来预设时间段内驾驶场景的道路属性与场景特征库中标准场景的道路属性,根据比较结果确定每个场景类的总相似度可以包括下述(1)~(4):
[0077] (1)将当前时刻的结构化语义信息与场景特征库中标准场景的结构化语义信息进行比较,得到标准场景的第一相似度,对属于场景类的所有标准场景的第一相似度进行组合计算,得到场景类的第一概率。
[0078] 具体的,该确定过程可参照图4a所示,可以包括:
[0079] S401a:统计分析得到N个场景类。
[0080] S402a:统计分析每个场景类对应的M个标准场景。
[0081] S403a:将所有标准场景对应的图像信息经过感知融合算法处理得到所有标准场景对应的结构化语义信息,将场景类、标准场景以及结构化语义信息对应存储在场景语义库中。
[0082] S404a:获取当前时刻的结构化语义信息。
[0083] S405a:将当前时刻的结构化语义信息与场景语义库中标准场景对应的结构化语义信息进行比较,得到当前驾驶场景和标准场景间的相似度。
[0084] S406a:对于任一场景类,将属于该场景类的标准场景对应的相似度进行组合计算,得到该场景类的第一概率。其中,组合计算可以指加权求和或者求和平均等。
[0085] 可选的,为了降低计算复杂度,在图4a中,可以所有场景类对应的标准场景的结构化语义信息进行筛选,将不含有实时结构化语义信息的标准场景的相似度设置(或赋值)为0,如:可以将不含有实时结构化语义信息的标准场景的第一相似度、第二相似度、第三相似度以及第四相似度设置为0,即这些标准场景无需与实时驾驶场景对应的结构化语义信息进行比较。其中,不含有实时结构化语义信息可以指与实时驾驶场景对应的结构化语义信息所表征的物体完全不同的结构化语义信息。例如,标准场景1对应的结构化语义信息可以表征高山、树木等物体的属性,而实时驾驶场景对应的结构化语义信息用于表征农舍、草原等物体的属性,二者毫不相关,则可以将标准场景1对应的结构化语义信息确定为不含有实时结构化语义信息。
[0086] (2)将当前时刻的道路属性与场景特征库中标准场景的道路属性进行比较,得到标准场景与当前驾驶场景间的第二相似度,对属于场景类的所有标准场景的第二相似度进行组合计算,得到场景类的第二概率;将车辆在未来预设时间段内驾驶场景的道路属性与场景特征库中标准场景的道路属性进行比较,得到标准场景与当前驾驶场景间的第三相似度,对属于场景类的所有标准场景的第三相似度进行组合计算,得到场景类的第三概率。
[0087] 具体的,该确定过程可参照图4b所示,可以包括:
[0088] S401b:统计分析每个场景类对应的标准场景的道路属性以及不同道路属性间的相似度。
[0089] S402b:将场景类、标准场景、道路属性以及不同道路属性间的相似度对应存储在场景道路属性库中。
[0090] S403b:获取当前时刻的道路属性。
[0091] S404b:将当前时刻的道路属性与场景道路属性库中标准场景对应的道路属性进行比较,得到当前驾驶场景和标准场景间的第二相似度。
[0092] S405b:对于任一场景类,将属于该场景类的标准场景对应的第二相似度进行组合计算,得到该场景类的第二概率。
[0093] S406b:获取车辆在未来预设时间段内驾驶场景的道路属性。
[0094] S407b:将车辆在未来预设时间段内驾驶场景的道路属性与场景道路属性库中标准场景对应的道路属性进行比较,得到当前驾驶场景和标准场景间的第三相似度。
[0095] S408b:将属于该场景类的标准场景对应的第三相似度进行组合计算,得到该场景类的第三概率。
[0096] 其中,将当前时刻的道路属性与场景道路属性库中标准场景对应的道路属性进行比较,得到当前驾驶场景和标准场景间的相似度可以包括:若当前时刻的道路属性与场景道路属性库中标准场景对应的道路属性相同,则确定相似度为1,若不同,则根据场景道路属性库中预先存储的不同道路属性间的相似度确定当前时刻的道路属性与场景道路属性库中标准场景对应的道路属性的相似度。其中,组合计算可以指加权求和或者求和平均等。
[0097] (3)将当前时刻的交通态势频谱与场景特征库中标准场景的交通态势频谱进行比较,得到标准场景与当前驾驶场景间的第四相似度,对属于场景类的所有标准场景的第四相似度进行组合计算,得到场景类的第四概率。
[0098] 具体的,该确定过程可参照图4c所示,可以包括:
[0099] S401c:统计分析每个场景类对应的标准场景下的车辆状态信息的频谱特征以及标准场景下的交通参与车辆的观测参数的频谱特征。
[0100] S402c:将车辆状态信息的频谱特征以及交通参与车辆的观测参数的频谱特征组成标准场景的交通态势频谱,将场景类、标准场景、交通态势频谱对应存储在场景交通态势库中。
[0101] S403c:获取当前时刻的交通态势频谱。
[0102] S404c:将当前时刻的交通态势频谱与场景交通态势频谱库中标准场景对应的交通态势频谱进行比较,得到当前驾驶场景和标准场景间的相似度。
[0103] S405c:对于任一场景类,将属于该场景类的标准场景对应的相似度进行组合计算,得到该场景类的第四概率。
[0104] 其中,组合计算可以指加权求和或者求和平均等。
[0105] (4)根据场景类的第一概率、场景类的第二概率、场景类的第三概率以及场景类的第四概率得到场景类的总相似度。
[0106] 示例性的,可以将场景类的第一概率、场景类的第二概率、场景类的第三概率以及场景类的第四概率进行求和运算得到场景类的总相似度,该求和运算可以为加权求和,也可以为求和平均等。例如,假设场景类的第一概率为Ui、场景类的第二概率为Vi、场景类的第三概率为Vi',场景类的第四概率为Wi,则场景类的总相似度为Pi可以为:
[0107] Pi=(UiViWi)1/3(αUi+βVi+γWi)+θVi'4/3
[0108] 其中,α、β、γ和θ为加权系数,可以根据需要进行设置,不予限制。
[0109] 需要说明的是,本申请实施例中,标准场景的各个相似度(第一相似度、第二相似度、三相似度以及第四相似度)可以用于表征当前驾驶场景属于该标准场景的可能性,相似度越大,表示当前驾驶场景越可能属于该标准场景,反之,则表示当前驾驶场景不可能为该标准场景。
[0110] 具体的,步骤304根据确定结果控制车辆驾驶如图5a所示,可以包括:
[0111] S501:判断第一场景类是否与前一时刻的场景类相同;
[0112] S502:若第一场景类与前一时刻的场景类相同,则判断车辆当前的设计运行范围是否满足第一场景类对应的设计运行范围,若满足,则执行步骤S503。若不满足,则执行步骤S504。
[0113] S503:维持当前驾驶状态不变。
[0114] S504:发送故障告警信息(或者人工接管请求信息)。
[0115] S505:若第一场景类与前一时刻的场景类不同,则判断车辆当前的设计运行范围是否满足第一场景类对应的设计运行范围,若满足,则执行步骤S506。若不满足,则执行S507。
[0116] S506:将车辆从当前驾驶状态切换到第一场景类对应的驾驶状态;
[0117] S507:判断车辆当前的设计运行范围是否满足前一时刻的场景类对应的设计运行范围,若车辆当前的设计运行范围满足前一时刻的场景类对应的设计运行范围,则执行步骤S508;若车辆当前的设计运行范围不满足前一时刻的场景类对应的设计运行范围,则执行步骤S509。
[0118] S508:发送场景类切换不成功信息,并维持当前驾驶状态不变。
[0119] S509:发送故障告警信息(或者人工接管请求信息)。
[0120] 其中,前一时刻可以指当前时刻之前的时刻。
[0121] 其中,车辆的设计运行范围可以用于指车辆正常运行在某个驾驶场景时的驾驶状态,可以包括驾驶员状态、车辆故障状态、控制器硬件故障状态以及结构化语义信息等多个。可选的,可以统计分析N个场景类对应的设计运行范围,将N个场景类对应的设计运行范围预先存储在场景特征库中。其中,统计分析N个场景类对应的设计运行范围的过程可参照现有技术,不再赘述。
[0122] 其中,故障告警信息可以用于指示车辆当前可能处于故障状态、不适合行驶。人工接管请求信息可以用于请求用户自己来手动控制车辆进行智能驾驶。
[0123] 其中,将车辆从当前驾驶状态切换到第一场景类对应的驾驶状态可以包括:获取第一场景类对应的智能驾驶算法,根据第一场景类对应的智能驾驶算法切换车辆的运行状态。智能驾驶算法与场景类对应,N个场景类可能一一对应N个智能驾驶算法。可选的,可以将N个场景类对应的N个智能驾驶算法预先存储在智能驾驶系统中。
[0124] 其中,场景类切换不成功信息可以用于指示未能成功将车辆当前驾驶状态切换到第一场景类对应的驾驶状态。发送场景类切换不成功信息,并维持当前驾驶状态不变可以包括:通过人机交互模块向用户发送场景类切换不成功信息,并执行当前场景类对应的智能驾驶算法不变。
[0125] 可选的,在车辆行驶过程中,为了提高用户体验,在根据确定结果控制车辆进行智能驾驶之前,如图5b所示,所述方法还可以包括:
[0126] S510:获取智能驾驶指示,确定该智能驾驶指示用于指示是否停止车辆的智能驾驶(即是否智能驾驶车辆);其中,智能驾驶指示可以由驾驶员或者云端操作发出。
[0127] S511:若智能驾驶指示用于指示停止车辆的智能驾驶,则向车辆主动执行单元发送用于指示释放驾驶权的操作指令,并驾驶员发出释放通知。
[0128] 其中,向车辆主动执行单元发送用于指示释放驾驶权的操作指令可以包括但不限于释放方向盘、刹车、油门等的控制权。释放通知可以用于通知驾驶员(或用户)已停止车辆的智能驾驶,即车辆的智能驾驶权利已释放。可选的,释放通知可以包括但不限于语音告警、灯光告警、安全带收紧等一种或多种操作。
[0129] S512:若智能驾驶指示用于指示智能驾驶车辆(即不停止车辆的智能驾驶),则判断是否接收到用于指示切换到第二场景类对应的驾驶状态的场景切换指示,若接收到场景切换指示,则执行步骤S513;若未接收到场景切换指示,则根据图5a的执行结果控制车辆进行智能驾驶。
[0130] S513:获取第二场景类对应的智能驾驶算法,根据第二场景类对应的智能驾驶算法切换车辆的运行状态。
[0131] 如:根据第二场景类对应的智能驾驶算法向车辆主动执行单元(制动系统、转向系统、驱动系统、照明系统等)发出操作指令,使其按照操作指令工作。
[0132] 具体的,如图5b所示,在发送故障告警信息(或者人工接管请求信息)后,所述方法还可以包括:
[0133] S514:判断驾驶员是否已接管车辆,若接管,执行步骤S515,否则,执行步骤S516。
[0134] 例如,可以通过车辆主动执行单元输入的车辆状态参数判断驾驶员是否已接管车辆;
[0135] S515:向车辆主动执行单元发送用于指示释放驾驶权的操作指令,并向驾驶员发出释放通知。
[0136] S516:向车辆主动执行单元发送用于指示安全停车的操作指令。
[0137] 其中,用于指示安全停车的操作指令可以包括但不限于方向盘缓慢归中、油门释放、一定的刹车百分比等。
[0138] 如此,可以通过判断是否满足场景类的设计运行范围和对切换交互过程的监管,确保了使用每一个场景类算法的安全性;同时,本申请实施例确保智能驾驶算法在不同场景内的连贯切换,实现了全工况模式的智能驾驶。
[0139] 下面以某型号轿车从A点智能驾驶到B点为例对本申请实施例提供的智能驾驶算法进行描述,其中,该轿车具有制动系统、转向系统、驱动系统、照明系统等车辆主动执行单元,这些系统都具备接受来自智能驾驶系统指令的能力,同时该轿车拥有摄像头、雷达、激光、地图、定位模块等传感器单元。且从A点智能驾驶到B点的过程中会有城区主干道2车道、城区主干道4车道、城区3叉路口、城区4叉路口、城区高架桥路段、城区高楼间阴影路口、城区修路路段、城区垃圾堆放路段、乡村道路、高速公路收费站、高速公路匝道、高速公路修路路段、高速公路交通事故路段…等路段,每个路段可能会有堵车、道路通畅多种情况出现。
[0140] 1)对从A点智能驾驶到B点的场景进行分类:将A点到B点的场景统计并分析后,可以分成以下8类:
[0141] a、城区结构化无堵车场景类{城区主干道2车道通畅场景,城区主干道4车道通畅场景,城区高架桥路段通畅场景…}。
[0142] b、交叉路口场景类{城区3叉路口,城区4叉路口…}。
[0143] c、非结构化不规则道路场景类{城区修路路段场景,乡村道路场景,高速公路匝道场景,高速公路修路路段场景,高速公路交通事故路段场景…}。
[0144] d、高速公路无堵车场景类{高速公路2车道场景,高速公路3车道场景..}。
[0145] e、城区和高速结构化堵车场景类{城区主干道2车道堵车场景,城区主干道4车道堵车场景,城区高架桥路段堵车场景,高速公路2车道堵车场景…}。
[0146] f、隧道场景类{城区高楼间阴影路口,隧道…}。
[0147] g、泊车场景类{停车场A场景,停车场B场景…}。
[0148] h、收费站场景类{高速入口场景,高速出口场景…}。
[0149] 2)统计分析每个场景类的标准场景:
[0150] a、城区结构化无堵车场景类{标准场景1,标准场景2,…,标准场景20}。
[0151] b、交叉路口场景类{标准场景1,标准场景2,…,标准场景20}。
[0152] c、非结构化不规则道路场景类{标准场景1,标准场景2,…,标准场景20}。
[0153] d、高速公路无堵车场景类{标准场景1,标准场景2,…,标准场景20}。
[0154] e、城区和高速结构化堵车场景类{标准场景1,标准场景2,…,标准场景20}。
[0155] f、隧道场景类{标准场景1,标准场景2,…,标准场景20}。
[0156] g、泊车场景类{标准场景1,标准场景2,…,标准场景20}。
[0157] h、收费站场景类{标准场景1,标准场景2,…,标准场景20}。
[0158] 3)获取每一个场景类的结构化语义信息、道路属性以及交通态势频谱,建立场景特征库。
[0159] 4)根据实时场景的结构化语义信息和每一个标准场景的结构化语义信息集对比求相似度,得到从感知维度计算的当前驾驶场景属于每一个场景类的概率;
[0160] 根据实时场景的道路属性信息、全局规划点的道路属性信息和每一个场景类的道路属性对比,得到从地图维度计算的当前驾驶场景属于每一个场景类的概率,预期场景属于每一个场景类的概率;
[0161] 根据实时场景的车辆状态参数信息和每一个场景类的车辆状态参数特征频谱的相似性、交通参与车辆的观测参数信息和交通参与车辆的观测参数特征频谱的相似性,得到从交通态势维度计算的当前驾驶场景属于每一个场景类的概率;
[0162] 根据以上3个维度的概率,综合计算实时场景和每一场景类总相似度,总相似度最高的场景类为识别出的场景类。
[0163] 5)若识别出场景类为交叉路口场景类,且正在运行的智能驾驶算法为城区结构化无堵车场景类算法,根据设计运行范围判断信息判断是否满足交叉路口场景类设计运行范围:
[0164] 1)如果满足,发送切换到交叉路口场景类的指令;
[0165] 2)如果不满足,再次判断是否满足城区结构化无堵车场景类的设计运行范围:a)如果满足,发送维持城区结构化无堵车场景指令和场景类切换到交叉路口场景类不成功信息;b)如果不满足,发送故障告警信息和人工接管请求信息;
[0166] 6)若识别场景类为交叉路口场景类,且正在运行的智能驾驶算法也是交叉路口场景类算法,根据设计运行范围判断信息判断是否满足交叉路口场景类设计运行范围:如果满足,发送维持交叉路口场景类的指令,如果不满足,发送故障告警信息和人工接管请求信息;
[0167] 7)根据驾驶员或云端操作意图判断是否有停止智能驾驶系统的指令信息:
[0168] 如果有,向车辆主动执行模块发送释放油门、档位、方向盘、刹车等系统的控制权指令,并通过HMI告知驾驶员;如果没有,判断驾驶员是否有让驾驶系统切换到某个场景类的企图,如果有,向感知融合算子选择模块和决策控制算子模块发送切换到该场景类对应算法,如果没有,接收来自场景类切换判断模块的信息;
[0169] 当信息为切换到交叉路口场景类的指令时,发送切换到交叉路口场景类对应的智能驾驶算法;
[0170] 当信息为发送维持城区结构化无堵车场景类指令和场景类切换到交叉路口场景类不成功信息时,发送维持城区结构化无堵车场景类指令对应的智能驾驶算法,并向交互模块发送场景类切换到交叉路口场景类不成功信息;
[0171] 当信息为故障告警信息和人工接管请求信息时,发送故障告警信息和人工接管请求,当接收到人工接管的反馈(来自车辆执行模块的车辆状态参数信息)时,释放油门、档位、方向盘、刹车等系统的控制权指令,并通过HMI告知驾驶员,当一段时间内仍没有接收到人工接管的反馈时,控制车辆安全停车(向油门、档位、方向盘、刹车等系统发送控制指令);
[0172] 当信息为维持交叉路口场景类的指令时,发送维持交叉路口场景类对应的智能驾驶算法。
[0173] 可以理解的是,上述车辆为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
[0174] 本申请实施例可以根据上述方法示例对执行上述智能驾驶方法的车辆或者智能驾驶系统进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本申请实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0175] 在本申请所提供的一种实现方式中,在场景切换的过程中,车辆中的智能驾驶系统和驾驶员的交互可以预设有多种场景切换模式,驾驶员可以预先选择其中的一种场景切换模式。关于车辆可能提供的场景切换模式,具体如下:
[0176] 第一种,切换仅通知模式。在自动化程度较高的智能驾驶车辆,可以提供切换仅通知模式,在这种模式下,当车辆判断需要进行场景切换时,可以自行进行场景切换,不需要经过驾驶员的确认。在场景切换的同时,可以通过人机交互界面250或者语音通知驾驶员车辆已进行了场景切换。进一步的,驾驶员也可以设置让车辆不通知场景切换的信息。
[0177] 具体来说,在国际自动机工程师学会(SAE International)制定的标准中,将无人驾驶级别分成5级。其中,第四级(Level 4,L4)对应高度的自动化,具体是指由自动驾驶系统完成所有驾驶操作,驾驶员并不必要根据系统请求提供应答,在实践中,车辆可以在地图绘制完善的区域完成人类司机能够完成的多数任务。第五级(Level 5,L5)对应完全的自动化,具体是指由自动驾驶系统能够在不限定道路和环境条件的情况下完成所有的驾驶操作,驾驶员仅在必要的情况下接管车辆。通常来说,在实现L4和L5的车辆中,车辆可以在大多数情况下实现自动驾驶,而不需要驾驶员的介入,从而可以提供切换仅通知模式。
[0178] 第二种,默认同意模式。对于自动化程度还不足够高的智能驾驶车辆,可以提供默认同意模式,在这种模式下,当车辆判断需要进行场景切换时,先通过人机交互界面或者语音向驾驶员发出请求。驾驶员可以响应该请求,指示车辆进行场景切换;或者当驾驶员没有在预设的时间内响应该请求时,车辆默认驾驶员同意该场景切换请求。在这种情况下,车辆进行驾驶场景的切换。例如,在无人驾驶级别的第三级(Level 3,L3),由车辆的自动驾驶系统完成所有的驾驶操作,驾驶员根据车辆的自动驾驶系统的请求提供适当的应答,并随时接管车辆的控制权。通常来说,在实现L3的车辆中,可以提供默认同意模式。
[0179] 第三种,默认拒绝模式。对于自动化程度较低的智能驾驶车辆,可以提供默认拒绝模式。在这种情况下,当车辆判断需要进行场景切换时,先通过人机交互界面或者语音向驾驶员发出请求。例如,车辆根据当前时刻的特征参数等信息,建议选择场景特征库中的第一驾驶场景类作为车辆的驾驶场景,可以发出请求,提示驾驶员进行确认。如果驾驶员没有在预设的时间内响应该请求,则车辆默认驾驶员拒绝该场景切换请求。在这种情况下,车辆将保持前一时刻的驾驶场景。如果车辆当前的设计运行范围不满足前一时刻的驾驶场景对应的设计运行范围,则车辆发出故障告警信息,并请求驾驶员接管车辆。当发送故障告警信息后,间隔预设的时间(例如3秒)后判断驾驶员是否已经接管了该车辆,如果确定驾驶员已经接管了该车辆,则发送指示释放驾驶权的操作指令,并向驾驶员发送驾驶权释放通知;如果驾驶员未在预设的时间内接管车辆,则智能驾驶系统发送指示安全停车的操作指令,以保证驾驶安全。
[0180] 需要指出的是,上述三种场景切换模式仅为举例说明本申请可以提供多种场景切换的过程中车辆和驾驶员的交互方式,并不对本申请进行限定。同样,上述说明中,将车辆的无人驾驶级别与车辆可能提供的切换模式进行对应,仅为一种可能的实现方式,并不对本申请进行限定。
[0181] 图6a为本申请实施例提供的一种人机交互界面的示意图。如图6a所示,人机交互界面可能包括如下部分:
[0182] 导航部分,用于表示车辆当前所在的区域的地图以及车辆的具体位置、行驶方向等信息,如图所示,车辆正在沿徽州大道向北行驶;
[0183] 人工控制车辆按钮,用于当驾驶员触碰该按钮时,驾驶权从车辆转移给驾驶员。虽然车辆采用自动驾驶技术,但通常会给予驾驶员接管车辆的权限。因此,可以在人机界面中设置人工控制车辆按钮,用来控制驾驶权的转移。类似的,人工控制车辆按钮还可以设置成,如果当前是驾驶员人工控制车辆行驶时,当驾驶员触碰人工控制车辆按钮后,驾驶权转移给车辆,开始进行自动驾驶。人工控制车辆按钮处还可以增加显示车辆当前是处于自动驾驶状态还是由驾驶员人工控制的状态栏;
[0184] 车速显示部分,用于显示车辆当前速度;
[0185] 剩余油量显示部分,用于显示车辆当前剩余的油量;类似的,当车辆是以电作为动力或者是油电混合动力的时,也可以相应的显示车辆当前剩余的能源或者显示车辆预计还可以行驶的距离;
[0186] 驾驶场景显示部分,用于显示车辆当前的驾驶场景;由于在本申请中,车辆可以根据车辆的特征参数,选择采用不同的驾驶场景,因此可以在人机交互界面中显示车辆当前的驾驶场景,以供驾驶员知悉。进一步的,可以将驾驶场景部分设置为,驾驶员可以通过点击人机交互界面的该部分屏幕可以手动更改当前的驾驶场景;
[0187] 时间显示部分,用于显示车辆当前的时间。
[0188] 图6b为本申请实施例提供的一种人机交互界面在场景切换时的示意图。当车辆如图6A所示沿徽州大道向北行驶时,车辆所采用的是城区结构化无堵车场景类。而当车辆如图6B所示行驶至徽州大道和长江路的交叉路口时,车辆经过前述的方法确定将当前的场景由城区结构化无堵车场景类切换为交叉路场景类。人机交互界面还可以包括通知显示部分,用于显示需要驾驶员知悉的信息。例如,如图6b所示,可以在通知显示部分中显示信息,告知驾驶员车辆的驾驶场景即将切换为交叉路场景类(此时也可以伴随语音或者提示音对驾驶员进行提醒)。图6b所示的人机交互界面适用于前述的切换仅通知模式。
[0189] 图6c为本申请实施例提供的另一种人机交互界面在场景切换时的示意图。和图6b类似,当车辆行驶至徽州大道和长江路的交叉路口时,车辆经过前述的方法确定将当前的场景由城区结构化无堵车场景类切换为交叉路场景类。人机交互界面中的通知显示部分中提示:驾驶场景即将切换为交叉路场景类,并提供了确认和取消两个按钮供驾驶员选择(此时也可以伴随语音或者提示音对驾驶员进行提醒)。图6c所示的人机交互界面适用于前述的默认同意和默认拒绝模式。当采用默认同意模式时,当人机交互界面中的通知显示部分提示切换场景且驾驶员没有在预设的时间内进行选择时,默认驾驶员同意车辆切换场景;当采用默认拒绝模式时,当人机交互界面中的通知显示部分提示切换场景且驾驶员没有在预设的时间内进行选择时,默认驾驶员拒绝车辆切换场景。
[0190] 图6d为本申请实施例提供的另一种人机交互界面的示意图。由于人机交互界面可以使用语音等方式实现车辆与驾驶员之间的交互,因此,通知显示部分中可以对当前驾驶员可能采用的语音指令进行提醒。例如,如图6d所示,通知显示部分可以提示:您可以这样说:“切换为XX场景类”;“释放车辆驾驶权”。驾驶员根据通知显示部分的提示,可以进行通过语音交互的方式手动切换驾驶场景或者转移车辆的驾驶权等操作,从而增加了人机交互的效率。
[0191] 需要指出的是,上述所提供的人机交互界面的示意图仅为举例说明车辆场景切换中的人机交互,并不对本申请所保护的范围进行限定。
[0192] 图7为本申请实施例提供的一种智能驾驶系统,该智能驾驶系统可以为车辆或包括在车辆中。如图7所示,该智能驾驶系统60可以包括:感知融合单元61、场景类识别单元62、场景类切换模块63,还可以包括车辆执行单元64。
[0193] 感知融合单元61,用于获取车辆当前时刻的特征参数以及车辆在未来预设时间段内驾驶场景的道路属性。例如,感知融合单元61可以执行步骤301。
[0194] 场景类识别单元62,用于比较车辆当前时刻的特征参数与场景特征库中标准场景的特征参数、以及比较车辆在未来预设时间段内驾驶场景的道路属性与场景特征库中标准场景的道路属性,根据比较结果确定场景特征库中每个场景类与所述车辆当前时刻的驾驶场景的总相似度,将N个场景类中总相似度最高的第一场景类确定为当前时刻的驾驶场景;其中,场景特征库中包括N个场景类,每个场景类对应M个标准场景,每个标准场景对应有特征参数;N为大于或等于1的整数,M为大于或等于1的整数。例如,场景类识别单元62可以执行步骤302和步骤303。
[0195] 场景类切换模块63,用于根据确定结果控制车辆的驾驶状态。例如,场景类切片模块63可以执行步骤304。
[0196] 如图7所示,场景类识别单元62,可以包括:
[0197] 场景类感知概率计算模块620,用于将当前时刻的结构化语义信息与场景特征库中标准场景的结构化语义信息进行比较,得到标准场景的第一相似度,对属于场景类的所有标准场景的第一相似度进行组合计算,得到场景类的第一概率。例如,场景类感知概率计算模块620可以执行图4a所示过程。
[0198] 场景类地图概率计算模块621,用于将当前时刻的道路属性与场景特征库中标准场景的道路属性进行比较,得到标准场景的第二相似度,对属于场景类的所有标准场景的第二相似度进行组合计算,得到场景类的第二概率;以及,将车辆在未来预设时间段内驾驶场景的道路属性与场景特征库中标准场景的道路属性进行比较,得到标准场景的第三相似度,对属于场景类的所有标准场景的第三相似度进行组合计算,得到场景类的第三概率。例如,场景类地图概率计算模块621可以执行图4b所示过程。
[0199] 场景类交通态势概率计算模块622,用于将当前时刻的交通态势频谱与场景特征库中标准场景的交通态势频谱进行比较,得到标准场景的第四相似度,对属于场景类的所有标准场景的第四相似度进行组合计算,得到场景类的第四概率。例如,场景类交通态势概率计算模块622可以执行图4c所示过程。
[0200] 场景类识别判断模块623,用于根据场景类的第一概率、场景类的第二概率、场景类的第三概率以及场景类的第四概率得到场景类的总相似度。
[0201] 需要说明的是,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。本申请实施例提供的智能驾驶系统,用于执行上述智能驾驶方法,因此可以达到与上述智能驾驶方法相同的效果。
[0202] 作为又一种可实现方式,智能驾驶系统60可以包括:处理模块、通信模块以及车辆主动执行单元。感知融合单元61、场景类识别单元62、场景类切换模块63可以集成在处理模块中。处理模块用于对智能驾驶系统60的动作进行控制管理,例如,处理模块用于支持该通信装置11执行步骤301、步骤302、步骤303、步骤304等以及执行本文所描述的技术的其它过程。通信模块用于支持智能驾驶系统60与驾驶员进行通信,可以为人机交互界面。进一步的,该智能驾驶系统60还可以包括存储模块,用于存储智能驾驶系统60的程序代码和智能驾驶算法。
[0203] 其中,处理模块可以是处理器或控制器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信模块可以是人机交互界面等。存储模块可以是存储器。当处理模块为处理器,通信模块为人机交互界面,存储模块为存储器时,图7所示智能驾驶系统60可以为图2所示智能驾驶系统。
[0204] 图8为本申请实施例提供的又一智能驾驶系统的组成示例图。
[0205] 如图8所示,智能驾驶系统70包括获取模块71、确定模块72、显示模块73和控制模块74。其中,获取模块71用于获取车辆在第一时间的特征参数以及车辆在第一时间的未来预设时间段内驾驶场景的道路属性,其中,所述特征参数包含结构化语义信息、道路属性以及交通态势频谱;确定模块72,用于根据所述车辆在第一时间的特征参数以及车辆在未来预设时间段内驾驶场景的道路属性,选择场景特征库中的第一驾驶场景类;显示模块73,用于:显示第一提示符,所述第一提示符用于提示驾驶员将所述车辆在所述第一时间内的驾驶场景切换为第一驾驶场景类;接收第一指示,所述第一指示与第一指示符对应,用于指示将车辆在第一时间的驾驶场景切换为第一场景类;控制模块74,根据第一驾驶类控制车辆的驾驶状态。
[0206] 在一种可能的实现方式中,当选择场景特征库中的第一驾驶场景类时,确定模块72具体用于:比较车辆在第一时间的特征参数与特征场景库中标准场景的特征参数的道路属性,根据比较结果确定场景特征库中每个场景类与所述车辆当前时刻的驾驶场景的总相似度,其中,每个场景特征库中包括N个场景类,每个场景类对应M个标准场景,N和M均为正整数;将所述N个场景类中总相似度最高的第一场景类确定为第一时间的驾驶场景。
[0207] 在一种可能的实现方式中,当根据第一驾驶场景类控制车辆的驾驶状态之后,确定模块72还用于,选择场景特征库中的第二驾驶场景类为第二时间的驾驶场景;显示模块73还用于:显示第二提示符,该第二提示符用于指示将车辆在第二时间的驾驶场景切换为第二驾驶场景;当在预设的时间内未接收到第二指示时,指示控制模块74维持根据第一驾驶场景类控制车辆的驾驶状态,其中,第二指示与第二提示符对应,用于指示将车辆当前的驾驶场景切换为第二驾驶场景类。
[0208] 在一种可能的实现方式中,当在预设的时间内未接收到第二响应之后,确定模块71还用于,确定车辆在第二时间的设计运行范围不满足第一场景类对应的设计运行范围;
显示模块73还用于,发送故障告警信息。
[0209] 在一种可能的实现方式中,当发送故障告警信息之后,确定模块71还用于,判断驾驶员是否已经接管所述车辆;显示模块73还用于,若确定模块71确定驾驶员已经接管车辆,则发送用于指示释放驾驶权的操作指令以及向所述驾驶员发送释放通知;若确定模块71确定驾驶员未接管所述车辆,则发送用于指示安全停车的操作指令。
[0210] 在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时,可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程系统。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带),光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
[0211] 尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
[0212] 尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。