[0001] 本发明涉及重卡自动紧急制动技术领域，尤其是涉及一种多传感器融合的重卡自动紧急制动方法、系统及介质。

[0002] AEB/AEBS(automated emergency brake system，自动紧急制动)是一种最基本的汽车主动安全技术，通过传感器(雷达、摄像头、激光雷达、红外成像等)识别与前方车辆、行人等障碍物的距离，结合车速作出分析判断，检测可能发生的碰撞危险，提前警示驾驶员制动，并在必要时主动减速或者刹停，防止碰撞的发生或最大限度的降低碰撞的伤害。

[0003] 传统的AEB系统主要通过白光摄像头和毫米波雷达来完成前方障碍物的检测，然而在夜间或者恶劣天气(如大雾、雾霾、雨雪，沙尘等恶劣天气)下，白光摄像头会出现识别精度低甚至无法识别行人和车辆状况，而重卡作为生产工具，其行驶时间是全天候的，包括各种恶劣天气情况下都得照常工作，这无疑增加行车危险性。通过增加夜视系统整车具备全天时危险识别能力，增加行驶安全。考虑到驾驶员长时间工作导致的疲惫及反应力下降，将DMS系统接入AEB系统，AEB系统根据系统自身设置的TTC，同时参考DMS系统提供的信息，判断是否提前制动以增加行车安全，同时减少紧急制动带来的行车不适感。

[0059] 以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

[0060] 实施例1：如图1所示，一种多传感器融合的重卡自动紧急制动方法，所述方法包括：

[0061] Q1.在夜晚或恶劣天气情况下，基于车载夜视摄像头实时获取道路的红外图像数据信息，基于车载毫米波雷达实时获取障碍物的运动状态数据信息，基于DMS摄像头实时获取驾驶员的图像数据信息；

[0062] Q2.基于所述道路的红外图像数据信息，采用改进的红外弱小目标检测算法对障碍物的距离和速度进行检测，得到障碍物的距离和速度数据信息，基于所述驾驶员的图像数据信息，采用基于蚁群算法的边缘检测算法对驾驶员的图像进行识别和分类，得到驾驶员的状态数据信息；

[0063] Q3.基于所述驾驶员的状态数据信息、所述障碍物的距离和速度数据信息与所述障碍物的运动状态数据信息，采用基于黄金正弦的多模态特征融合算法对数据进行融合，得到融合后的特征数据信息；

[0064] Q4.基于所述融合后的特征数据信息，建立重卡紧急制动决策函数P，对车辆的紧急制动进行评估，输出车辆紧急制动评估数据信息。

[0065] 在本实施例中，所述方法还包括：

[0066] Q5.基于所述车辆紧急制动评估数据信息，设置预设阈值，若所述车辆紧急制动评估数据信息超过预设阈值则进行紧急制动，若所述车辆紧急制动评估数据信息小于预设阈值则继续行驶。

[0067] 在本实施例中，所述重卡紧急制动决策函数P为，

[0068]

[0069]

[0070] 其中，x为融合后的特征数据信息，α为车辆制动的第一决策因子，β为车辆制动的第二决策因子，γ为车辆制动的第三决策因子。

[0071] 在本实施例中，如图2所示，在步骤Q2中，所述采用改进的红外弱小目标检测算法对障碍物的距离和速度进行检测包括：

[0072] Q211.基于所述道路的红外图像数据信息，建立道路红外图像的三帧差分函数f，[0073]

[0074] 其中，yi为道路的第i帧的红外图像数据信息，yi+1为道路的第i+1帧的红外图像数据信息，yi+2为道路的第i+2帧的红外图像数据信息，δi，δi+1和δi+2为权重系数，对道路的红外图像进行降噪处理，得到降噪处理后的道路的红外图像数据信息；

[0075] Q212.基于所述降噪处理后的道路的红外图像数据信息，采用卡尔曼滤波算法对道路的障碍物的图像进行增强处理，得到增强处理后的道路的障碍物的图像数据信息；

[0076] Q213.基于所述增强处理后的道路的障碍物图像数据信息，建立障碍物的距离和速度的检测函数F，

[0077]

[0078] 其中，a为障碍物的距离，b为障碍物的速度，z为增强处理后的道路的障碍物图像数据信息，μ1，μ2，μ3和μ4为障碍物的检测常量参数，对障碍物的距离和速度进行检测，得到障碍物的距离和速度数据信息。

[0079] 在本实施例中，所述障碍物的检测常量参数μ1，μ2，μ3和μ4的约束条件为，[0080]

[0081] 实施例2：在实施例1的一种多传感器融合的重卡自动紧急制动方法的基础上，下面对本发明作进一步的说明和描述。

[0082] 如图1所示，一种多传感器融合的重卡自动紧急制动方法，所述方法包括：

[0083] Q1.在夜晚或恶劣天气情况下，基于车载夜视摄像头实时获取道路的红外图像数据信息，基于车载毫米波雷达实时获取障碍物的运动状态数据信息，基于DMS摄像头实时获取驾驶员的图像数据信息；

[0084] Q2.基于所述道路的红外图像数据信息，采用改进的红外弱小目标检测算法对障碍物的距离和速度进行检测，得到障碍物的距离和速度数据信息，基于所述驾驶员的图像数据信息，采用基于蚁群算法的边缘检测算法对驾驶员的图像进行识别和分类，得到驾驶员的状态数据信息；

[0085] Q3.基于所述驾驶员的状态数据信息、所述障碍物的距离和速度数据信息与所述障碍物的运动状态数据信息，采用基于黄金正弦的多模态特征融合算法对数据进行融合，得到融合后的特征数据信息；

[0086] Q4.基于所述融合后的特征数据信息，建立重卡紧急制动决策函数P，对车辆的紧急制动进行评估，输出车辆紧急制动评估数据信息。

[0087] 在本实施例中，如图3所示，在步骤Q2中，所述采用基于蚁群算法的边缘检测算法对驾驶员的图像进行识别和分类包括：

[0088] Q221.基于所述驾驶员的图像数据信息，进行灰度化处理，并获取驾驶员图像的像素点矩阵数据信息；

[0089] Q222.基于所述驾驶员图像的像素点矩阵数据信息，初始化蚂蚁种群，确定种群参数，得到初始化处理后的蚂蚁种群数据信息；

[0090] Q223.基于所述初始化处理后的蚂蚁种群数据信息，建立种群的目标路径识别函数G，

[0091]

[0092] 其中，c为初始化处理后的蚂蚁种群数据信息，ρ1，ρ2和ρ3为自适应调节因子，对驾驶员的图像进行识别和分类，得到驾驶员的状态数据信息。

[0093] 在本实施例中，在步骤Q223中，所述对驾驶员的图像进行识别和分类包括根据种群的目标路径识别函数G，对驾驶员的图像进行识别，得到驾驶员的图像识别数据信息，并建立驾驶员图像分类函数H，

[0094] 其中，q为驾驶员的图像识别数据信息，ω1和ω2为驾驶员图像分类因子，对驾驶员的图像进行分类。

[0095] 在本实施例中，如图4所示，在步骤Q3中，所述采用基于黄金正弦的多模态特征融合算法对数据进行融合包括：

[0096] Q31.基于所述驾驶员的状态数据信息、所述障碍物的距离和速度数据信息与所述障碍物的运动状态数据信息，建立最大相关最小冗余函数R，

[0097]

[0098] 其中，h1为驾驶员的状态数据信息，h2为障碍物的距离和速度数据信息，h3为障碍物的运动状态数据信息，σ1和σ2为数据的相关系数因子，对多源数据的相互关系特征数据信息进行表征，得到多源数据的相互关系特征数据信息；

[0099] Q32.基于所述多源数据的相互关系特征数据信息，建立基于黄金正弦的多模态特征融合函数U，

[0100]

[0101]

[0102] 其中，J为样本容量，rj为多源数据的相互关系特征数据信息，θj为多模态特征的黄金正弦因子；

[0103] Q33.基于所述基于黄金正弦的多模态特征融合函数U，对数据进行融合，得到融合后的特征数据信息。

[0104] 在本实施例中，如图5所示，本发明提供了一种用于实现任一项所述的多传感器融合的重卡自动紧急制动方法的系统，所述系统包括：

[0105] 前视摄像头，与车载控制器连接，主要将捕获图像传递给车载控制器；前毫米波雷达，安装在车辆前格栅处，主要将接收到的信号进行处理后传给车载控制器，通过比较发射信号和接收信号的差异来确定目标物体的位置、速度和其他特征；

[0106] 夜视系统，接收来自夜视摄像头输出的图像，通过算法处理后输出目标物体及目标物距离、速度，输出信息传递给车载控制器；DMS系统，接收DMS摄像头输出的驾驶员状态信息，通过算法处理后输出驾驶员状态及报警信号，传递给车载传感器及中控仪表；

[0107] 中控仪表，主要接收车载控制器信息，实现DMS系统报警及前向碰撞预警信息显示；

[0108] 车载控制器，安装在车辆副仪表台下方，主要接收各传感器及系统信息，并通过总线将信息传递给线控底盘及仪表。

[0109] 在本实施例中，其中前视摄像头通过LVDS视频线束与车载控制器连接，所述摄像头为宽角摄像头，所述宽角摄像头角度为100°；

[0110] 在本实施例中，上述的一种多传感器融合的重卡自动紧急制动方法及装置，其中前毫米波雷达通过CAN总线与车载控制器连接，输出感知结果信号至车载控制器，所述毫米波雷达型号为大陆ARS408‑21；

[0111] 在本实施例中，其中夜视系统主要包含夜视摄像头及夜视处理器；

[0112] 所述的夜视摄像头，安装位置在车辆前格栅里，输出夜视图像至夜视处理器；

[0113] 所述夜视处理器，主要负责处理夜视图像，通过算法处理后输出目标物距离、速度及图像至车载控制器；

[0114] 在本实施例中，上述的一种多传感器融合的重卡自动紧急制动方法及装置，其中DMS系统主要包含DMS摄像头及DMS处理器；

[0115] 所述的DMS摄像头，安装位置在车辆左A柱上方，输出驾驶员图像至DMS处理器；

[0116] 所述DMS处理器，主要负责处理驾驶员图像，通过深度学习算法处理后输出驾驶员状态信息，并将其信息传输至车载控制器和中控仪表；

[0117] 在本实施例中，其中车载控制器主要与前毫米波雷达、前视摄像头、夜视系统、DMS系统、中控仪表及线控底盘连接。

[0118] 所述的前毫米波雷达通过CAN总线将感知结果信号传给车载控制器，前视摄像头及夜视系统通过LVDS信号格式将信号传给车载控制器，同时夜视系统通过CAN总线将障碍物位置、距离信息等传递给车载控制器。车载控制器通过融合处理后输出最终障碍物信息；

[0119] 所述DMS系统通过CAN总线将驾驶员状态信息传输至车载控制器，车载控制器通过判断驾驶员状态从而决定是否需要延长TTC；

[0120] 所述中控仪表通过CAN总线与车载控制器连接，主要显示车载控制器输出的碰撞报警信号；

[0121] 所述线控底盘通过CAN总线与车载控制器连接，主要接收车载控制器的制动信号。

[0122] 在本实施例中，系统启动后，车载控制器会根据车辆光传感器信号及白光摄像头提供信号判断是否为夜间或者恶劣天气，从而车载控制器会选择置信度高的图像信号与毫米波雷达进行信号融合；经过算法处理后，输出最终目标障碍物的位置、速度等信息；

[0123] 另一方面，车载控制器同时接收来自DMS系统输出的驾驶员状态信号，当车辆前方障碍物触发前向报警且车载控制器同时检测到驾驶员存在疲劳驾驶并未采取措施时，车载控制器会增加TTC，同时提前采取刹车保证行驶安全及减少紧急刹车带来的不适感。

[0124] 在本实施例中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行任意一项所述的多传感器融合的重卡自动紧急制动方法的计算机程序。

[0125] 本申请所提供的实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

[0126] 综上所述，本发明不仅解决了白光摄像头夜间或者恶劣天气(如大雾、雾霾、雨雪，沙尘等恶劣天气)识别精度低甚至无法识别行人和车辆的缺陷，使得车辆具备全天候的危险预警能力，而且减少紧急制动带来的行车不适感，增加行车舒适度。

[0127] 上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。