[0001] 本实用新型涉及智慧交通检测领域，尤其涉及一种基于雷视声双目深度融合的智慧交通感知一体化装置。

[0002] 随着机动车保有量和出行需求的迅速增加使道路交通愈发复杂化，城市交通噪音污染、机动车超速、交通事故等成为道路交通管理的一大顽疾，阻碍了道路的正常运行。现在交通检测设备以视频为主(视频事件检测系统及视频结构化等)，近几年，毫米波雷达也在交通道路上得到了广泛的测试及部分的使用。但是各有各的弊端，检测距离近、夜晚时段无法检测、无法定位、做不到握手追踪等是视频的弊端。场景效应大、遮挡影响追踪、没有可视场景等是雷达与激光的劣势。除此之外，还有雷达与视频相结合的设备，理论上视频与雷达的相结合，利用优劣互补，可达到在检测精度的提升。但是技术上安防领域的视频与雷达在频率与检测距离上都差距甚远，二者前端融合技术要求比较高，基于当下在高速公路交通检测上的技术大部分采用立旧原来的安防视频或视频结构化的系统与雷达做后端的算法融合，结果并没有达到理想的要求，甚至综合下来还不如视频结构化的效果。同时，现有的鸣笛检测抓拍系统，超速检测抓拍系统及各类交通事件检测系统单独运行，缺乏联动，造成许多“麻雀杆”问题。因此，雷达、视频等多技术融合度较低，以及对机动车超速和汽车噪音污染等交通事件检测精确度不高成为了目前主要的技术问题。

[0003] 针对上述情况，亟需本领域技术人员提供一种能够准确识别和高效检测城市交通汽车噪音污染和机动车超速等交通事件的设备。实用新型内容

[0004] 本实用新型提供了一种基于雷视声双目深度融合的智慧交通感知一体化装置，用以解决现有技术中视频和雷达技术不能完美融合以及检测城市交通中噪音污染和机动车超速等情况的精准度不高的技术问题。

[0005] 为解决上述技术问题，本实用新型提出的技术方案为：一种基于雷视声双目深度融合的智慧交通感知一体化装置，包括内部形成容纳空间的壳体，以及设置在壳体内的边缘计算处理模块；以及分别通过电路连接边缘计算处理模块的双镜头摄像机模块、雷达模块、拾音阵列模块。

[0006] 所述雷达模块采用双射频天线设计，用于探测目标车辆，形成雷达数据流。

[0007] 所述拾音阵列模块，用于区分鸣笛车辆鸣笛行为，并定位鸣笛车辆位置，形成声源数据流。

[0008] 所述双镜头摄像机模块，包括长焦距镜头、短焦距镜头以及ISP子模块，所述长焦距镜头和所述短焦距镜头并列安装，且所述长焦距镜头安装在所述短焦距镜头上部，所述ISP子模块用于进行视频图像处理形成视频流。

[0009] 所述边缘计算处理模块包括用于对视频流、声源数据流和雷达数据流进行信号级处理的中央处理器。

[0010] 进一步的，基于雷视声双目深度融合的智慧交通感知一体化装置，还包括分别与所述边缘计算处理模块连接的无线传输模块和报警模块。

[0011] 所述无线传输模块连接壳体外部的天线进行网络通信；所述报警模块用于传输报警信号至壳体以外的报警设备。

[0012] 进一步的，所述边缘计算处理模块还包括：

[0013] 连接所述中央处理器的16TOPS高算力芯片；连接所述中央处理器与雷达模块的电平转换部分；连接双镜头摄像机模块与所述中央处理器的第一网络变压器；连接拾音阵列模块与所述中央处理器的第二网络变压器；连接无线传输模块与所述中央处理器的第三网络变压器。

[0014] 进一步的，所述电平转换部分通过UART接口连接所述中央处理器，通过SPI接口连接雷达模块；所述第一网络变压器通过MIPI接口连接双镜头摄像机模块；所述第二网络变压器通过网口连接拾音阵列模块，通过USB2.0接口连接中央处理器；所述第三网络变压器通过网口连接无线传输模块。

[0015] 进一步的，所述边缘计算处理模块还包括加热散热控制部分；所述加热散热控制部分包括加热控制电路、散热控制电路和温度传感器；所述加热控制电路连接壳体内置的风扇；所述散热控制电路连接壳体内置的加热片。

[0016] 进一步的，基于雷视声双目深度融合的智慧交通感知一体化装置，还包括壳体内置的陀螺仪以及嵌入在壳体外部的水平仪。

[0017] 本实用新型具有以下有益效果：

[0018] 本实用新型提供一种基于雷视声双目深度融合的智慧交通感知一体化装置，装置融合雷达技术的主动探测性、高灵敏度与视频智能分析的数据判断、可视性，通过深度学习，极大的提升了检测率和识别率，具备全面、实时、准确的感知能力。双镜头摄像机模块和雷达模块分别采用双镜头设计和双射频天线设计，探测距离可达350m，且无明显精度损失。在人车混行、车流密集、易拥堵路段也能够同时精准识别区分行人、非机动车、机动车等目标。装置集超速检测抓拍，鸣笛检测抓拍功能于一体，达到了将毫米波雷达、拾音阵列和视频摄像机技术进行优势互补、深度融合的目的，实现对探测范围内行驶在道路上的各种机动车、非机动车、行人等进行高分辨、高穿透实时监控。

[0019] 除了上面所描述的目的、特征和优点之外，本实用新型还有其它的目的、特征和优点。下面将参照附图，对本实用新型作进一步详细的说明。

[0026] 以下结合附图对本实用新型的实施例进行详细说明，但是本实用新型可以由权利要求限定和覆盖的多种不同方式实施。

[0027] 本实用新型公开了一种基于雷视声双目深度融合的智慧交通感知一体化装置，集超速检测抓拍、鸣笛检测抓拍功能于一体的装置。图1是本实施例中所称的装置工作示意图，根据图1对装置的主要功能进行一个大体上的说明，装置包括双镜头摄像机模块4、雷达模块2、拾音阵列模块3和边缘计算处理模块1，所述双镜头摄像机模块4、雷达模块2、拾音阵列模块3与边缘计算处理模块1集成为雷视声融合一体式装置。雷达模块2、双镜头摄像机模块4和拾音阵列模块3将采集到的雷达数据流、视频流、声源数据流，传至边缘计算处理模块1，经边缘计算融合处理后，自动识别鸣笛车辆或超速车辆号牌等交通事件检测，同时保存违法鸣笛车辆或超速车辆的抓拍图像及取证视频，并可输出相应的预警信号进行预警，通过有线或无线传输方式将数据传至管理平台。

[0028] 本实施例中基于雷视声双目深度融合的智慧交通感知一体化装置是全新一代专门针对道路交通所设计的智能传感器，是将双镜头摄像机、拾音阵列、毫米波雷达和高性能处理器结为一体的交通传感器。雷视融合一体化装置将双镜头摄像机模块4形成的视频流、雷达模块2形成的雷达数据流和拾音阵列模块3形成的声源数据流同时通过MIPI和SPI接口接入到一体机中的边缘计算处理模块1中，利用内置边缘计算处理模块1中的中央处理器7进行数据处理。装置可安装在城市道路交通中禁止鸣笛，超速检测区域、路口或园区路段上,对监测区域任意车道内机动车乱鸣喇叭行为、超速行为进行不间断自动监测和取证记录。图2为装置的结构示意图之一。

[0029] 参见图3，为本实用新型的装置结构示意图之二。图中包括边缘计算处理模块1、雷达模块2、双镜头摄像机模块4、拾音列阵模块、无线传输模块6、报警模块8、陀螺仪5七个部分，各个部分之间都通过置于装置壳体内部的电路连接。其中无线传输模块6与报警模块8处在边缘计算处理模块1所标的位置。

[0030] 所述雷达模块2采用双射频天线设计，其探测距离更远，目标检测更精准。并选用80Hz频段检测,低功耗FMCW调制技术，满足雨天，雾天等恶劣环境下使用需求。中波束探测距离远，可实现远距离目标识别，近距波束探测范围广，可覆盖1‑6个车道目标探测，满足大部分城市道路及高速公路交通场景需求。

[0031] 所述拾音阵列模块3通过军工级声呐阵列定位技术准确定位违法鸣笛车辆的精确位置,将机动车鸣笛声音以声学云图的方式标记出鸣笛车辆,有效区分并排和前后车辆的鸣笛行为,融合视频图像数据，经边缘计算处理模块1自动识别鸣笛车辆号牌，同时保存违法鸣笛车辆的抓拍图像及违法鸣笛取证视频。

[0032] 所述双镜头摄像机模块4搭配两颗12mm/35mm长短焦镜头超微光CMOS，其中长焦距镜头安装在短焦距镜头的正上方，皆为900万高清摄像机镜头。通过双镜头摄像机模块4的ISP子模块进行图像处理并纵向拼接输出一路高清、低噪和极佳夜视效果的全道路场景视频，实现与雷达探测距离的全域覆盖。

[0033] 所述无线传输模块6支持4G/5G和WIFI方式进行数据传输，并与边缘计算处理模块1相连接，并连接装置壳体外部的天线进行网络通信。

[0034] 所述报警模块8用于接收边缘计算处理模块1输出的报警信号，并传输报警信号至外部报警设备，所述报警设备可采用声光报警器，预警喇叭及LED预警信息等方式。

[0035] 所述陀螺仪5持自动误差修正功能，恶劣天气或地面震动引起设备发生偏移，也可自动参数修正，减少维护成本，外置水平仪14嵌入至装置壳体外部如图2所示，可以大大简化安装工作量。

[0036] 所述边缘计算处理模块1包括中央处理器7、连接中央处理器7的16TOPS高算力芯片、电平转换部分13、第一网络变压器10、第二网络变压器11、第三网络变压器12、加热散热控制部分9以及若干个硬件接口。

[0037] 所述电平转换部分连接所述雷达模块2与所述中央处理器7，所述第一网络变压器10连接所述双镜头摄像机模块4与所述中央处理器7，所述第二网络变压器11连接所述拾音阵列模块3与所述中央处理器7，所述第三网络变压器12连接所述无线传输模块6。

[0038] 所述16TOPS高算力芯片为同步启用丰富算法以及精准分析提供充足算力，既支持车牌、车身颜色、车牌颜色、车标、车型等机非人属性识别功能，也支持卡口及30+事件检测功能，满足目标检测以及交通行为检测应用需求。所述中央处理器7采用四核ARM处理器，可对原始的视频流、雷达数据及声源数据进行信号级处理，将视频目标、雷达目标和声源目标进行深度融合，相互校验，实现对探测范围内行驶在道路上的各种机动车、非机动车、行人等进行高分辨、高穿透实时监控。

[0039] 所述加热散热控制部分9用于板卡在工作过程中的加热与散热，包括加热控制电路、散热控制电路、温度传感器。温度传感器监测环境温度并输出温度信息给中央处理器7，若中央处理器7判断温度过高，则输出控制信号给散热控制电路，控制风扇转动，通过装置底座的散热翅片将热量传导出去。若中央处理器7判断温度过低，输出控制信号给加热控制电路，同时中央处理器7供电功能停止工作，同时加热片上电进行加热。加热过程的详细流程为：在中央处理器7在上电前，温度传感器已经开始工作了。在温度过低时，中央处理器7输出控制信号控制散热控制电路的电压加载到散热片上，实现中央处理器7未开机之前的预加热；在中央处理器7上电后，温度传感器会实时监控环境温度，温度信息会传输给中央处理器7。中央处理器7会判断环境温度是否适合自身工作，若不适合自身工作，则输出控制信号给加热控制电路，使加热控制电路电压加载到散热片上，实现预加热。

[0040] 参见图4，为中央处理器处理板硬件总体框图。图中中央处理器7通过UART/CAN/12C接口连接物理层转换部分，再通过485/CAN/12C接口连接云台控制口。中央处理器7通过UART接口连接电平转换部分，电平转换部分再通过SPI接口连接雷达模块2。CPU7通过对外预留接口连接报警模块8，其中，所述对外预留接口包括但不限于PCIE、12C、12S、UART、SDIO接口。中央处理器7通过连接第一网络变压器10，第一网络变压器10再通过MIPI接口连接双镜头摄像机模块4，传输速率为100BASE‑T。中央处理器7通过连接第三网络变压器12，第三网络变压器12再通过网口连接无线传输模块6，传输速率可为1000/100/10BASE‑T。中央处理器7连接加热散热控制部分9，加热散热控制部分9再连接加热片和风扇接口。中央处理器
7连接电源管理，电源管理再连接电源输入。中央处理器7通过USB2.0连接第二网络变压器
11，再通过网口连接拾音阵列模块3。

[0041] 进一步的，所述雷视声双目深度融合的智慧交通感知一体化装置还具有以下主要特点：

[0042] 1)7×24h(无论白天、黑夜)全天候实时稳定防护，适应雨、雪、雾、霾、沙尘等各种恶劣天气及晚上无照明的影响，最大限度杜绝漏报，消除误报。

[0043] 2)将雷达与视频进行信号级融合，融合雷达技术的主动探测性、高灵敏度与视频智能分析的数据判断、可视性，通过深度学习，极大的提升了检测率和识别率，具备全面、实时、准确的感知能力

[0044] 3)双镜头摄像机模块4和雷达模块2分别采用双镜头设计和双射频天线设计，探测距离可达350m，且无明显精度损失。适用于人车混行、车流密集、易拥堵路段，能够同时精准识别区分行人、非机动车、机动车等目标，覆盖范围广，检测要素全，可显著减少部署成本。

[0045] 4)装置集超速检测抓拍，鸣笛检测抓拍功能于一体，大大降低建设成本。所有数据流信息(包括视频流、雷达数据流、声源数据流)都是车道级，包括目标位置、速度、方向、类别(机动车、非机动车、行人等)、车牌号等多种目标状态信息。其中视频流包括图像数据，雷达数据流包括目标位置，速度，方向，距离等，声源数据流包括声音分贝，声音类型，声源方向等。

[0046] 5)安装调试简单便捷，内置深度学习和自校准系统，且无需额外部署路口运算单元，可在高速门架或侧立柱一体化安装,使用后也无需人工标定；做到“低”能耗、“免”标定、“少”维护。

[0047] 进一步的，本实用新型根据MTBF不小于3000小时的要求，进行了装置可靠性设计，具体可靠性措施如下：

[0048] 1)加强小型化设计，降低功耗，减少元器件数量，减小体积。优先选用工业级或者经过验证合格器件。

[0049] 2)所有连接器选用行业高可靠性连接器，对连接器材质工艺、使用寿命等指标严格控制。

[0050] 3)对于电子元器件采用降额设计，降低电应力对器件寿命的影响。

[0051] 4)主板电路、接口设计防静电功能。

[0052] 5)电路板采取三防工艺设计。

[0053] 以上所述仅为本实用新型的优选实施例而已，并不用于限制本实用新型，对于本领域的技术人员来说，本实用新型可以有各种更改和变化。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本实用新型的保护范围之内。