[0001] 本实用新型涉及海上生物观测处理技术领域，尤其涉及一种用于海上浮标的中华白海豚观测系统。

[0002] 目前在中华白海豚的种群生态学考察中，主要是通过望远镜(7×50倍率)观察，再通过手持长焦相机进行拍摄尽可能多的不同侧面的海豚照片，由人员记录海豚群的各个参数，海豚目击记录表记录包括发现时间、经纬度、角度、目测距离、个体数、体色组成和行为等，航线观察中的数据记录表，经纬度、航速、航向和航程等均由手持GPS获得。目前使用的都是人工手持设备，对于需要人员之间的相互配合来完成考察。而且拍摄的数据需要后期在电脑上再次处理，找到拍摄到海豚的有效图片，时间成本和人力成本会比较高，效率相对较低。实用新型内容

[0003] 为了解决上述技术问题，本实用新型的目的是提供一种用于海上浮标的中华白海豚观测系统，能够全天候在海上运行，自动获取发现时间、经纬度、与浮标相对距离和个体数，有效提高中华白海豚的种群生态学考察的整体效率。

[0004] 本实用新型所采用的第一技术方案是：包括RV1126主控模块、摄像头模块、激光雷达模块、报警装置模块、GPS定位器模块、水听器模块、电源模块、扬声器模块、交换机模块和无线路由模块，其中，所述水听器模块、激光雷达模块、GPS定位器模块和摄像头模块的数据输出端与RV1126主控模块的信号接收端连接；所述RV1126主控模块的信号输出端通过声卡与扬声器模块电连接，所述RV1126主控模块通过无线网卡与无线路由模块进行连接；所述交换机模块与RV1126主控模块、摄像头模块和激光雷达模块进行电连接；所述电源模块为各个模块提供电源。

[0005] 进一步，所述RV1126主控模块还包括USB1接口、USB2接口、J45接口、VCC端、D‑端、D+端和GND端，所述RV1126主控模块通过USB1接口与交换机模块连接，所述RV1126主控模块通过USB2接口与GPS定位器模块连接，所述RV1126主控模块通过J45接口与无线路由模块连接，所述RV1126主控模块的D‑端和D+端与各个连接模块进行数据信号的传输，所述RV1126主控模块的VCC端接高电平，所述RV1126主控模块的GND端接地。

[0006] 进一步，所述摄像头模块包括可见光摄像头模块与红外摄像头模块，所述摄像头模块采用DS‑2CD3T47F(D)WDP2‑L(S)相机。

[0007] 进一步，所述交换机模块采用MS10232芯片，其包括RX+端、RX‑端、TX+端和TX‑端，所述交换机模块的RX+端与摄像头模块的三号引脚连接，所述交换机模块的RX‑端与摄像头模块的六号引脚连接，所述交换机模块的TX+端与摄像头模块的一号引脚连接，所述交换机模块的TX‑端与摄像头模块的二号引脚连接。

[0008] 进一步，所述激光雷达模块为Velodyne 16线激光雷达。

[0009] 进一步，所述无线路由模块采用RTL8201F芯片，其中所述无线路由模块的RTL8201F芯片的第二十四引脚与摄像头模块的十三号引脚连接，所述无线路由模块的RTL8201F芯片的第二十五引脚与摄像头模块的十五号引脚连接。

[0010] 进一步，所述GPS定位器模块的工作电压为3.3V，采用TPS76333DBR和XC62FP3302PR设计两套输出为3.3V的电源电路，其中TPS76333DBR芯片用于产生GPS定位器模块的工作电压，通过其使能端与RV1126主控模块连接控制GPS定位器模块的工作，XC62FP3302为稳压芯片，用于产生主控制器的工作电压。

[0011] 本实用新型的有益效果是：本实用新型所述的海上浮标的中华白海豚观测系统搭载可见光和红外摄像头，当水听器监听到有海豚时，通过局域网输入检测信号给RV1126开发板，通过RV1126开发板的yolov5目标识别技术能够检测并保存摄像头看到的白海豚照片，再由激光雷达检测到当前位置与白海豚之间的相对距离，结合GPS定位器模块当前位置计算出白海豚在地图上的经纬度位置，这套系统能够全天候在海上运行，自动获取发现时间、经纬度、与浮标相对距离和个体数，有效提高中华白海豚的种群生态学考察的整体效率。

[0026] 下面结合附图和具体实施例对本实用新型做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

[0027] 参照图1和图12，本实用新型提供了一种用于海上浮标的中华白海豚观测系统，包括RV1126主控模块、摄像头模块、激光雷达模块、报警装置模块、GPS定位器模块、水听器模块、电源模块、扬声器模块、交换机模块和无线路由模块，其中，所述水听器模块、激光雷达模块、GPS定位器模块和摄像头模块的数据输出端与RV1126主控模块的信号接收端连接；所述RV1126主控模块的信号输出端通过声卡与扬声器模块电连接，所述RV1126主控模块通过无线网卡与无线路由模块进行连接；所述交换机模块与RV1126主控模块、摄像头模块和激光雷达模块进行电连接；所述电源模块为各个模块提供电源。

[0028] 具体地，本实用新型提供中华白海豚观测集成系统，全天候应用于海上浮标上，包括：RV1126开发板、可见光摄像头、激光雷达、报警装置、GPS定位器、水听器。可见光摄像头、激光雷达、报警装置与GPS定位器均连接到RV1126开发板上。当水听器监听到有海豚时，通过局域网输入检测信号给RV1126开发板，RV1126开发板加载TF卡上的检测模型文件，采用目标检测技术对可见光摄像头捕捉到的画面进行目标识别，当识别到海豚后控制扬声器发出声音提醒海豚记录员和控制报警装置同时将检测到的海豚数据和图像上传到远程实验室主机，同时提取激光雷达海豚的点云数据返回海豚与浮标之间的相对距离发给远程实验室主机。本实用新型采用yolov5目标检测技术对所述摄像头捕捉的画面进行识别，对比以往的通过手持设备分别记录GPS估算海豚位置，手持摄像头进行拍摄再处理图片，在中华白海豚的观测效率上更高，且人力成本更低。

[0029] 进一步作为本实用新型的优选实施例，所述RV1126主控模块还包括USB1接口、USB2接口、J45接口、VCC端、D‑端、D+端和GND端，所述RV1126主控模块通过USB1接口与交换机模块连接，所述RV1126主控模块通过USB2接口与GPS定位器模块连接，所述RV1126主控模块通过J45接口与无线路由模块连接，所述RV1126主控模块的D‑端和D+端与各个连接模块进行数据信号的传输，所述RV1126主控模块的VCC端接高电平，所述RV1126主控模块的GND端接地。

[0030] 具体地，参照图3和图4，RV1126是瑞芯微推出的专门面向机器视觉类应用的通用型SoC，集成14M的ISP和1.2TOPS NPU，支持4K视频编解码，支持同编同解，主要应用于智慧安防、视频通讯和边缘计算场景，目前在智能摄像头、视频会议摄像头、人脸识别设备等产品的应用均已落地，通过采集CVBS、AHD、FPD‑Link和GMSL等不同协议接口的八路摄像头的图像数据，通过PHY芯片作为桥接芯片，通过MIPI CSI协议将图像输出传输到RV1126核心处理芯片的两个MIPI接口，同时采集另外一路摄像头的图像数据传输到RV1126核心处理芯片的DVP接口；RV1126核心处理芯片将图像数据储存在储存器并将处理后的图像数据一并储存到储存器，同时将处理后的图像数据通过MIPI DSI协议或RGB协议发送到显示模块进行显示，本实用新型通过RV1126开发板的yolov5目标识别技术能够检测并保存摄像头看到的白海豚照片和视频，将拍摄的视频处理成图片帧，为了提高模型的检测精度，通过对图片帧进行预处理，预处理包括对图片进行模糊，亮度，裁剪，旋转，平移，镜像等变化。

[0031] 进一步作为本实用新型的优选实施例，所述摄像头模块包括可见光摄像头模块与红外摄像头模块，所述摄像头模块采用DS‑2CD3T47F(D)WDP2‑L(S)相机。

[0032] 具体地，参照图5、图6和图7，为摄像头模块以太网口JR45使用防护电路，防止网络设备都到雷击损坏，400万广角臻全彩网络摄像机DS‑2CD3T47F(D)WDP2‑L(S)，全彩级高灵敏度感器，F1.0超大光圈镜头，为智能应用提供更清晰的视频流输入，全面提升智能业务处理的准确度，最高分辨率可达3840x 1080@25fps支持背光补偿，强光抑制，3D数字降噪，120dB宽动态，适应不同监控环境支持最大256GB Micro SD/Micro SDHC/Micro SDXC卡本地存储1个内置麦克风，1个内置扬声器，支持双向语音对讲支持两线式DC12 V，100mA电源输出，用于拾音器供电，可靠性高，摄像头的尺寸为193.46*103.58*77.24mm。

[0033] 进一步作为本实用新型的优选实施例，，参照图8，所述交换机模块采用MS10232芯片，其包括RX+端、RX‑端、TX+端和TX‑端，所述交换机模块的RX+端与摄像头模块的三号引脚连接，所述交换机模块的RX‑端与摄像头模块的六号引脚连接，所述交换机模块的TX+端与摄像头模块的一号引脚连接，所述交换机模块的TX‑端与摄像头模块的二号引脚连接。

[0034] 进一步作为本实用新型的优选实施例，参照图10，所述激光雷达模块为Velodyne 16线激光雷达。

[0035] 进一步作为本实用新型的优选实施例，参照图9，所述无线路由模块采用RTL8201F芯片，其中所述无线路由模块的RTL8201F芯片的第二十四引脚与摄像头模块的十三号引脚连接，所述无线路由模块的RTL8201F芯片的第二十五引脚与摄像头模块的十五号引脚连接。

[0036] 进一步作为本实用新型的优选实施例，参照图11，所述GPS定位器模块的工作电压为3.3V，采用TPS76333DBR和XC62FP3302PR设计两套输出为3.3V的电源电路，其中TPS76333DBR芯片用于产生GPS定位器模块的工作电压，通过其使能端与RV1126主控模块连接控制GPS定位器模块的工作，XC62FP3302为稳压芯片，用于产生主控制器的工作电压。

[0037] 本实用新型具体实施例的工作原理如下：

[0038] 参照图2，本实用新型为避免一体化的中华白海豚观测集成系统设备短路，RV1126开发板D，GPS定位器E和报警装置F用软性聚氨酯泡沫塑料外壳密封装于海上浮标A内部，从RV1126开发板D通过海上浮标A中间引线连接激光雷达B和可见光摄像头与红外摄像头C，可见光摄像头与红外摄像头C的视野能够覆盖360°全部观测角度，设备电源由12V的太阳能板G提供，不仅能够为海上中华白海豚观测集成系统提供稳定电源，且给激光雷达与摄像头防雨提供一定保护，保证系统能够在浮标上实现系统24小时实时运行。

[0039] 进一步的，由于设备放置于浮标上会遭受严重的水侵蚀破坏，需要将所述的可见光摄像头、红外摄像头、激光雷达、报警装置与RV1126开发板一体化，并且用软性聚氨酯泡沫塑料外壳密封，提高设备的水密性，防止电子设备损坏；

[0040] 具体实施例：

[0041] 实用新型提供的一种全天候应用于海上浮标的中华白海豚观测集成系统，包括电源模块U0、RV1126主控模块U1、用于给摄像头和激光雷达供电的交换机模块U2、激光雷达模块U3、摄像头模块U4、无线路由模块U5和GPS定位器模块U6；RV1126主控模块U1分别与电源模块U0、用于给摄像头和激光雷达供电的交换机模块U2、无线路由模块U5、GPS定位器模块U6连接；

[0042] 使用该系统搭载可见光和红外摄像头，通过RV1126开发板的yolov5目标识别技术能够检测并保存摄像头看到的白海豚照片和视频，再由激光雷达检测到当前位置与白海豚之间的相对距离，结合gps当前位置计算出白海豚在地图上的经纬度位置；

[0043] 参照图13，首先要得到中华白海豚观测系统识别模型的最佳权重，当水听器监听到有海豚时，通过局域网输入检测信号给RV1126开发板，RV1126开发板加载TF卡上的检测模型文件，采用目标检测技术对可见光摄像头捕捉到的画面进行目标识别，当识别到海豚后控制扬声器发出声音提醒海豚记录员和控制报警装置同时将检测到的海豚数据和图像上传到远程实验室主机，因此通过目前系统所使用的摄像头进行拍摄，将拍摄的视频处理成图片帧，两个可见光摄像头需要与激光雷达做标定，对准三者空间上的图像，且在RV1126开发板把训练好的检测海豚的网络模型文件放入指定文件夹中，并使用C++写好设备的驱动程序。激光雷达提取通过检测识别到的海豚对象与浮标的相对距离结合浮标的经纬度,计算出海豚的gps位置。当摄像头捕捉到海豚的时候，扬声器发出提醒声音，同时向远程服务器发送检测到的海豚图像与GPS位置坐标等信息；

[0044] 为了提高模型的检测精度，通过对图片帧进行预处理，预处理包括对图片进行模糊，亮度，裁剪，旋转，平移，镜像等变化，得到更多不同干扰的数据集。使得模型在进行训练时白海豚的特征提取更具有鲁棒性。由于在可见光下海浪的颜色与白海豚接近，将图片中中华白海豚和白色的海浪分别标注为两个类别，建立一个二分类的数据集，将数据集分为训练集、验证集和测试集；再将训练集和验证集中的图片输入YOLOv5网络模型进行模型训练，得到YOLOv5网络模型的最佳权重数据；中华白海豚观测集成系统不仅要能够实时的识别检测出海豚，还要结合激光雷达和GPS模块，通过检测到海豚检测结果2D bounding box坐标信息投影到点云里面获得3D bounding box坐标，然后结合3D bounding box坐标和自身浮标的gps位置输出海豚的经纬度位置，这套系统能够全天候在海上运行，自动获取发现时间、经纬度、与浮标相对距离和个体数，有效提高中华白海豚的种群生态学考察的整体效率；

[0045] 其中，上述YOLOv5网络模型对图片的处理过程为，将从摄像头采集过来的图片缩放到608*608大小，然后将原本的SPP网络换成成了SPPF网络，因为两者的作用是一样的，但后者效率更高。通过了这个SPPF网络，提取出海豚的特征图；并将特征图分成大小为N×N的特征图，再根据特征图大小，将已经缩放的图片分成N×N个网格单元，若其中的网格，认为目标落在网格中，则预测为1，否则则为0.最后将所有预测为1的网格连在一起，得到目标整体的位置。同时，yolov5会在3个不同的尺度空间下对目标进行检测，并且产生分别为76*176，38*38，19*19三个先验框，同时使用聚类算法对先验框进行回归，使用平移和缩放调整先验框的大小和位置，使先验框的位置与真实框误差最小，最后yolov5中loss由正样本和负样本两部分loss组成，负样本对应着图像的背景，如果负样本远多于正样本，则负样本会淹没正样本的损失，从而降低网络收敛的效率与检测精度，这就是目标检测中常见的正负样本不均衡问题，通过增加正样本数解决正负样本不均衡问题；

[0046] 使用labelImg软件，标记检测对象在图像中的区域，获得该对象在图像位置的坐标和标签文件，并将图片和坐标标签文件送到网络中进行训练，最终获得yolov5训练好的网络模型文件，此网络模型文件能够让RV1126开发板能够检测出标记训练好的检测对象。

[0047] 以上是对本实用新型的较佳实施进行了具体说明，但本实用新型创造并不限于所述实施例，熟悉本领域的技术人员在不违背本实用新型精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。