技术领域
[0001] 本发明涉及农业信息技术领域,尤其涉及一种种猪行为智能巡查监测方法、装置、电子设备、计算机可读存储介质和计算机程序产品。
相关背景技术
[0002] 在家畜育种养殖技术领域中,种猪的选留与培育、淘汰更新是育种过程中最关键的环节。猪的很多行为与其基因之间有潜在关联,如果将行为遗传效应一并考虑,猪生长性能的遗传力将会提高。因此,识别种猪行为有助于对良品猪进行筛选,提高育种效率,良品猪例如是生长性能强的猪,不仅包括母猪高的哺乳/采食能力,还包括仔猪较高的社交能力,即攻击性较低。猪的行为监测最早是饲养员直接对其行为进行监测,这种方式增加了人畜接触的时间,具有人畜共患病的风险,同时也会受到饲养员主观经验的影响。随着集约化养殖规模的扩大,人工监测的方式必然难以满足大量的猪行为监测需求,因此需要通过自动化的监测系统来高通量且及时地掌握种猪行为、遗传习性等情况,减少人与猪只接触,降低传染性疾病发生概率。这对种猪选育管理、提高种猪场生产效率具有重要意义。
[0003] 现有的猪行为自动监测方法主要采用单一圈栏固定位置监测或是单一猪舍铺设固定轨道巡查等方式监测猪的行为。然而,这些方式存在一些不足。固定位置的方式无法实现不同猪圈的种猪行为监测,需要舍内每个圈栏都安装监测设备,投入成本较大、设备资源利用率不高。固定轨道的方式需要在使用前铺设导轨,安装成本较高,且仅能在单个猪舍内使用,无法在不同猪舍间共享使用。可见,现有方案均难以满足不同生长周期不同猪舍场景下的种猪行为监测需求,通用性和灵活性较差。此外,现有猪行为监测方法和系统往往未关联所监测猪的身份信息,仅仅是识别图像中猪的行为类别,但没有关联发生行为的猪的身份信息,比如,处于哪个栏、哪个圈、父母是谁等猪遗传选育过程需要的信息,导致系统虽然监测到猪的某些行为,但却无法准确定位种猪身份,进而令管理人员不能及时做出针对性的遗传选育管理措施。
具体实施方式
[0077] 需要说明的是,在本申请中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0078] 在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0079] 本发明所述处理器是电子设备的控制中心,可以是一个处理器,也可以是多个处理元件的统称。例如,是一个或多个中央处理器(central processing unit,CPU),也可以是特定集成电路(application specific integrated circuit,ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路,例如:一个或多个微处理器(digital signal processor,DSP),或,一个或者多个现场可编程门阵列(fieldprogrammable gate array,FPGA)。
[0080] 可选地,处理器可以通过运行或执行存储在存储器内的软件程序,以及调用存储在存储器内的数据,执行电子设备的各种功能。
[0081] 在具体的实现中,作为一种实施例,处理器可以包括一个或多个CPU。这些处理器中的每一个可以是一个单核处理器(single‑CPU),也可以是一个多核处理器(multi‑CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。电子设备可以包括:服务器,台式电脑,笔记本电脑,智能手机,平板电脑,嵌入式计算机等,其中该嵌入式计算机包括载具和机器人等。
[0082] 存储器用于存储执行本发明方案的软件程序,并由处理器来控制执行,具体实现方式可以参考上述方法实施例,此处不再赘述。
[0083] 需要说明的是,本发明附图中示出的电子设备的结构并不构成对其限定,实际的知识结构识别设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
[0084] 上述实施例,可以全部或部分地通过软件、硬件(如电路)、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
[0085] 还应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,其中A,B可以是单数或者复数。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系,但也可能表示的是一种“和/或”的关系,具体可参考前后文进行理解。
[0086] 本发明中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,a,b,或c中的至少一项(个),可以表示:a, b, c, a‑b, a‑c, b‑c, 或a‑b‑c,其中a,b,c可以是单个,也可以是多个。
[0087] 还应理解,在本发明的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。
[0088] 在本发明所提供的几个实施例中,应该理解到,所公开的设备、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个设备,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0089] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0090] 另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0091] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read‑only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0092] 为了实现上述技术效果,第一方面,本发明提供一种种猪行为智能巡查监测方法,实施步骤包括:
[0093] 步骤S1,构建二维码标识。构建二维码标识首先需要生成二维码电子图像,可以选择利用python二维码生成库qrcode来生成带有特定信息的二维码电子图像,生成后的二维码电子图像可以通过标签打印机完成二维码标识的打印,生成二维码标识。二维码标识中的信息包含猪舍号、限位栏号、圈栏号、父母身份编号等身份信息。
[0094] 步骤S2,部署二维码标识。生成的二维码标识,需要部署到猪舍中的每一个圈栏,具体来说,针对分娩舍场景,二维码标识固定在每个限位栏前挡板,两个限位栏的交界处,以便在系统移动到该位置时第一摄像头处于最佳拍摄角度,二维码标识距离地面高度在0.65米 0.75米范围;针对保育舍场景,二维码标识固定在每个仔猪圈前挡板中间位置,以~
便在系统移动到该位置时第一摄像头处于最佳拍摄角度,二维码标识距离地面高度在0.65米 0.75米范围。
~
[0095] 步骤S3,舍内建图。舍内建图主要用于系统自动导航前舍内路况信息的获取,以便监测系统能基于所建电子地图进行自动规划导航移动。舍内建图主要步骤包括,预先由工作人员通过手持遥控器控制监测系统硬件装置模块遍历猪舍全区域工作道,利用激光雷达、RGB‑D摄像头以及SLAM技术等遍历扫描采集猪舍路况信息,形成猪舍场景的三维电子地图,并存储于系统控制与数据处理模块,以供后续自动导航巡查时使用。
[0096] 步骤S4,开启自动巡查。在构建的三维地图中设置监测系统硬件装置模块在自动巡查时需要前往的目的地坐标点,可以利用rviz软件在三维地图中设定目的地坐标点;将监测系统硬件装置模块置于导航起点位置,执行启动自动导航ROS命令,开始监测系统的自动巡查,监测系统硬件装置模块会根据导航目的地坐标点,在猪舍工作道上进行自动路径规划及移动巡查。
[0097] 步骤S5,种猪行为及身份信息识别。监测系统硬件装置模块在自动巡查过程中,位于监测系统硬件装置模块高处的第一摄像头开启并采集沿路的猪限位栏或猪圈中种猪的表型视频信息,但第一摄像头可视范围可能难以覆盖到猪圈挡板上的二维码标志,同时位于监测系统硬件装置模块低处的第二摄像头会沿路扫描固定在猪限位栏或猪圈挡板上的二维码标识;种猪行为识别模型读取第一摄像头采集的猪表型视频信息并识别出种猪行为;种猪行为包括行为发生位置及行为类别。模型通过推理,可在视频中自动框出特定的种猪行为的位置,并识别出框中猪的行为类别。这些特定的种猪行为是猪选育关注的行为,例如,母猪哺乳行为、采食行为、仔猪攻击行为等。这些行为会通过基因遗传给下一代,母猪哺乳次数多,代表母猪可以哺育出更健康的下一代;母猪采食时吃得更多,代表其奶水会更充足,可以哺育出更健康的下一代;相反,如果仔猪攻击性较高,一方面大量活动会导致自己掉肉,生长性能低,另一方面攻击会造成对其他猪的伤害,会让影响其他猪只生长,因此需要识别出有攻击行为的猪,进行剔除。同时第二摄像头扫描到二维码后,进一步识别二维码中的种猪身份信息,如猪舍号、母猪限位栏号、仔猪圈栏号、父母身份编号等。
[0098] 步骤S6,形成监测行为记录。将种猪行为及其身份信息进行关联,形成一条完整的带有身份信息的种猪行为记录,记录内容至少包括,猪舍号、母猪限位栏号或仔猪圈栏号、父母身份编号、行为识别结果图像及类别标签。猪育种时,会将一个品种的多个样本,与另一个品种的多个样本进行杂交,以选育携带优秀基因的品种。但这种杂交不可能通过一代就完成,通常需要经过好几代的选育才可能得到一个优秀的品种。通过识别猪的父母的身份信息,可以进一步了解到猪父母的品种、生长性能、繁殖性能、生长过程中的特点和癖好等个体的信息,并可以通过父母信息判断这只猪是否存在隐性的基因表达。从而综合给出猪只的选育策略。
[0099] 步骤S7,信息传输与可视化。利用simplejpeg和imagezmq技术将行为识别结果图像及带有身份信息的种猪行为记录压缩打包,并通过无线传输的方式(无线网可以是猪舍自有的WIFI网络,也可以是用网桥自建的局域网)发送到监测系统客户端子模块进行实时可视化反馈。
[0100] 步骤S8,监测任务完成与重启。当监测系统完成一轮巡查监测任务后,自动返回到初始起点充电,并开始进入倒计时,当倒计时结束后开始下一轮巡查监测。
[0101] 根据本发明提供一种种猪行为智能巡查监测方法,在根据所述在构建的三维地图中设置监测系统硬件装置模块在自动巡查时需要前往的目的地坐标点,还包括:基于所述电子地图预先确定在所述猪舍内的巡查方式,所述巡查方式包括:舍内局部巡查、全舍巡查;所述舍内局部区域巡查为对所述猪舍内的至少一个兴趣区域内进行巡查;所述全舍巡查为对所述猪舍进行整体遍历巡查。
[0102] 第二方面,本发明还提供一种种猪行为智能巡查监测系统,包括:监测系统硬件装置模块,用于执行舍内巡航移动、信息采集及数据传输;系统控制与数据处理模块,用于处理所述采集的信息及结果可视化,处理的信息包括视频图像、行为识别结果图像及类别标签信息、识别二维码获得的身份信息等。
[0103] 根据本发明提供的一种种猪行为智能巡查监测系统,监测系统硬件装置模块,主要组件包括四轮式移动底盘、可伸缩式支架、第一摄像头、第二摄像头。
[0104] 所述四轮式移动底盘采用前置驱动轮、后置万向轮的设计,相对于履带式、悬挂式、磁条式等模式,具有轻量化和灵活转向的特性,且不需要额外加装辅助轨道。
[0105] 所述可伸缩式支架安装在四轮式移动底盘上方居中处,可根据猪舍圈栏高度进行竖向升降自由调整,以使摄像头处在最佳观测高度。
[0106] 所述第一摄像头和第二摄像头安装于伸缩式支架上,可随着四轮式移动底盘移动,具体的,可伸缩式支架顶部设置第一摄像头、底部设置第二摄像头,其中,第一摄像头为带防抖云台的无人车机载摄像头,通过竖向升降调整摄像头监测高度,通过摄像头云台调整摄像头观测种猪行为的角度,使采集画面达到最佳采集效果;第二摄像头为带防抖云台的无人车机载摄像头,通过摄像头云台调整摄像头观测二维码标识的角度,使采集画面达到最佳采集效果。
[0107] 需要说明的是,防抖云台可以较大程度减轻摄像头在四轮式移动底盘自动移动时颠簸晃动产生的图像虚影问题。
[0108] 所述第一摄像头和第二摄像头与系统控制与数据处理模块电性连接,以将第一摄像头和第二摄像头采集的图像数据传至系统控制与数据处理模块进行处理,识别种猪行为及身份信息。
[0109] 本发明提供一种监测系统硬件装置模块,还包括仓内硬件模块,部署在四轮式移动底盘中。
[0110] 所述仓内硬件模块,包括传感器模块、控制模块、驱动模块、电源模块。其中,传感器模块主要由IMU、激光雷达(Lidar)和RGB‑D摄像头组成,用于监测系统硬件装置模块运动及姿态数据、路况信息的获取;控制模块主要由STM32、Jetson Nano、Jetson AGX组成,用于电气控制、数据处理和图形计算;驱动模块主要由电机驱动器、带编码的电机组成,用于监测系统硬件装置模块移动控制;电源模块主要配置锂电池,为各模块供电。
[0111] 根据本发明提供的一种种猪行为智能巡查监测系统,系统控制与数据处理模块,包括导航控制子模块、种猪行为识别模型、身份信息识别子模块、信息收发子模块、监测系统客户端子模块。
[0112] 所述导航控制子模块用于指导监测系统硬件装置模块完成猪舍巡查时的自动规划移动;
[0113] 所述种猪行为识别模型用于完成种猪行为的实时识别,比如分娩舍母猪的站、坐、卧、哺乳、采食等行为以及仔猪的咬耳、咬尾、攀爬、拱腹等攻击行为,并反馈识别结果,包括行为识别结果的图像及行为类别标签;
[0114] 所述身份信息识别子模块用于读取采集到的二维码图像,识别其中的种猪身份信息(如,猪舍号、限位栏号或圈栏号、父母身份编号等),并反馈识别结果;
[0115] 所述信息收发子模块用于发送种猪行为识别结果和身份识别结果给监测系统客户端子模块,同时接受监测系统客户端子模块发送的命令;
[0116] 所述监测系统客户端子模块,用于接收信息收发子模块发送的种猪行为识别结果和身份信息,经数据解码后进行可视化呈现和本地自动存储,便于管理者查看与追溯,并且也可以发送控制命令给信息收发子模块。
[0117] 具体的,所述种猪行为识别模型建立的步骤为:
[0118] Step1、数据集制作;
[0119] Step2、数据集标准化并标注,数据集按照UCF101‑24数据集规范制作,将数据集中每段视频逐帧抽帧,将来自同一视频的图像帧存入同一文件夹,1)对于分娩舍母猪行为,利用标签制作软件对每一帧图像中的母猪行为进行框选标注,标注时需要框选整只猪,并给出所属行为类别,行为类别包含但不限于以下几项:站、坐、卧、哺乳、吃食,2)对于保育舍仔猪行为,利用标签制作软件对每一帧图像中的攻击行为进行框选标注,由于攻击行为是两只猪之间的交互行为,因此标注时标注框中需包含实施攻击的仔猪和承受攻击的仔猪,并给出所属攻击行为的类别,行为类别包含但不限于以下几项:咬耳、咬尾、攀爬、拱腹;
[0120] Step3、数据集划分,将标注好的数据随机分配至训练集,测试集和验证集中;
[0121] Step4、模型训练,获取种猪行为识别模型;
[0122] Step5、模型部署,将种猪行为识别模型部署至Jetson AGX。
[0123] 具体的,种猪行为识别模型训练的具体步骤包括:
[0124] S4‑1、设置网络训练超参数,如Epoch、Batchsize、初始学习率等;
[0125] S5‑2、将制作好的数据集投入设置好的网络训练超参数的YOWOv2网络进行模型的训练;
[0126] S5‑3、训练完成后根据Precision和Recall的综合评价,选取识别效果最优的权重模型作为最终的种猪行为识别模型。
[0127] 更优的,种猪行为识别模型训练的具体步骤还包括:
[0128] S5‑4、种猪行为识别模型的优化,具体包括:
[0129] A、在YOWOv2的2D骨干网络中,将原网络中的ELAN模块替换为来自YOLOv9中的GELAN模块,并且在GELAN模块中使用RepConv,使得网络在提升特征表征学习能力的同时,不增加模型计算量。
[0130] B、在YOWOv2的3D骨干网络中,将FasterNet改进为3DFasterNet,并替换YOWOv2原始3D骨干网络3DShuffleNetsv2。将FasterNet改进为3DFasterNet的方法是将2D卷积转化为3D卷积,将2D池化转化为3D池化,具体来说,在pytorch框架下,将Partial_conv中的nn.Conv2d替换为nn.Conv3d,同时将nn.AdaptiveAvgPool2d替换为nn.AdaptiveAvgPool3d。改进后的网络通过减少冗余计算和内存访问,可以更有效地提取空间特征,有助于在边缘计算终端上获得更高的运行速度,而不影响视觉任务的准确性。
[0131] 第三方面,本发明提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述种猪行为智能巡查监测方法的步骤。
[0132] 第四方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述一种种猪行为智能巡查监测方法的步骤。
[0133] 为让本发明的上述特征和效果能阐述的更明确易懂,下文特举实施例,并配合说明书附图作详细说明如下。本说明书公开了一个或多个包含本发明特点的实施例。公开的实施例仅仅用于举例说明。本发明的保护范围并不限于所公开的实施例,本发明由所附权利要求来限定。
[0134] 下面结合图1‑图6描述本发明实施例所提供的种猪行为智能巡查监测方法和系统。图1是本发明提供的种猪行为智能巡查监测方法的流程示意图,包括但不限于以下步骤:
[0135] 步骤S1,构建二维码标识
[0136] 构建二维码标识首先需要生成二维码电子图像,可以选择利用python二维码生成库qrcode来生成带有特定信息的二维码电子图像,生成后的二维码电子图像可以通过标签打印机完成二维码标识的打印,生成二维码标识。二维码标识中的信息包含猪舍号、限位栏号、圈栏号、父母身份编号等身份信息。
[0137] 步骤S2,部署二维码标识
[0138] 生成的二维码标识,需要部署到猪舍中的每一个圈栏,具体来说,针对分娩舍场景,二维码标识固定在每个限位栏前挡板,两个限位栏的交界处,以便在系统移动到该位置时第一摄像头处于最佳拍摄角度,二维码标识距离地面高度在0.65米 0.75米范围;针对保~育舍场景,二维码标识固定在每个仔猪圈前挡板中间位置,以便在系统移动到该位置时第一摄像头处于最佳拍摄角度,二维码标识距离地面高度在0.65米 0.75米范围。
~
[0139] 步骤S3,舍内建图
[0140] 舍内建图主要用于系统自动导航前舍内路况信息的获取,以便监测系统能基于所建电子地图进行自动规划导航移动。舍内建图主要步骤包括,预先由工作人员通过手持遥控器控制监测系统硬件装置模块遍历猪舍全区域工作道,利用激光雷达、RGB‑D摄像头以及SLAM技术遍历扫描采集猪舍路况信息,形成猪舍场景的三维电子地图,并存储于系统控制与数据处理模块,以供后续自动导航巡查时使用。
[0141] 步骤S4,开启自动巡查
[0142] 在构建的三维地图中设置监测系统硬件装置模块在自动巡查时需要前往的目的地坐标点,可以利用rviz软件在三维地图中设定目的地坐标点;将监测系统硬件装置模块置于导航起点位置,执行启动自动导航ROS命令,开始监测系统的自动巡查,监测系统硬件装置模块会根据导航目的地坐标点,在猪舍工作道上进行自动路径规划及移动巡查。
[0143] 步骤S5,种猪行为及身份信息识别
[0144] 监测系统硬件装置模块在自动巡查过程中,第一摄像头开启并采集沿路的猪限位栏或猪圈中种猪的表型视频信息,同时第二摄像头会沿路扫描固定在猪限位栏或猪圈挡板上的二维码标识;种猪行为识别模型读取第一摄像头采集的猪表型视频信息并识别出种猪行为(包括行为发生位置及行为类别),同时第二摄像头扫描到二维码后,进一步识别二维码中的种猪身份信息,如猪舍号、母猪限位栏号、仔猪圈栏号、父母身份编号等。
[0145] 步骤S6,形成监测行为记录
[0146] 将种猪行为及其身份信息进行关联,形成一条完整的带有身份信息的种猪行为记录,记录内容至少包括,猪舍号、母猪限位栏号或仔猪圈栏号、父母身份编号、行为识别结果图像及类别标签。
[0147] 步骤S7,信息传输与可视化
[0148] 利用simplejpeg和imagezmq技术将行为识别结果图像及带有身份信息的种猪行为记录压缩打包,并通过无线传输的方式(无线网可以是猪舍自有的WIFI网络,也可以是用网桥自建的局域网)发送到监测系统客户端子模块进行实时可视化反馈;
[0149] 步骤S8,监测任务完成与重启
[0150] 当监测系统完成一轮巡查监测任务后,自动返回到初始起点充电,并开始进入倒计时,当倒计时结束后开始下一轮巡查监测。
[0151] 图2是本发明提供一种监测系统硬件装置模块的结构示意图,主要包括:四轮式移动底盘101、可伸缩式支架102、第一摄像头103、第二摄像头104。
[0152] 四轮式移动底盘101采用前轮驱动轮、后轮万向轮的设计,相对于履带式、悬挂式、磁条式等模式,具有轻量化和灵活转向的特性,且不需要额外加装辅助轨道。
[0153] 四轮式移动底盘101配置定位装置,由激光雷达、RGB‑D摄像头组成,能够实现获取四轮式移动底盘101在舍内的位置信息和路况信息,可以通过这些信息实现猪舍道路的三维建图。
[0154] 可伸缩式支架102安装在四轮式移动底盘101上方居中处,主要用于支撑第一摄像头103和第二摄像头104。可伸缩式支架102可通过竖向升降来调整摄像头的监测高度。可伸缩式支架102可随着四轮式移动底盘101移动。
[0155] 第一摄像头103设置在可伸缩式支架102顶部,第二摄像头104设置在可伸缩式支架102底部。其中第一摄像头103是带防抖云台的无人机摄像头,通过摄像头云台调整摄像头观测角度,使采集画面达到最佳采集效果;第二摄像头是带防抖云台的无人机摄像头,通过摄像头云台调整摄像头观测角度,使采集画面达到最佳采集效果。
[0156] 需要说明的是,防抖云台可以较大程度减轻摄像头在四轮式移动底盘101自动移动时颠簸晃动产生的图像虚影问题。第一摄像头103和第二摄像头104与系统控制与数据处理模块电性连接,以将第一摄像头103和第二摄像头104采集的数据传至系统控制与数据处理模块,进而识别种猪行为和身份信息。
[0157] 本发明提供一种监测系统硬件装置模块,还包括仓内硬件模块,部署在四轮式移动底盘101中。
[0158] 图3是本发明提供一种监测系统硬件装置模块的仓内硬件模块组成示意图,包括传感器模块、控制模块、驱动模块、电源模块。其中,传感器模块主要由IMU、激光雷达(Lidar)和RGB‑D摄像头组成,用于监测系统硬件装置模块运动及姿态数据、路况信息的获取;控制模块主要由STM32、Jetson Nano、Jetson AGX组成,用于电气控制、数据处理和图形计算;驱动模块主要由电机驱动器、带编码的电机组成,用于监测系统硬件装置模块移动控制;电源模块主要配置锂电池,为各模块供电。
[0159] 图4是系统控制与数据处理模块的组成图示意图,包括导航控制子模块、种猪行为识别模型、身份信息识别子模块、信息收发子模块、监测系统客户端子模块。其中,[0160] 导航控制子模块用于指导监测系统硬件装置模块完成猪舍巡查时的自动规划与移动。导航控制子模块还包括电子地图,电子地图可通过上述方法建图生成,通过预先将猪舍建图生成的电子地图进行储存,可以根据猪舍建图生成的电子地图指导监测系统硬件装置模块在猪舍内行走,并且具有全局区域巡航、局部区域巡航等多种巡航模式;
[0161] 种猪行为识别模型用于完成分娩舍母猪行为(如,站、坐、卧、哺乳、采食等)及仔猪攻击行为(如,咬耳、咬尾、攀爬、拱腹等)的实时识别,并反馈识别结果;
[0162] 身份信息识别子模块用于读取采集到的二维码图像,识别其中的种猪身份信息(如,猪舍号、限位栏号或圈栏号、父母身份编号等),并反馈识别结果。
[0163] 信息收发子模块用于发送行为识别结果和身份识别结果给监测系统客户端子模块,同时接受监测系统客户端子模块发送的命令;
[0164] 监测系统客户端子模块,用于接收信息收发子模块发送的识别结果和身份信息,经数据解码后进行可视化呈现和本地自动存储,便于管理者查看与追溯,并且也可以发送控制命令给信息收发子模块。客户端子模块软件界面示意图如图5所示,包括行为识别窗口、身份码扫描窗口、行为快照窗口和记录列表窗口。
[0165] 系统控制与数据处理模块中,种猪行为识别模型建立的步骤为:
[0166] Step1、数据集制作;
[0167] Step2、数据集标准化并标注,数据集按照UCF101‑24数据集规范制作,将数据集中每段视频逐帧抽帧,将来自同一视频的图像帧存入同一文件夹,1)对于分娩舍母猪行为,利用标签制作软件对每一帧图像中的母猪行为进行框选标注,标注时需要框选整只猪,并给出所属行为类别,行为类别包含但不限于以下几项:站、坐、卧、哺乳、吃食,2)对于保育舍仔猪行为,利用标签制作软件对每一帧图像中的攻击行为进行框选标注,由于攻击行为是两只猪之间的交互行为,因此标注时标注框中需包含实施攻击的仔猪和承受攻击的仔猪,并给出所属攻击行为的类别,行为类别包含但不限于以下几项:咬耳、咬尾、攀爬、拱腹;
[0168] Step3、数据集划分,将标注好的数据随机分配至训练集,测试集和验证集中;
[0169] Step4、模型训练,获取种猪行为识别模型;
[0170] Step5、模型部署,将种猪行为识别模型部署至Jetson AGX。
[0171] 具体的,种猪行为识别模型训练的具体步骤包括:
[0172] S4‑1、设置网络训练超参数,如Epoch、Batchsize、初始学习率等;
[0173] S5‑2、将制作好的数据集投入设置好的网络训练超参数的YOWOv2网络进行模型的训练;
[0174] S5‑3、训练完成后根据Precision和Recall的综合评价,选取识别效果最优的权重模型作为最终的种猪行为识别模型。
[0175] 更优的,种猪行为识别模型训练的具体步骤还包括:
[0176] S5‑4、种猪行为识别模型模型的优化,具体包括:
[0177] 优选的,S1‑4模型轻量化的具体过程为:
[0178] A、在YOWOv2的2D骨干网络中,将原网络中的ELAN模块替换为来自YOLOv9中的GELAN模块,并且在GELAN模块中使用RepConv,使得网络在提升特征表征学习能力的同时,不增加模型计算量。
[0179] B、在YOWOv2的3D骨干网络中,将FasterNet改进为3DFasterNet,并替换YOWOv2原始3D骨干网络3DShuffleNetsv2。将FasterNet改进为3DFasterNet的方法是将2D卷积转化为3D卷积,将2D池化转化为3D池化,具体来说,在pytorch框架下,将Partial_conv中的nn.Conv2d替换为nn.Conv3d,同时将nn.AdaptiveAvgPool2d替换为nn.AdaptiveAvgPool3d。改进后的网络通过减少冗余计算和内存访问,可以更有效地提取空间特征,有助于在边缘计算终端上获得更高的运行速度,而不影响视觉任务的准确性。
[0180] 优化后的改进YOWOv2网络结构示意图如图6所示。
[0181] 系统控制与数据处理模块中,身份信息识别子模块可以使用opencv结合pyzbar技术完成二维码的扫描和信息识别。实施流程如下,
[0182] 第一步,安装所需的库,如opencv、pyzbar;
[0183] 第二步,导入必要的库,如opencv、pyzbar;
[0184] 第三步,控制程序打开摄像头;
[0185] 第四步,控制程序读取和处理每一帧图像;
[0186] 第五步,检测和解析图像帧中的二维码;
[0187] 第六步,对二维码进行解码,并以“utf‑8”格式输出。
[0188] 以下为与上述方法实施例对应的系统实施例,本实施方式可与上述实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效,为了减少重复,这里不再赘述。相应地,本实施方式中提到的相关技术细节也可应用在上述实施方式中。
[0189] 如图8所示,本发明还提出一种种猪行为智能巡查监测装置,其中包括:
[0190] 标识构建模块,根据待监测的种猪身份,为种猪生成身份标识;
[0191] 标识部署模块,将该身份标识部署于猪舍内该种猪所处圈栏的指定位置;
[0192] 舍内建图模块,采集该猪舍内工作道的电子地图;
[0193] 自动巡查模块,在该电子地图中设置监测系统硬件装置在自动巡查时的目的地坐标点,将该监测系统硬件装置根据自身所处位置和该电子地图,启动自动导航,开始监测系统的自动巡查,该监测系统硬件装置根据该目的地坐标点,在猪舍内工作道上进行自动路径规划及移动巡查;
[0194] 其中,自动巡查模块中该移动巡查包括:
[0195] 该监测系统硬件装置在移动巡查过程中,摄像头开启并采集沿路圈栏中该种猪的表型视频,并扫描识别该身份标识,得到种猪身份信息;种猪行为识别模型读取该猪表型视频并识别包括行为发生位置及行为类别的种猪行为信息;将该种猪行为信息及其该种猪身份信息进行关联作为猪行为巡查监测结果。
[0196] 所述种猪行为智能巡查监测装置,其中该监测系统硬件装置包括:
[0197] 轮式移动底盘、可伸缩式支架、至少一个摄像头;
[0198] 该四轮式移动底盘采用前置驱动轮、后置万向轮的设计;
[0199] 该可伸缩式支架安装在四轮式移动底盘上方居中处,根据猪舍圈栏的高度进行竖向升降自由调整;
[0200] 该摄像头安装于伸缩式支架;该摄像头与该监测系统硬件装置的数据处理模块电性连接,以将摄像头采集的该表型视频和该身份标识传至该数据处理模块进行处理,识别种猪的该种猪行为信息和该种猪身份信息。
[0201] 所述种猪行为智能巡查监测装置,其中该种猪行为信息包括:哺乳行为、采食行为、仔猪攻击行为;
[0202] 该种猪行为智能巡查监测装置还包括:育种模块,根据该巡查监测结果,选择各品种中符合育种要求的多个种猪,将一个品种的多个种猪,与另一个品种的多个种猪进行杂交,以选育携带优秀基因的品种;
[0203] 该种猪行为识别模型的构建过程包括:
[0204] 将YOWOv2的2D骨干网络中的ELAN模块替换为来自YOLOv9中的GELAN模块,并且在GELAN模块中使用卷积RepConv,得到中间模型,使得网络在提升特征表征学习能力的同时,不增加模型计算量;
[0205] 将该中间模型的3D骨干网络中FasterNet的2D卷积转化为3D卷积,将2D池化转化为3D池化,得到该种猪行为识别模型。
[0206] 如图9所示,本发明于另一实施方案还提出了一种第一电子设备A,包括所述的一种种猪行为智能巡查监测装置。
[0207] 如图10所示,第一电子设备A还可通过有线或无线信息传输方案与数据采集设备C和信息显示设备D相连,数据采集设备C用于采集视频,例如本发明实施例所述的表型视频,信息显示设备D用于将本发明分析得到的猪行为巡查监测结果进行显示。
[0208] 其中信息显示设备D可基于信息展示机制对第一电子设备A输出的数据进行整理加工,以提高第一电子设备A输出数据的可阅读性。该信息展示机制可以为人工预设,例如将第一电子设备A输出的数据进行可视化展示,其可根据用户设置的显示参数和/或属性,显示参数可例如是显示数据范围,显示属性可例如是显示字体、颜色、是否滚动播放等。向用户呈现出其指定的重点信息,例如,哺乳行为、采食行为、仔猪攻击行为等,用户能够更及时地了解这些信息,而不必访问二级页面或滚动页面,节省了用户的操作。或该信息展示机制可以为人工智能AI展示模型,其可根据用户先前使用习惯,例如观看时长、点击次数、编辑次数等,学到用户的重点关注信息,进而自动用户呈现出丰富的、必要的重点信息。
[0209] 本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的种猪行为智能巡查监测方法。
[0210] 本发明于另一实施方案还提出了一种存储介质Ⅷ,用于存储一种执行所述种猪行为智能巡查监测方法的计算机程序。应理解,本发明实施例中的该存储介质可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read‑only memory,ROM)、可编程只读存储器(programmable ROM,PROM)、可擦除可编程只读存储器(erasable PROM,EPROM)、电可擦除可编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的随机存取存储器(random accessmemory,RAM)可用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data rate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DR RAM)。
[0211] 图11示出了可以用来实施本发明的实施例的第二电子设备1000的示意性框图。第二电子设备1000电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。第二电子设备1000还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。第二电子设备1000可与第一电子设备A相同或相异。
[0212] 第二电子设备1000包括计算单元 Ⅰ,其可以根据存储在只读存储器Ⅱ(ROM)中的计算机程序或者从存储介质Ⅷ加载到随机访问存储器(RAM)Ⅲ中的计算机程序,来执行各种适当的动作和处理。在RAM Ⅲ中,还可存储第二电子设备1000操作所需的各种程序和数据。计算单元 Ⅰ、ROM Ⅱ以及RAM Ⅲ通过总线Ⅳ彼此相连。输入/输出(I/O)接口Ⅴ也连接至总线Ⅳ。
[0213] 第二电子设备1000中的多个部件连接至I/O接口Ⅴ,包括:输入单元Ⅵ,例如键盘、鼠标等;输出单元Ⅶ,例如各种类型的显示器、扬声器等;存储介质Ⅷ,例如磁盘、光盘等;以及通信单元Ⅸ,例如网卡、调制解调器、无线通信收发机等。通信单元Ⅸ允许第二电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0214] 计算单元Ⅰ可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元Ⅰ的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元 Ⅰ执行上文所描述的各个方法和处理,例如方法步骤S1‑S4。例如,在一些实施例中,方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储介质Ⅷ。在一些实施例中,计算机程序的部分或者全部可以经由ROM Ⅱ和/或通信单元Ⅸ而被载入和/或安装到第二电子设备1000上。当计算机程序加载到RAM Ⅲ并由计算单元Ⅰ执行时,可以执行上文描述的方法的一个或多个步骤。备选地,在其他实施例中,计算单元Ⅰ可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行方法。
[0215] 尽管本发明的实施方案已公开如上,但其并不仅仅限于说明书和实施方式中所列运用,它完全可以被适用于各种适合本发明的领域,对于熟悉本领域的人员而言,可容易地实现另外的修改,因此在不背离权利要求及等同范围所限定的一般概念下,本发明并不限于特定的细节和这里示出与描述的图例。