技术领域
[0001] 本发明涉及生产监测技术领域，尤其涉及一种集装箱流水线的计数方法、系统、存储介质及计算机设备。
相关背景技术
[0002] 随着集装箱生产技术的日益成熟化以及高效化，对集装箱生产线的自动化程度要求越来越高。
[0003] 虽然集装箱的生产线上已逐步趋于自动化，但在实际生产中，集装箱的计数方式仍然采用人工的方式，例如通过人工观看视频回放来计算流经生产线的集装箱数量，其效率不仅低下且人力成本较高，已然不适应当下自动化生产的需求。
[0004] 综上可知，现有的方法在实际使用上，存在着较多的问题，所以有必要加以改进。
具体实施方式
[0043] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0044] 需要说明的，本说明书中针对“一个实施例”、“实施例”、“示例实施例”等的引用，指的是描述的该实施例可包括特定的特征、结构或特性，但是不是每个实施例必须包含这些特定特征、结构或特性。此外，这样的表述并非指的是同一个实施例。进一步，在结合实施例描述特定的特征、结构或特性时，不管有没有明确的描述，已经表明将这样的特征、结构或特性结合到其它实施例中是在本领域技术人员的知识范围内的。
[0045] 此外，在说明书及后续的权利要求当中使用了某些词汇来指称特定组件或部件，所属领域中具有通常知识者应可理解，制造商可以用不同的名词或术语来称呼同一个组件或部件。本说明书及后续的权利要求并不以名称的差异来作为区分组件或部件的方式，而是以组件或部件在功能上的差异来作为区分的准则。在通篇说明书及后续的权利要求书中所提及的“包括”和“包含”为一开放式的用语，故应解释成“包含但不限定于”。以外，“连接”一词在此系包含任何直接及间接的电性连接手段。间接的电性连接手段包括通过其它装置进行连接。
[0046] 图1示出本发明一实施例提供的集装箱流水线的计数方法，所述计数方法应用于生产集装箱任一环节的流水线上，包括步骤如下：
[0047] S101：获取所述集装箱流水线的监控视频流的帧图像。具体实施时，在生产集装箱的流水线上安装着至少一监控摄像头，所述监控摄像头拍摄着所述集装箱流水线的生产视频；即本实施例的监控视频流为所述生产视频，进而从所述生产视频中提取出帧图像。
[0048] 可选的，步骤S101具体包括：
[0049] 获取所述集装箱流水线的所述监控视频流，并根据预设的视频抽帧率从所述监控视频流中实时提取所述帧图像。本实施例的视频抽帧率可根据实际需求设置，如所述视频抽帧率设为每秒一帧，则在监控摄像头拍摄的监控视频流中以每秒一帧的频率逐帧抽取出所述帧图像。
[0050] S102：对所述帧图像中的集装箱目标进行目标检测，得到目标框集。本实施例的目标框集为一张所述帧图像上存在集装箱目标的检测信息，例如在拍摄的集装箱生产线上同时存在两个集装箱目标时，则基于目标检测技术获得分别对应各个集装箱目标的检测信息(本实施例以目标框来表征对该集装箱目标的检测信息)，此时所述目标框集中就包含着两个目标框(如目标框A和目标框B)；实际应用中，集装箱生产的流水线上一般仅存在一个集装箱目标，因此在实际实施中，所述目标框集中一般仅具有一个集装箱目标的检测信息(即一个目标框)；其中，所述目标框是基于目标检测算法在帧图像上将集装箱目标框选出来的标识框。此外，所述目标框集中同时存储着对应目标框的参数信息，如位置坐标等。
[0051] 一实施方式中，步骤S102具体包括：将所述帧图像输入至预训练好的目标检测模型，获得所述目标检测模型输出的目标框集。本实施例将从监控视频流中抽取出的帧图像输入到目标检测模型中，通过目标检测模型检测识别出集装箱目标，进而输出相应的检测结果；若能够从帧图像中检测到集装箱目标，则输出的检测结果中包含着该帧图像上全部集装箱目标对应的目标框，即所述目标框集聚集着所述帧图像上全部目标框。若未能从帧图像上检测到任何集装箱目标，则所述目标检测模型不能输出相应的检测结果，即不能获得目标框集。
[0052] 可选的，本实施例的目标检测模型基于YOLO‑V5(You Only Look Once‑v5，一种开源的目标检测算法)目标检测算法构建而成。所述目标检测模型通过若干个训练样本训练而成，所述训练样本为集装箱图片。
[0053] 可选的，步骤S102还包括：标识所述目标框集中与各个所述集装箱目标一一对应的目标框。当帧图像上存在两个及以上的集装箱目标时，通过目标检测模型输出多个对应的目标框后，分别对所述目标框进行区分标识；具体实施时，为每一目标框赋予特定的标识信息，例如分别为每一集装箱目标的目标框赋予唯一的ID码进行区分。
[0054] S103：基于跟踪算法对所述目标框集进行目标跟踪，获得各个所述集装箱目标对应的跟踪信息。所述跟踪信息即为集装箱目标在监控视频流中的移动信息，具体为集装箱目标在集装箱流水线上的移动轨迹和定位等信息。具体的，在摄像头持续监控的过程中，将从目标检测模型中检测并输出的目标框集输入到预设的跟踪算法中，以获得监控视频流中集装箱目标对应的跟踪信息。
[0055] 参见图2，一可选的实施方式中，所述跟踪算法为多目标跟踪算法，例如采用DEEP‑SORT(目标跟踪初探)算法；步骤S103具体包括：
[0056] S1031：通过卡尔曼滤波算法对所述目标框集进行预测，得到预测轨迹集。卡尔曼滤波算法是将预测值和测量值进行结合，对系统状态进行最优估计的算法；本实施例采用将目标框集作为卡尔曼滤波算法的测量值进行预测，以预测评估该目标框集的预测轨迹集，所述预测轨迹集即为目标框集中各个目标框移动轨迹的预测结果。
[0057] S1032：计算所述预测轨迹集与所述目标框集的代价矩阵，并基于匈牙利算法将所述预测轨迹集和当前帧图像上的所述目标框集进行交并比匹配。其中，代价矩阵用预测和检测的目标框之间的交并比，匈牙利算法是一种在多项式时间内求解任务分配问题的组合优化算法，并推动了后来的原始对偶方法。即本实施例通过计算目标框集与预测轨迹集之间的代价矩阵，进而利用所计算的代价矩阵确定的交并比进行匹配，通过预测轨迹集与当前帧图像上的目标框集之间的交并比匹配，以实现对干扰因素的过滤作用。
[0058] S1033：通过卡尔曼滤波更新对所述预测轨迹集进行校正，并基于校正后的所述预测轨迹集生成对应所述集装箱目标的所述跟踪信息。结合上述匈牙利算法对代价矩阵确定的交并比匹配，通过卡尔曼滤波更新对交并比匹配一致的预测轨迹集进一步进行校正，从而获得更为精准的跟踪信息。
[0059] 本实施例采用DEEP‑SORT算法在进行目标跟踪时仅仅使用了目标框的位置和大小进行目标的运动估计和数据关联，没有使用任何被跟踪目标的外观特征或者任何的重识别的算法；因此，当目标跟丢时，就找不回来，只能通过检测去重新更新目标框ID；为了解决动作预测和数据关联，本实施例进一步结合了卡尔曼滤波和匈牙利算法以达到对跟踪目标精准跟踪的效果。
[0060] S104：根据所述跟踪信息确定所述集装箱目标进入或消失于预设区域时，增加所述集装箱流水线上集装箱数量的计数值。其中，所述预设区域可在后台根据需要进行设置；在根据上述分析的跟踪信息确定对应的任一集装箱目标进入或消失于预设区域时，所述集装箱流水线上集装箱数量的计数值相应的增加；即通过所述跟踪信息确定每一个集装箱目标进入或消失于预设区域时，所述计数值即加一；因此，本发明能够基于视频监控与目标检测和目标跟踪技术以达到自动化计数的效果，提升了集装箱生产流水线中的计数效率。
[0061] 参见图3，一种可选的实施方式中，步骤S104具体包括：
[0062] S1041：根据所述集装箱目标对应的所述跟踪信息，确定所述集装箱目标是否处于所述集装箱流水线上。即通过所述跟踪信息以检测确定对应的集装箱目标是否仍处于监控视频流中；具体实施时，根据集装箱目标在上述的跟踪算法中是否输出对应的跟踪结果，若所述跟踪算法未能再输出集装箱目标对应的跟踪结果，则确定该集装箱目标此时未处于集装箱流水线上。
[0063] S1042：若所述集装箱目标消失于所述集装箱流水线上，则增加所述集装箱数量的所述计数值。即每一个集装箱目标经所述跟踪算法无法输出对应的跟踪结果，则所述计数值加一。
[0064] 参见图4，另一可选的实施方式中，步骤S104具体包括：
[0065] S1141：根据跟踪信息确定集装箱目标当前在所述集装箱流水线上的定位坐标。该定位坐标为帧图像上的位置坐标，本实施例基于跟踪信息确定当前帧图像上的集装箱目标所处于帧图像上的坐标位置。
[0066] S1142：若根据所述定位坐标确定所述集装箱目标处于预设的计数区域，则增加所述集装箱数量的所述计数值。所述计数区域为预先设置的区域，当任一集装箱目标进入到该计数区域即对集装箱流水线的计数值加一；因此在确定所述定位坐标处于该计数区域时，对所述计数值加一；同时已计数的集装箱目标可不再进行监测。
[0067] 图5示出本发明一实施例提供的集装箱流水线的计数系统100，其包括有获取单元10、目标检测单元20、目标跟踪单元30以及计数单元40，其中：
[0068] 获取单元10用于获取所述集装箱流水线的监控视频流的帧图像；目标检测单元20用于对所述帧图像中的集装箱目标进行目标检测，得到目标框集；目标跟踪单元30用于基于跟踪算法对所述目标框集进行目标跟踪，获得各个所述集装箱目标对应的跟踪信息；计数单元40用于根据所述跟踪信息确定所述集装箱目标进入或消失于预设区域时，增加所述集装箱流水线上集装箱数量的计数值。
[0069] 可选的，所述跟踪算法为多目标跟踪算法；
[0070] 参见图6，一可选的实施方式中，目标跟踪单元30具体包括预测子单元31、匹配子单元32以及校正子单元33，其中：
[0071] 预测子单元31用于通过卡尔曼滤波算法对所述目标框集进行预测，得到预测轨迹集；匹配子单元32用于计算所述预测轨迹集与所述目标框集的代价矩阵，并基于匈牙利算法将所述预测轨迹集和当前帧图像上的所述目标框集进行交并比匹配；校正子单元33用于通过卡尔曼滤波更新对所述预测轨迹集进行校正，并基于校正后的所述预测轨迹集生成对应所述集装箱目标的所述跟踪信息。
[0072] 参见图7，一可选的实施方式中，所述计数单元40具体包括跟踪确定子单元41和第一计数子单元42，其中：
[0073] 跟踪确定子单元41用于根据所述集装箱目标对应的所述跟踪信息，确定所述集装箱目标是否处于所述集装箱流水线上；第一计数子单元42用于若所述集装箱目标消失于所述集装箱流水线上，则增加所述集装箱数量的所述计数值。
[0074] 参见图8，另一可选的实施方式中，计数单元40具体包括坐标确定子单元401和第二计数子单元402，其中：
[0075] 坐标确定子单元401用于根据所述跟踪信息确定所述集装箱目标当前在所述集装箱流水线上的定位坐标；第二计数子单元402用于若根据所述定位坐标确定所述集装箱目标处于预设的计数区域，则增加所述集装箱数量的所述计数值。
[0076] 一实施例中，目标检测单元20具体用于：将所述帧图像输入至预训练好的目标检测模型，获得所述目标检测模型输出的所述目标框集。可选的，所述目标检测模型基于YOLO‑V5目标检测算法构建而成。
[0077] 可选的，所述目标检测单元20还用于：标识所述目标框集中与各个集装箱目标一一对应的目标框。
[0078] 一实施例中，所述获取单元具体用于：
[0079] 获取所述集装箱流水线的所述监控视频流，并根据预设的视频抽帧率从所述监控视频流中实时提取所述帧图像。
[0080] 本发明还提供一种存储介质，用于存储如图1～图4所述集装箱流水线的计数方法的计算机程序。例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本申请的方法和/或技术方案。而调用本申请的方法的程序指令，可能被存储在固定的或可移动的存储介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输和/或被存储在根据程序指令运行的计算机设备的存储介质中。在此，根据本申请的一个实施例包括如图5所示集装箱流水线的计数系统的计算机设备，所述计算机设备优选包括用于存储计算机程序的存储介质和用于执行计算机程序的处理器，其中，当该计算机程序被该处理器执行时，触发该计算机设备执行基于前述多个实施例中的方法和/或技术方案。
[0081] 需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
[0082] 根据本发明的方法可以作为计算机实现方法在计算机上实现、或者在专用硬件中实现、或以两者的组合的方式实现。用于根据本发明的方法的可执行代码或其部分可以存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光学存储设备、集成电路、服务器、在线软件等。优选地，计算机程序产品包括存储在计算机可读介质上以便当所述程序产品在计算机上执行时执行根据本发明的方法的非临时程序代码部件。
[0083] 在优选实施例中，计算机程序包括适合于当计算机程序在计算机上运行时执行根据本发明的方法的所有步骤的计算机程序代码部件。优选地，在计算机可读介质上体现计算机程序。
[0084] 综上所述，本发明所述的集装箱流水线的计数方法及其系统，通过捕获对集装箱流水线进行监测的摄像头拍摄的视频流的帧图像，进而对帧图像执行目标检测，以获得至少一集装箱目标对应的目标框集；再基于跟踪算法对目标框集中的目标框进行目标跟踪，从而获得各个集装箱目标对应的跟踪信息；根据所述跟踪信息确定集装箱目标进入或消失于预设区域时，增加所述集装箱流水线上集装箱数量的计数值。据此，本发明保证了集装箱流水线上集装箱出现时准确的对其进行移动跟踪，从而确保对集装箱流水线上生产的集装箱数量准确的统计，实现了计数的自动化，缩减了人工成本。
[0085] 当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。
[0086] 本发明还提供了A1、一种集装箱流水线的计数方法，包括步骤：
[0087] 获取所述集装箱流水线的监控视频流的帧图像；
[0088] 对所述帧图像中的集装箱目标进行目标检测，得到目标框集；
[0089] 基于跟踪算法对所述目标框集进行目标跟踪，获得各个所述集装箱目标对应的跟踪信息；
[0090] 根据所述跟踪信息确定所述集装箱目标进入或消失于预设区域时，增加所述集装箱流水线上集装箱数量的计数值。
[0091] A2、根据A1所述的集装箱流水线的计数方法，所述跟踪算法为多目标跟踪算法；
[0092] 所述基于跟踪算法对所述目标框集进行目标跟踪，获得各个所述集装箱目标对应的跟踪信息的步骤具体包括：
[0093] 通过卡尔曼滤波算法对所述目标框集进行预测，得到预测轨迹集；
[0094] 计算所述预测轨迹集与所述目标框集的代价矩阵，并基于匈牙利算法将所述预测轨迹集和当前帧图像上的所述目标框集进行交并比匹配；
[0095] 通过卡尔曼滤波更新对所述预测轨迹集进行校正，并基于校正后的所述预测轨迹集生成对应所述集装箱目标的所述跟踪信息。
[0096] A3、根据A1所述的集装箱流水线的计数方法，所述根据所述跟踪信息确定所述集装箱目标进入或消失于预设区域时，增加所述集装箱流水线的计数值的步骤具体包括：
[0097] 根据所述集装箱目标对应的所述跟踪信息，确定所述集装箱目标是否处于所述集装箱流水线上；
[0098] 若所述集装箱目标消失于所述集装箱流水线上，则增加所述集装箱数量的所述计数值。
[0099] A4、根据A1所述的集装箱流水线的计数方法，所述根据所述跟踪信息确定所述集装箱目标进入或消失于预设区域时，增加所述集装箱流水线的计数值的步骤具体包括：
[0100] 根据所述跟踪信息确定所述集装箱目标当前在所述集装箱流水线上的定位坐标；
[0101] 若根据所述定位坐标确定所述集装箱目标处于预设的计数区域，则增加所述集装箱数量的所述计数值。
[0102] A5、根据A1所述的集装箱流水线的计数方法，所述对所述帧图像中的集装箱目标进行目标检测，得到目标框集的步骤具体包括：
[0103] 将所述帧图像输入至预训练好的目标检测模型，获得所述目标检测模型输出的所述目标框集。
[0104] A6、根据A5所述的集装箱流水线的计数方法，所述目标检测模型基于YOLO‑V5目标检测算法构建而成。
[0105] A7、根据A5所述的集装箱流水线的计数方法，所述对所述帧图像中的集装箱目标进行目标检测，得到目标框集的步骤还包括：
[0106] 标识所述目标框集中与各个所述集装箱目标一一对应的目标框。
[0107] A8、根据A1所述的集装箱流水线的计数方法，所述获取所述集装箱流水线的监控视频流的帧图像的步骤具体包括：
[0108] 获取所述集装箱流水线的所述监控视频流，并根据预设的视频抽帧率从所述监控视频流中实时提取所述帧图像。
[0109] 还提供了B9、一种集装箱流水线的计数系统，包括有：
[0110] 获取单元，用于获取所述集装箱流水线的监控视频流的帧图像；
[0111] 目标检测单元，用于对所述帧图像中的集装箱目标进行目标检测，得到目标框集；
[0112] 目标跟踪单元，用于基于跟踪算法对所述目标框集进行目标跟踪，获得各个所述集装箱目标对应的跟踪信息；
[0113] 计数单元，用于根据所述跟踪信息确定所述集装箱目标进入或消失于预设区域时，增加所述集装箱流水线上集装箱数量的计数值。
[0114] B10、根据B9所述的集装箱流水线的计数系统，所述跟踪算法为多目标跟踪算法；
[0115] 所述目标跟踪单元具体包括：
[0116] 预测子单元，用于通过卡尔曼滤波算法对所述目标框集进行预测，得到预测轨迹集；
[0117] 匹配子单元，用于计算所述预测轨迹集与所述目标框集的代价矩阵，并基于匈牙利算法将所述预测轨迹集和当前帧图像上的所述目标框集进行交并比匹配；
[0118] 校正子单元，用于通过卡尔曼滤波更新对所述预测轨迹集进行校正，并基于校正后的所述预测轨迹集生成对应所述集装箱目标的所述跟踪信息。
[0119] B11、根据B9所述的集装箱流水线的计数系统，所述计数单元具体包括：
[0120] 跟踪确定子单元，用于根据所述集装箱目标对应的所述跟踪信息，确定所述集装箱目标是否处于所述集装箱流水线上；
[0121] 第一计数子单元，用于若所述集装箱目标消失于所述集装箱流水线上，则增加所述集装箱数量的所述计数值。
[0122] B12、根据B9所述的集装箱流水线的计数系统，所述计数单元具体包括：
[0123] 坐标确定子单元，用于根据所述跟踪信息确定所述集装箱目标当前在所述集装箱流水线上的定位坐标；
[0124] 第二计数子单元，用于若根据所述定位坐标确定所述集装箱目标处于预设的计数区域，则增加所述集装箱数量的所述计数值。
[0125] B13、根据B9所述的集装箱流水线的计数系统，所述目标检测单元具体用于：
[0126] 将所述帧图像输入至预训练好的目标检测模型，获得所述目标检测模型输出的所述目标框集。
[0127] B14、根据B13所述的集装箱流水线的计数系统，所述目标检测模型基于YOLO‑V5目标检测算法构建而成。
[0128] B15、根据B13所述的集装箱流水线的计数系统，所述目标检测单元还用于：
[0129] 标识所述目标框集中与各个所述集装箱目标一一对应的目标框。
[0130] B16、根据B9所述的集装箱流水线的计数系统，所述获取单元具体用于：
[0131] 获取所述集装箱流水线的所述监控视频流，并根据预设的视频抽帧率从所述监控视频流中实时提取所述帧图像。
[0132] 还提供了C17、一种存储介质，用于存储一种用于执行A1～A8中任意一种所述集装箱流水线的计数方法的计算机程序。
[0133] 还提供了D18、一种计算机设备，包括存储介质、处理器以及存储在所述存储介质上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现A1～A8任一项所述集装箱流水线的计数方法。
