[0001] 本发明涉及图像处理技术领域，具体涉及一种基于固定点位单目相机的大宗货物体积测量方法。

[0002] 大宗商品仓储监管和体积测量是供应链场景中的重要技术。

[0003] 仓储常规智能视频监管仅限于对人员、车辆等异常目标进行自动检测，近年来，基于图像实例分割技术对货物轮廓识别逐渐投入行业应用，但对货物轮廓的测量并不能准确度量货物总量的大小，基于常规监控对大宗散货体积进行测量的技术实现较少。现有技术通常使用无人机拍多张图像，通过无人机定位轨迹数据点与三维重建位姿估计轨迹点的配准关联计算获得货物点云数据，其原理与双目相机相似，需特殊设备的支持，且运维和操作的成本较高，难以实现全天候的货物监测。此外，现有公开的专利中对于图像和点云中货物区域的提取环节通常靠人为划定兴趣区域，或进行手动处理去掉环境干扰物，处理环节复杂，增加了工作量，人工成本较高。

[0004] 基于此，本申请提出一种基于传统监控摄像头对大宗货物进行全天候体积监测的方法，具有自动化程度高、设备成本低、运维简单、易推广、效率高等特点。

[0019] 应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0020] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0021] 实施例1

[0022] 如图1和图2所示：本发明提供了一种基于固定点位单目相机的大宗货物体积测量方法，包括以下步骤：
S1、准备双目相机，拍摄待监测目标品类货物的真实仓库现场环境和货物存储形态图像，即原始待检测图像，用于制作样本数据集；
具体地，所述样本数据集包含相机拍摄图像和深度信息；
进一步地，所述样本数据集尽可能覆盖货物所有可能出现的样子，及所处环境的各种情况，从而保证训练后的模型的识别效果。

[0023] S2、根据步骤S1生成的样本数据集，通过人工方式标注图像中货物轮廓信息，整理制作图像实例分割样本数据集，按照一定比例划分训练集、测试集、验证集；S3、选择实例分割模型，结合步骤S2中的图像实例分割样本数据集，设置模型相关参数，进行充分训练后得到多个备选模型；
S4、根据F1值和mAP指标，对步骤S3获得的多个备选模型进行筛选，将获得的最优的备选模型作为轮廓计算模型；
其中，F1= 。

[0024] 在本实施例中，选择mAP最大的模型作为轮廓计算模型。

[0025] S5、将原始待检测图像输入步骤 S4得到的轮廓计算模型中进行计算，识别图像中的目标货物并得到二维图像中的货物轮廓polygon数据，其中坐标点以百分比形式存储；S6、将步骤S1中的样本数据集和NYU‑V2‑Depth数据集合并形成新的样本数据集，并按照8:1:1的比例划分训练集、验证集、测试集；
其中，所述NYU‑V2‑Depth数据集为由微软Kinect的RGB和Depth摄像机记录的各种室内场景的视频序列组成的数据集，该数据集包含了1449张标注的RGB和深度图像，以及
407024张没有标注的图片，每个目标都有一个类别和一个标号，该数据集还包括了经过预处理的深度图和一组用于操作数据和标签的有用函数，从而用于进行深度学习和室内场景分割等任务。

[0026] S7、使用GLP Depth模型的神经网络结构和步骤S6获得的新的样本数据集，配置相关参数，进行充分训练后得到多个备选模型；具体地，所述相关参数包括但不限于最大深度、学习率和迭代次数。

[0027] S8、综合对比准确率（Accuracy）、召回率（Recall）和F1值（F1‑score）指标，对步骤S7中的多个备选数据集进行选择，将最优模型作为深度计算模型；在本实施例中，将F1‑score值最高的的备选模型作为深度计算模型。

[0028] S9、将原始待检测图像输入步骤S8获得的深度计算模型进行计算，得到深度信息图；S10、将步骤S9获得的深度信息图和原始待检测图像融合，得到RGBD深度图像；
S11、根据步骤S10获得的RGBD深度图像的图像尺寸、相机焦距、光心等内参数，计算得到图像对应的3D点云数据；
S12、将步骤S11得到的3D点云数据按照原始待检测图像的视角投影至二维平面，使用步骤S5得到的货物轮廓数据提取范围内的点云数据，得到货物点云数据；
S13、基于步骤S12得到的货物点云数据重建3D模型；
S14、基于步骤S13建立的3D模型，按照尺寸S进行体素化均匀下采样，将得到的数据投影至水平面，遍历水平面内所有数据点 ，计算 所在3D体素网格垂直方向上所有点的y值的最大值 和最小值 ；
其中，S为体素化的参数，表示单位距离；i=1,2,3…N，N代表水平面上点的个数；j=
1,2,3…M，M代表水平面上第i个点所在3D体素网格垂直方向上点的个数；y为点 的纵坐标， 代表点 的纵坐标值；
在本实施例中，尺寸S为2‑5cm。

[0029] S15、计算 所在体素网格的体积 ，累加得到逼近整个3D模型的体积V，即：。

[0030] 以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。