[0001] 本发明涉及商品的智能识别和结算，特别是涉及一种多件商品的智能识别和结算系统和方法。

[0002] 目前，随着人工智能、大数据等技术在传统零售行业的发展，在超市、便利店、面包店和食堂陆续看见一些智能计价系统。每个系统的侧重点不同，主要涉及到单标品计价、多标品联合计价和单非标品称重计价，本发明侧重于多标品联合计价方面。

[0003] 智能计价系统当前应用的技术一个场景，如智慧食堂，针对食堂打饭场景，商家预先将不同食品固定小盘碟上，顾客打餐时候拿取不同盘蝶放置同一个托盘上，系统将识别到不同物品，然后自助进行识别和结算。其中，该技术硬件部分由一个顶层放置的摄像头，固定结算平台组成。该系统软件部分包括后台训练和前端识别两部分。在后台训练阶段，系统需要预先获知食堂能存的物品类别，训练一个指定数目的物品分类模型，从而构建一个固定数目分类器；在前端识别阶段，采用物体检测技术获取不同小盘碟的包围盒，根据物品数量和盘碟价格自助结算。

[0004] 智能计价系统当前应用的技术的另一应用场景，如自助面包坊：针对面包店自助采购场景，顾客选取不同面包存放到同一托盘上，将物品平铺放置后，系统识别到不同物品，然后自助进行识别和结算；其中硬件部分由一个顶层放置的摄像头，固定结算平台，端上推理识别模块等组成。该系统软件部分包括后台训练和前端识别两部分。在后台训练阶段，固定面包店能存的物品类别，预先训练一个指定数目物品的分类模型，构建一个固定数目的分类器；在前端识别阶段，采用物体检测技术获取不同面包的包围盒，根据物品数量和盘碟价格进行自助结算。

[0005] 这些技术或专利在精确性性、自动化或者顾客舒适度上仍有提升空间。针对上述的两个应用场景，由于在一个摄像头可视范围内被遮挡物品无法可见，需要将食品平铺摆放，在一些特殊场景下如果顾客作弊，刻意进行物品叠加计价，这将引起商户的损失；因此该技术存在精确性不足，难以应对遮挡情况下的多标品识别。

[0006] 针对遮挡检测问题，中国专利1[CN201810686023]设计了一个端到端多摄像头下物体种类和数量判定方式，设置多个摄像头，构建一个端到端的深度神经网络，输入为多摄像头特征，输出为物品种类和数量，该方式没有获取包围盒位置，难以让人工进行分析校验；中国专利2[CN201810964593]采集获取购物车内物品的总3D体积，通过单品体积和总体积获取物品数量，虽然从多角度采集3D场景，用总体积和单品体积来判定物品数目，该方式难以适应多个不同体型单品遮挡，因为此类单品之间存在空隙和叠加压缩。另外，针对对非刚体例如面包物品，3D体积获取的精度不足。

[0007] 此外，针对新品(商品信息未录入到数据库的商品)的情况，现有系统需要商家进行录入，要求库内预存物品的类别是固定的，如果出现新品需要店员进行一系列入库操作，即采集该新品一定数量的图片来更新后台模型，这会带来极大的不便。一方面入库操作耗时耗力，如果新品频繁推出给商家带来额外工作；另一方面，如果某个新品被遗漏入库，当用户使用时候无法及时结账，引起用户不满。

[0008] 由此可见，上述现有的多件商品的智能识别和结算系统在方法与使用上，显然仍存在有不便与缺陷，而亟待加以进一步改进。

[0066] 为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的多件商品的智能识别和结算系统其具体实施方式，详细说明如后。

[0067] 实施例1

[0068] 在本实施例中，一种多件商品的智能识别结算方法，包括以下步骤：

[0069] S1：顾客将待结算商品放置到结算台，通过识别单元检测和识别商品的数量和品名；

[0070] S2：通过识别单元对每个商品进行处理，判断是否存在重叠的商品，对于存在重叠的商品，转到步骤S3；对于所有商品没有重叠的情况转到步骤S4；

[0071] S3：通过商品识别单元判断存在重叠的商品是否能够被识别，对于被遮挡住从而不能够识别的商品在显示屏上发出提示，提醒顾客将被遮挡住的商品移动到其他位置，返回步骤S1；对于没有被遮挡的但依然不能识别的商品在显示屏上发出提示，提醒顾客将该商品通过扫码器或其它录入设备录入该商品的信息；

[0072] S4：通过识别单元判断商品的类型和数量，并在显示屏上显示具体内容；

[0073] 进一步的，步骤S1中，所述识别单元对于结算台的商品，在结算台区域，结合图像检测算法识别，对于存在重叠的商品按照一个数量进行判断。

[0074] 进一步的，步骤S2中，所述识别单元对商品通过交并比识别，判断发生重叠的商品数量；所述前端预测对输入场景实时捕获，当结算台的重量传感器感知到重量变化即启动物品识别计价模块。首先，在多个检测模型引导下分别获取输入图像的通用物品包围盒；然后，根据标定结果，融合多套物品包围盒完成综合评定,获取一系列包围盒列表。下面以两个摄像头(上/下放置)为例进行检测实例描述，具体方式为依次梳理每一个上包围盒和下包围盒，进行判定获取物品列表。具体判定流程需要分情况进行：

[0075] 如果上包围盒和某个下包围盒的交并比大于阈值T1(例如0.95),并且上下包围盒的遮挡属性均为0，则认定两个包围盒为一个物体的上下面，从而添加一个物品，从上下包围盒列表中分别剔除两个包围盒；

[0076] 如果上包围盒和某个下包围盒的交并比大于阈值T1(例如0.95)，并且上下包围盒有一个遮挡属性为1，则认定两个包围盒为两个互相遮挡物体，从而添加两个物品，从上下包围盒列表中分别剔除两个包围盒；

[0077] 如果上/下包围盒和任何一个下/上包围盒的交并比小于阈值T1(例如0.95)，并且上下包围盒的遮挡属性均为0，则认定物品的下/上包围盒未检测到，从而添加一个物品，从上下包围盒列表中剔除一个包围盒；

[0078] 如果上/下包围盒和任何一个下/上包围盒的交并比小于阈值T1(例如0.95)，并且上下包围盒有一个遮挡属性均为1，则认定物品的两个包围盒为两个互相遮挡物体，从而添加两个物品，从上下包围盒列表中分别剔除两个包围盒。

[0079] 进一步的，步骤S3中，所述商品识别单元通过拍摄商品的图像，和存储单元中的商品数据进行核对，判断对于被遮挡住的商品，是否能够识别成功，成功则提醒顾客被遮挡的商品当前位置能够放置。

[0080] 进一步的，步骤S4中，所述数量识别单元根据数量识别单元和叠放识别单元的数据，进行统计计算，得到商品的精准数量。

[0081] 进一步的，步骤S4中，所述商品识别单元对结算台的商品进行拍摄，依次对每个商品和数据库的商品数据进行核对，得到商品的类型，然后得到商品的条形码信息，根据条形码得到商品的具体参数，包括质量和价格。

[0082] 进一步的，所述识别单元通过结算台上安装的摄像头进行图像采集，所述摄像头至少设置有一个，对于多个摄像头时，或放置在结算台不同角度顶层和侧面，摄像头类型包括而不限于白光摄像头、深度摄像机和红外摄像头。

[0083] 进一步的，所述识别单元都经过神经网络的后台训练，后台训练首先获取多摄像头下的多套数据集，针对每个摄像头独立进行模型训练，训练出一个通用物体检测模型和一个物品分类模型。通用包围盒属性包括中心点cx,cy,宽w,高h,是否存在遮挡物，分类属性针对包围盒的物体类别评判。

[0084] 进一步的，还包括称重单元，针对每个单品存在一个固定重量，总重量＝不同类别下每个类别数*类别单品重量，如果校验匹配则进行计价，否则提醒客户移动商品再次计价。

[0085] 实施例2

[0086] 如图1所示，所述多件商品的智能识别结算方法，包括以下步骤：

[0087] S1：顾客将待结算商品放置到结算台，通过识别单元判断当前商品的粗略数量；

[0088] 所述识别单元对于结算台的商品，在结算台的有效区域内，结合图像检测算法识别，对于存在重叠的商品按照一个数量进行判断。

[0089] S2：通过识别单元对每个商品进行处理，判断是否存在严重重叠的商品，对于存在重叠的商品，转到步骤S3；对于所有商品没有重叠的情况转到步骤S4；

[0090] 所述识别单元对商品通过交并比识别，判断发生重叠的商品数量；所述前端预测对输入场景实时捕获，当结算台的重量传感器感知到重量变化即启动物品识别计价模块。首先，在多个检测模型引导下分别获取输入图像的通用物品包围盒；然后，根据标定结果，融合多套物品包围盒完成综合评定,获取一系列包围盒列表。下面以两个摄像头(上/下放置)为例进行检测实例描述，具体方式为依次梳理每一个上包围盒和下包围盒，进行判定获取物品列表。具体判定流程需要分情况进行：

[0091] 如果上包围盒和某个下包围盒的交并比大于阈值T1(例如0.95),并且上下包围盒的遮挡属性均为0，则认定两个包围盒为一个物体的上下面，从而添加一个物品，从上下包围盒列表中分别剔除两个包围盒；

[0092] 如果上包围盒和某个下包围盒的交并比大于阈值T1(例如0.95)，并且上下包围盒有一个遮挡属性为1，则认定两个包围盒为两个互相遮挡物体，从而添加两个物品，从上下包围盒列表中分别剔除两个包围盒；

[0093] 如果上/下包围盒和任何一个下/上包围盒的交并比小于阈值T1(例如0.95)，并且上下包围盒的遮挡属性均为0，则认定物品的下/上包围盒未检测到，从而添加一个物品，从上下包围盒列表中剔除一个包围盒；

[0094] 如果上/下包围盒和任何一个下/上包围盒的交并比小于阈值T1(例如0.95)，并且上下包围盒有一个遮挡属性均为1，则认定物品的两个包围盒为两个互相遮挡物体，从而添加两个物品，从上下包围盒列表中分别剔除两个包围盒。

[0095] S3：通过识别单元判断存在重叠的商品是否能够被识别，对于被遮挡住从而不能够识别的商品在显示屏上发出提示，提醒顾客将被遮挡住的商品移动到其他位置，返回步骤S1；对于没有被遮挡的但依然不能识别的商品在显示屏上发出提示，提醒顾客将该商品通过结算单元的扫码单元单独进行扫码结算；

[0096] 所述商品识别单元通过拍摄商品的图像，和存储单元存储的商品数据进行核对，判断对于被遮挡住的商品，是否能够识别成功，成功则提醒顾客被遮挡的商品当前位置能够放置。

[0097] S4：通过商品识别单元判断商品的类型，通过数量识别单元判断各个商品的数量，并在显示屏上显示具体内容；

[0098] 所述商品识别单元对结算台的商品进行拍摄，依次对每个商品和数据库的商品数据进行核对，得到商品的类型，然后得到商品的条形码信息，根据条形码得到商品的具体参数，包括质量和价格。

[0099] 所述识别单元进行统计计算，得到商品的精准数量。

[0100] 还包括重量单元，针对每个单品存在一个固定重量，总重量＝不同类别下每个类别数*类别单品重量，如果校验匹配则进行计价，否则提醒客户移动商品再次计价。

[0101] 对于扫码单元结算的商品，通过商品识别单元进行图像采集，并存储到数据库。

[0102] 本发明中，所述识别单元通过结算台上安装的摄像头进行图像采集，所述摄像头至少设置有一个，对于多个摄像头时，放置在结算台不同角度，如顶层和侧面，摄像头类型包括而不限于白光摄像头、深度摄像机和红外摄像头。

[0103] 所述识别单元都经过神经网络的后台训练，后台训练首先获取多摄像头下的多套数据集，针对每个摄像头独立进行模型训练，训练出一个通用物体检测模型。通用包围盒属性包括中心点cx,cy,宽w,高h,是否存在遮挡物，分类属性针对包围盒的物体类别评判，其中物体分类包括而不限于通过后台数据库进行数据检测方式获取。

[0104] 实施例3

[0105] 本实例提供一种多件商品智能识别和结算系统和方法，其包括如下部分：

[0106] 1、系统硬件配置

[0107] 结算台：采用坚固耐用的材料制成，表面设有方格以便于数量识别单元进行初步计数。同时，内置重量传感器以支持称重功能。

[0108] 摄像头：在结算台顶部和侧面安装多个摄像头(如白光摄像头、深度摄像机和红外摄像头)，确保从多个角度捕获商品图像信息。摄像头通过USB或网络接口与智能控制单元连接。

[0109] 扫码器：置于结算台附近，便于顾客扫描未识别商品的条形码或二维码。扫码器通过USB接口与智能控制单元连接。

[0110] 显示屏：用于展示识别结果、结算清单及系统提示信息。显示屏通过HDMI或VGA接口与智能控制单元连接。

[0111] 智能控制元件：其可以调用其它元件的数据和信号，其内置的算法可以判断商品堆叠的情况、错误输入的商品的情况和未识别商品的情况，从而指示识别单元和结算单元，以便针对不同情况，进行不同的操作。

[0112] 2、软件算法实现

[0113] 图像识别算法：基于深度学习框架(如TensorFlow、PyTorch)开发，利用卷积神经网络(CNN)对商品图像进行特征提取和分类识别。通过大量标注数据集进行模型训练，提高识别精度。

[0114] 交并比识别算法：针对堆叠商品的情况，采用交并比(IoU)计算方法判断商品的重叠情况。根据重叠程度对商品数量进行修正。

[0115] 重量校验算法：结合商品数据库中的重量信息与实际称重结果进行校验。若差异超出预设阈值，则提示顾客重新检查商品。

[0116] 3、系统操作流程

[0117] 顾客将商品放置到结算台：系统自动启动识别流程。

[0118] 初步识别与堆叠/遮挡处理：

[0119] 识别单元对商品进行初步识别，判断商品数量和品名。

[0120] 若检测到堆叠或遮挡情况，智能控制单元启动特殊处理流程，通过交并比识别技术判断堆叠商品数量；提示顾客重新摆放遮挡商品；

[0121] 若检测到未识别商品或所识别商品信息和数据库中存储的信息不一致，智能控制单元启动程序，提示顾客使用扫码器进行扫描或手动输入信息。

[0122] 精准识别与核对：

[0123] 智能控制单元将识别结果与存储单元中的数据进行比对核对，确保识别的准确性，同时存入到商品数据库中(即存储单元)。

[0124] 重量校验与结算：

[0125] 结算单元通过称重单元测量商品总重量，并与识别结果进行校验。

[0126] 若重量差异超出阈值，提示顾客重新检查商品。

[0127] 完成结算与支付：在显示屏上完成结算，包括商品品名、单价、数量及总价等信息。

[0128] 顾客确认无误后进行支付操作。

[0129] 更新库存信息并生成交易记录。

[0130] 以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。