[0001] 本申请涉及数据处理技术领域，特别是涉及一种中药饮片识别方法及装置。

[0002] 中药饮片是指中药材经过加工处理后的产物，可直接应用于临床或投料生产制剂。中药饮片通常是在中药材的基础上进行加工，如切片、切块、磨粉等工序，在加工过程中，通常会将中药材切割成规则的形状，如圆片、椭圆片等，以便于识别和计量。一般，不同种类和同类别不同质量的饮片在外观等属性上存在着差别，例如：颜色、尺寸、纹理、密度等。

[0003] 中药饮片识别的难点在于在很多不同种类饮片的外观相似，差别细微，同种类合格、不合格、优质饮片的差别也容易被其它因素影响，并且通过传统方法(例如根据中药的颜色或形状等分类)对饮片进行分类的效率较低，需要多依靠专业医学知识，甚至有时候凭专业知识也难以分辨。

[0004] 当前基于深度学习的中药饮片识别方案仍较为有限。且，随着饮片种类和相似度的增加，深度学习模型的识别正确度和识别率面临严重挑战，出现下滑趋势。

[0005] 已知的采用摄像头采集饮片图像数据进行智能识别的解决方案中，在不限定采集光线、采集相机、采集环境的情况下，由于光线、震动、相机本身参数等因素的影响，采集的图像会有比较大的差别，图像采集造成的图像差异大于不同种类或不同质量图像之间的差异，严重影响对类别和质量的识别。

[0006] 此外，中药饮片的尺寸、重量、密度等信息决定着中药饮片的质量，也是用于区别不同种类的关键信息，如何将这些信息有效结合到智能识别方案中也是需要进一步解决的问题。

[0054] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0055] 显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

[0056] 在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

[0057] 除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

[0058] 本实施例提供了一种中药饮片识别方法。图1‑图2是根据本申请实施例的一种中药饮片识别方法的流程图，如图1‑图2所示，该流程包括如下步骤：

[0059] 训练数据集获取步骤S1，通过一数据采集模块获取不同类别、不同质量下中药饮片的彩色图像、深度图像及重量数据，并将重量数据和所述彩色图像、深度图像经预处理生成一分割图像、重量图像及处理后的彩色图像、深度图像，得到标注有饮片类别、质量的训练数据集；

[0060] 模型训练步骤S2，将所述训练数据集输入至一饮片识别网络中进行训练，得到训练后的饮片识别模型；

[0061] 中药饮片识别步骤S3，通过所述数据采集模块获取待识别饮片的彩色图像、深度图像及重量数据，将待识别饮片的彩色图像、深度图像及重量数据经预处理生成待识别饮片的分割图像、重量图像及处理后的彩色图像、深度图像，并输入至所述饮片识别模型中进行推理，输出识别结果。

[0062] 基于上述步骤，本申请基于不同类别、不同质量下的中药饮片的彩色图像、深度图像及重量数据进行模型训练，确保了训练数据集的丰富性和多样性，有助于提高模型的识别准确性和泛化能力，利用模型进行饮片种类和质量识别，有助于减少人为干预和误差，提高识别的效率和自动化程度，为中药饮片的生产、流通、使用等环节提供有力的技术支持。

[0063] 参考图2所示，上述实施例中，训练数据集获取步骤S1包括：

[0064] 数据获取步骤S101，通过所述数据采集模块的图像采集单元采集所需识别的每一类别不同质量的中药饮片的彩色图像、深度图像，通过所述数据采集模块的所述称重单元采集所需识别的每一类别不同质量的中药饮片的重量数据；其中，质量至少可以分为合格、不合格、优；初始数据集可基于中药饮片的类别、质量及其对应的彩色图像、深度图像进行存储，对每一类别的饮片采集多张彩色图像、深度图像，有助于减少偶然误差，提高数据的准确性，多种图像数据在质量、类别维度区别外，还可以在摆放位置、饮片数量、饮片来源等方面存在区别，从而增加数据的多样性；

[0065] 数据预处理步骤S102，将所述重量数据转换为重量图像，基于所述彩色图像、深度图像生成所述分割图像，并对所述分割图像、彩色图像及深度图像进行归一化处理；

[0066] 数据串联步骤S103，沿图像通道维度将所述分割图像、重量图像、深度图像及彩色图像进行串联，得到一六通道图像，其中，分割图像一个通道，重量图像一个通道，深度图像一个通道，彩色图像三个通道，如图3所示。

[0067] 中药饮片识别步骤S3中的预处理过程与训练数据集获取步骤S1中的处理过程相同，参考数据预处理步骤S102、数据串联步骤S103，在此不做赘述。

[0068] 基于此，利用多维度特征的融合有助于模型更全面地理解中药饮片的特征，提高识别的准确性和鲁棒性。

[0069] 在其中一些实施例中，将所述重量数据转换为重量图像，包括：

[0070] 获取一重量参考值，计算所述重量数据与所述重量参考值的商，将得到的商填充至一二维矩阵中，存储为重量图像，所述重量参考值配置为所需识别的中药饮片中最重的一类中药饮片铺满称重单元的置药托盘的重量，所述二维矩阵的行数、列数与所述彩色图像、深度图像的尺寸相同，如图所示，假设重量数据为15.3克，重量参考值为100，则计算得到商为0.153，将0.153填充至二维矩阵中生成符合所需长度、宽度的填充值为0.153的重量图像。

[0071] 通过上述步骤，将重量数据转换为重量图像，使得重量信息能够以图像的形式与其他图像数据(如彩色图像、深度图像)进行串联，能够直观地反映中药饮片的重量特征，易于进行可视化和解释。将其与其他图像数据串联后，可以丰富模型输入的特征信息，有助于模型更全面地理解中药饮片的特性，从而提高识别的准确性。在模型训练和应用过程中，可以通过观察重量图像来验证模型的识别效果，有助于更好地理解和解释模型的决策过程。

[0072] 在其中一些实施例中，基于所述彩色图像、深度图像生成所述分割图像，包括：

[0073] 将所述彩色图像、深度图像进行边缘检测，并对边缘检测结果进行并集操作，将边缘包围区域填充为白色，填充值为255，表示饮片部分，将边缘以外区域填充为黑色，填充值为0，用于表示置药托盘部分，形成分割图像。可选的，采用Canny边缘检测器进行边缘检测，创建一个全黑的图像，将找到的轮廓内部填充为白色，如果需要确保背景完全为黑色，可以再执行一次掩膜操作，创建一个掩膜，将掩膜外的区域设置为黑色。

[0074] 在其中一些实施例中，对所述分割图像、彩色图像及深度图像进行归一化处理，分别为，对分割图像的像素值除255，生成只包含0和1的分割图像；对所述彩色图像可以采用Min‑Max归一化进行处理，也可以采用深度学习中的其他归一化方式，在此不一一列举。对所述深度图像进行归一化处理，包括：

[0075] 设置一最大值maxv、最小值minv，最大值maxv表示所述图像采集单元的双目相机到所述称重单元的置药托盘的距离，最小值minv表示高度最大的中药饮片上表面距离所述双目相机的距离；

[0076] 基于如下计算模型对所述深度图像的深度值v进行计算，得到归一化后的深度图像，计算模型表示如下：

[0077]

[0078] 参考图4所示，本实施例的饮片识别网络包括依次连接的高分辨率多尺度特征融合网络、MHSA网络、全局池化层及全连接层。其中，高分辨率多尺度特征融合作为骨干网络，负责提取输入数据的高分辨率和多尺度特征，具体选用HRNet；MHSA网络接收骨干网络的输出特征，通过多个注意力头捕捉特征图像中不同位置处的特征关联性，增强模型对全局和局部特征的理解能力，每个注意力头都会学习到不同的权重矩阵，用于构造查询、键和值，从而计算出注意力得分，并更新特征表示；全局池化层对MHSA网络的输出特征进行降维处理，通过计算特征图的平均值来减少特征维度，同时保留全局信息；全连接层接收全局池化后的特征，进行类别和质量预测，输出当前输入数据属于每一类的概率和属于每种质量的概率。

[0079] 训练损失使用二值交叉熵损失函数来评估模型的预测性能。该损失函数适用于多标签分类任务，其中每个标签都是独立的，并且可以同时为真或假，能够全面评估模型在各个类别和质量上的表现。通过不断训练和优化模型，可以进一步提高识别的准确性和效率。

[0080] 需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

[0081] 本实施例提供了一种中药饮片识别装置。图5是根据本申请实施例的中药饮片识别装置的结构示意图。本领域技术人员可以理解，图5中示出的中药饮片识别装置结构并不构成对中药饮片识别装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

[0082] 下面结合图5对中药饮片识别装置的各个构成部件进行具体的介绍：

[0083] 该中药饮片识别装置包括：数据采集模块1、处理器2、显示模块3等部件，处理器2用于执行预设计算机程序时实现如上述实施例所述的中药饮片识别方法；显示模块3用于显示由用户输入的信息或提供给用户的信息以及用户终端的各种菜单。

[0084] 数据采集模块1包括设于一封闭壳体内的图像采集单元、称重单元，用于获取中药饮片的彩色图像、深度图像和重量数据，以通过封闭壳体避免图像采集单元采集过程中受外界光线、粉尘等因素的影响；其中，所述图像采集单元包括：双目相机101和光源102，双目相机101设置于所述封闭壳体顶部并电性连接所述处理器2，采集二维高清彩色图像及采集深度图像；可选的，双目相机101也可以采用TOF相机或者其它可以采集彩色图像和深度图像的相机或相机组合进行替换。光源102设置于所述双目相机101的上方或旁侧，以避免直接照射到相机镜头，造成反光或眩光。可选的，光源102采用面光源、平行光源、同轴光源等，采用面光源时，可在光源面板上设置相机拍摄孔，以避免光源对相机拍摄的遮挡。当使用多个光源102时，将光源102均匀分布在相机周围，以形成均匀的光照环境。

[0085] 其中，所述称重单元通过一抽拉结构设于所述封闭壳体底部，所述称重单元包括：电子秤104及设置于电子秤104上表面的置药托盘105，所述电子秤104电性连接处理器2，待测中药饮片放置在该置药托盘105上进行称量，操作人员可以抽拉出称重单元放置待测中药饮片或进行替换，提高了装置的便捷性、可扩展性。

[0086] 基于如上结构的数据采集模块1可以实现多维度的稳定的数据采集，确保了数据采集的全面性，并显示在显示模块3中显示，与操作人员进行交互，可以直观地看到采集到的数据和识别结果。

[0087] 在另一实施例中，为了使光源102的光线更加分散和柔和，光源102下方采用柔光纸或柔光布等柔光装置103，以形成均匀稳定的光线，更有助于图像采集。

[0088] 在另一些实施例中，所述图像采集单元还包括一亮度标定单元，用于：

[0089] 基于一参考亮度检测所述光源102的亮度是否衰减，或拍摄多组空置的置药托盘图像，并计算多组所述置药托盘图像的平均亮度，基于一参考亮度判断所述平均亮度相对于所述参考亮度的偏离量是否超过预设范围；

[0090] 若是，则发出一亮度调整信息至所述显示模块3或通过一调光器调整所述光源102的亮度，可以通过显示模块3提示操作人员更换光源102，也可以通过调光器改变光源102的电流或电压来控制光源102的亮度。

[0091] 基于该亮度标定单元，可以监测光源102亮度，以有效规避光源长时间使用的衰减现象对成像质量的影响，同一饮片在不同亮度下的拍摄效果存在色彩、纹理的差异，本申请可以通过及时调整光源亮度保证成像质量的稳定性。

[0092] 上述实施例中，通过亮度传感器，如照度计，检测所述光源102的亮度，所述参考亮度、预设范围可以是灵活调整的。

[0093] 在其中一些实施例中，所述置药托盘105上表面为单一色彩的磨砂表面，防止反光现象，以确保图像采集的清晰度；其单一色彩还可以作为参考色，当相机采集出现偏色情况时，实现对图像颜色的校正，以保证识别效果；材质采用长久使用不形变的材料，如不锈钢、工程塑料、陶瓷等。

[0094] 使用本申请的中药饮片识别装置进行识别时，操作人员将置药托盘105拉出，将待识别饮片放到置药托盘105中并推入，单击显示模块3上屏幕的识别按钮(未示出)便可获取中药饮片的图像和重量，运行上述实施例的中药饮片识别方法加载训练后生成的模型文件，得到识别结果，在屏幕输出饮片的类别和质量数据。识别结果中将每一类的概率从大到小进行排序，取最大的前三类及其对应的概率值输出，同时，将其不合格、合格、优及其对应的概率值输出。

[0095] 需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

[0096] 以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0097] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。