具体技术细节
[0007] 本申请实施例提供了一种中药饮片识别方法及装置，以至少提供一稳定的数据采集环境，实现多维度的中药饮片数据采集，基于多尺度特征的深度学习技术实现中药饮片种类和质量的准确、快速识别，提升识别速度和识别精度。
[0008] 第一方面，本申请实施例提供了一种中药饮片识别方法，包括：
[0009] 训练数据集获取步骤，通过一数据采集模块获取不同类别、不同质量下中药饮片的彩色图像、深度图像及重量数据，并将重量数据和所述彩色图像、深度图像经预处理生成一分割图像、重量图像及处理后的彩色图像、深度图像，得到标注有饮片类别、质量的训练数据集；
[0010] 模型训练步骤，将所述训练数据集输入至一饮片识别网络中进行训练，得到训练后的饮片识别模型；
[0011] 中药饮片识别步骤，通过所述数据采集模块获取待识别饮片的彩色图像、深度图像及重量数据，将待识别饮片的彩色图像、深度图像及重量数据经预处理生成待识别饮片的分割图像、重量图像及处理后的彩色图像、深度图像，并输入至所述饮片识别模型中进行推理，输出识别结果。
[0012] 基于上述步骤，本申请基于不同类别、不同质量下的中药饮片的彩色图像、深度图像及重量数据进行模型训练，确保了训练数据集的丰富性和多样性，有助于提高模型的识别准确性和泛化能力，利用模型进行饮片种类和质量识别，有助于减少人为干预和误差，提高识别的效率和自动化程度，为中药饮片的生产、流通、使用等环节提供有力的技术支持。
[0013] 在其中一些实施例中，所述训练数据集获取步骤包括：
[0014] 数据获取步骤，通过所述数据采集模块的图像采集单元采集所需识别的每一类别不同质量的中药饮片的彩色图像、深度图像，通过所述数据采集模块的所述称重单元采集所需识别的每一类别不同质量的中药饮片的重量数据；对每一类别的饮片采集多张彩色图像、深度图像，有助于减少偶然误差，提高数据的准确性，多种图像数据在质量、类别维度区别外，还可以在摆放位置、饮片数量、饮片来源等方面存在区别，从而增加数据的多样性；
[0015] 数据预处理步骤，将所述重量数据转换为重量图像，基于所述彩色图像、深度图像生成所述分割图像，并对所述分割图像、彩色图像及深度图像进行归一化处理；
[0016] 数据串联步骤，沿图像通道维度将所述分割图像、重量图像、深度图像及彩色图像进行串联。
[0017] 基于此，利用多维度特征的融合有助于模型更全面地理解中药饮片的特征，提高识别的准确性和鲁棒性。
[0018] 在其中一些实施例中，将所述重量数据转换为重量图像，包括：
[0019] 获取一重量参考值，计算所述重量数据与所述重量参考值的商，将得到的商填充至一二维矩阵中，存储为重量图像。
[0020] 通过上述步骤，将重量数据转换为重量图像，使得重量信息能够以图像的形式与其他图像数据(如彩色图像、深度图像)进行串联，能够直观地反映中药饮片的重量特征，易于进行可视化和解释。将其与其他图像数据串联后，可以丰富模型输入的特征信息，有助于模型更全面地理解中药饮片的特性，从而提高识别的准确性。在模型训练和应用过程中，可以通过观察重量图像来验证模型的识别效果，有助于更好地理解和解释模型的决策过程。
[0021] 在其中一些实施例中，基于所述彩色图像、深度图像生成所述分割图像，包括：
[0022] 将所述彩色图像、深度图像进行边缘检测，并对边缘检测结果进行并集操作，将边缘包围区域填充为白色，将边缘以外区域填充为黑色，形成分割图像。
[0023] 在其中一些实施例中，对所述分割图像、彩色图像及深度图像进行归一化处理，分别为，对分割图像的像素值除255，生成只包含0和1的分割图像；对所述彩色图像可以采用Min‑Max归一化进行处理。
[0024] 在其中一些实施例中，对所述深度图像进行归一化处理，包括：
[0025] 设置一最大值maxv、最小值minv，最大值maxv表示所述图像采集单元的双目相机到所述称重单元的置药托盘的距离，最小值minv表示高度最大的中药饮片上表面距离所述双目相机的距离；
[0026] 基于如下计算模型对所述深度图像的深度值v进行计算，得到归一化后的深度图像，计算模型表示如下：
[0027]
[0028] 在其中一些实施例中，所述饮片识别网络包括依次连接的高分辨率多尺度特征融合网络、MHSA网络(Multi Head Self Attention)、全局池化层(Global Average Pooling，GA)及全连接层(Fully Connected Layers，FC)。
[0029] 第二方面，本申请实施例提供了一种中药饮片识别装置，包括：
[0030] 数据采集模块，包括设于一封闭壳体内的图像采集单元、称重单元，用于获取中药饮片的彩色图像、深度图像和重量数据，以通过封闭壳体避免图像采集单元采集过程中受外界光线、粉尘等因素的影响；
[0031] 处理器，用于执行预设计算机程序时实现如上第一方面所述的中药饮片识别方法；
[0032] 显示模块，用于显示由用户输入的信息或提供给用户的信息以及用户终端的各种菜单。
[0033] 基于如上结构的数据采集模块可以实现多维度的稳定的数据采集，确保了数据采集的全面性，并显示在显示模块中显示，与操作人员进行交互，可以直观地看到采集到的数据和识别结果。
[0034] 在其中一些实施例中，所述图像采集单元包括：
[0035] 双目相机，设置于所述封闭壳体顶部并电性连接所述处理器，采集二维高清彩色图像及采集深度图像；
[0036] 光源，设置于所述双目相机的上方或旁侧，以避免直接照射到相机镜头，造成反光或眩光。
[0037] 在另一实施例中，为了使光源的光线更加分散和柔和，光源下方采用柔光纸或柔光布等柔光装置，以形成均匀稳定的光线，更有助于图像采集。
[0038] 在其中一些实施例中，所述称重单元通过一抽拉结构设于所述封闭壳体底部，所述称重单元包括：电子秤及设置于所述电子秤上表面的置药托盘，所述电子秤电性连接所述处理器，待测中药饮片放置在该置药托盘上进行称量，操作人员可以抽拉出称重单元放置待测中药饮片或进行替换，提高了装置的便捷性、可扩展性。
[0039] 在其中一些实施例中，所述图像采集单元还包括一亮度标定单元，用于：
[0040] 基于一参考亮度检测所述光源的亮度是否衰减，或拍摄多组空置的置药托盘图像，并计算多组所述置药托盘图像的平均亮度，基于一参考亮度判断所述平均亮度相对于所述参考亮度的偏离量是否超过预设范围；
[0041] 若是，则发出一亮度调整信息至所述显示模块或通过一调光器调整所述光源的亮度。
[0042] 在其中一些实施例中，所述置药托盘上表面为单一色彩的磨砂表面；材质采用长久使用不形变的材料，如不锈钢、工程塑料、陶瓷等。
[0043] 本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
法律保护范围
涉及权利要求数量10：其中独权2项，从权-2项
1.一种中药饮片识别方法，其特征在于，包括：
训练数据集获取步骤，通过一数据采集模块获取不同类别、不同质量下中药饮片的彩色图像、深度图像及重量数据，并将重量数据和所述彩色图像、深度图像经预处理生成一分割图像、重量图像及处理后的彩色图像、深度图像，得到标注有饮片类别、质量的训练数据集；
模型训练步骤，将所述训练数据集输入至一饮片识别网络中进行训练，得到训练后的饮片识别模型；
中药饮片识别步骤，通过所述数据采集模块获取待识别饮片的彩色图像、深度图像及重量数据，将待识别饮片的彩色图像、深度图像及重量数据经预处理生成待识别饮片的分割图像、重量图像及处理后的彩色图像、深度图像，并输入至所述饮片识别模型中进行推理，输出识别结果。
2.根据权利要求1所述的中药饮片识别方法，其特征在于，所述训练数据集获取步骤包括：
数据获取步骤，通过所述数据采集模块的图像采集单元采集所需识别的每一类别不同质量的中药饮片的彩色图像、深度图像，通过所述数据采集模块的所述称重单元采集所需识别的每一类别不同质量的中药饮片的重量数据；
数据预处理步骤，将所述重量数据转换为重量图像，基于所述彩色图像、深度图像生成所述分割图像，并对所述分割图像、彩色图像及深度图像进行归一化处理；
数据串联步骤，沿图像通道维度将所述分割图像、重量图像、深度图像及彩色图像进行串联。
3.根据权利要求2所述的中药饮片识别方法，其特征在于，将所述重量数据转换为重量图像，包括：
获取一重量参考值，计算所述重量数据与所述重量参考值的商，将得到的商填充至一二维矩阵中，存储为重量图像。
4.根据权利要求2或3所述的中药饮片识别方法，其特征在于，基于所述彩色图像、深度图像生成所述分割图像，包括：
将所述彩色图像、深度图像进行边缘检测，并对边缘检测结果进行并集操作，将边缘包围区域填充为白色，将边缘以外区域填充为黑色，形成分割图像。
5.根据权利要求2所述的中药饮片识别方法，其特征在于，对所述深度图像进行归一化处理，包括：
设置一最大值maxv、最小值minv，最大值maxv表示所述图像采集单元的双目相机到所述称重单元的置药托盘的距离，最小值minv表示高度最大的中药饮片上表面距离所述双目相机的距离；
基于如下计算模型对所述深度图像的深度值v进行计算，得到归一化后的深度图像，计算模型表示如下：
6.根据权利要求2或3所述的中药饮片识别方法，其特征在于，所述饮片识别网络包括依次连接的高分辨率多尺度特征融合网络、MHSA网络、全局池化层及全连接层。
7.一种中药饮片识别装置，其特征在于，包括：
数据采集模块，包括设于一封闭壳体内的图像采集单元、称重单元，用于获取中药饮片的彩色图像、深度图像和重量数据；
处理器，用于执行预设计算机程序时实现如权利要求1至6中任一项所述的中药饮片识别方法；
显示模块，用于显示由用户输入的信息或提供给用户的信息以及用户终端的各种菜单。
8.根据权利要求7所述的中药饮片识别装置，其特征在于，所述图像采集单元包括：
双目相机，设置于所述封闭壳体顶部并电性连接所述处理器，采集彩色图像及采集深度图像；
光源，设置于所述双目相机的上方或旁侧。
9.根据权利要求8所述的中药饮片识别装置，其特征在于，所述称重单元通过一抽拉结构设于所述封闭壳体底部，所述称重单元包括：电子秤及设置于所述电子秤上表面的置药托盘，所述电子秤电性连接所述处理器。
10.根据权利要求9所述的中药饮片识别装置，其特征在于，所述图像采集单元还包括一亮度标定单元，用于：
基于一参考亮度检测所述光源的亮度是否衰减，或拍摄多组空置的置药托盘图像，并计算多组所述置药托盘图像的平均亮度，基于一参考亮度判断所述平均亮度相对于所述参考亮度的偏离量是否超过预设范围；
若是，则发出一亮度调整信息至所述显示模块或通过一调光器调整所述光源的亮度。
