技术领域
[0001] 本发明涉及人工智能领域和微生物领域，尤其涉及基于级联分割网络的菌落区域图像分割方法、装置及设备。
相关背景技术
[0002] 菌落区域图像提供了直观的视觉信息，使得用户能够清晰地观察到菌落的形态、大小、颜色以及边缘特征等关键指标，这对于快速识别和分类微生物至关重要。此外，菌落区域图像还可用于后续的数字化处理和数据分析，如自动计数菌落数量，提高研究的准确性和效率。
[0003] 然而，当前的菌落区域图像的分割过程繁琐，不利于提高菌落区域图像的分割效率。其原因在于，原始图像融合了复杂的背景，增加了将菌落区域图像从原始图像中分割出来的难度，使得传统的图像分割算法难以分割出原始图像中的菌落区域图像，为了获得精确的分割结果，用户只能采取人工分割的方式，而人工分割的方式不仅耗时耗力，而且容易受到人工干预的影响，因此，不利于提高菌落区域图像的分割效率。
具体实施方式
[0054] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0055] 请参阅图1，图1是本发明一实施例中菌落区域图像分割方法的一应用环境示意图，本发明实施例提供的菌落区域图像分割方法，可应用在如图1的应用环境中，其中，客户端通过网络与服务端进行通信。
[0056] 服务端通过客户端获取相机拍摄当前培养皿内的菌落得到的原始图像；
[0057] 对所述原始图像进行预处理，得到处理后的所述原始图像；
[0058] 获取预设的粗糙语义分割图和预设的背景图，将处理后的所述原始图像、所述背景图和所述粗糙语义分割图输入级联分割网络中；
[0059] 通过所述级联分割网络中的初始分割网络，对所述原始图像、背景图和粗糙语义分割图进行处理，生成初始分割结果图；
[0060] 将处理后的所述原始图像、所述背景图和所述初始分割结果图输入所述目标分割网络中，所述目标分割网络为所述初始分割网络的下一个分割网络；
[0061] 通过所述目标分割网络，对处理后的所述原始图像、所述背景图和所述初始分割结果图进行处理，生成目标分割结果图，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像。
[0062] 在上述菌落区域图像分割方法、装置、设备及介质所实现的方案中，有益效果在于两方面，一方面，通过所述目标分割网络，对处理后的所述原始图像、所述背景图和所述初始分割结果图进行处理，生成目标分割结果图，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像，由于无需人工分割，因此减少了菌落区域图像的分割时间，有利于提高菌落区域图像的分割效率；另一方面，由于级联分割网络，不会受到人工干预的影响，因此有利于提升菌落区域图像的可靠性。
[0063] 其中，运行客户端的设备，简称为：客户端设备。
[0064] 其中，运行服务端的设备，简称为：服务端设备。
[0065] 其中，客户端设备包括但不限于智能手机、个人计算机、车联网终端、平板电脑和便携式可穿戴设备。
[0066] 其中，服务端设备可以用独立的服务器或者是多个服务器组成的服务器集群来实现。下面通过具体的实施例对本发明进行详细的描述。
[0067] 请参阅图2，图2为本发明一实施例提供的菌落区域图像分割方法的一个流程示意图，包括如下步骤：
[0068] S21，获取相机拍摄当前培养皿内的菌落得到的原始图像；
[0069] 其中，获取相机拍摄当前培养皿内的菌落得到的原始图像，包括：
[0070] 连接相机，访问所述相机的存储文件；
[0071] 在所述相机的存储文件中，读取所述相机拍摄当前培养皿内的菌落得到的原始图像。
[0072] 其中，通过相机拍摄，可以直观地记录和观察菌落的生长形态、颜色变化以及分布特征，这对于微生物学研究和质量控制至关重要。
[0073] 其中，在所述获取相机拍摄当前培养皿内的菌落得到的原始图像之前，所述菌落区域图像分割方法，包括：
[0074] 获取相机拍摄预设培养皿内的菌落得到的样本图像；
[0075] 获取级联分割网络基于样本图像生成的预测分割结果图，通过损失函数计算预测分割结果图与真实分割结果图之间的损失值；
[0076] 通过第一权重值和第二权重值，对所述损失值进行调整，得到调整后的所述损失值；
[0077] 当调整后的所述损失值收敛时，保存所述级联分割网络。
[0078] 其中，通过所述第一权重值和所述第二权重值，对所述损失值进行调整，得到调整后的所述损失值，包括：
[0079] 获取所述预测图像中的前景点和背景点，选取所述前景点到分割边缘的欧几里得距离对应的权重值作为第一权重值，选取所述背景点到分割边缘的欧几里得距离的权重值作为第二权重值；
[0080] 将所述损失值乘以第一权重值，得到第一目标值，将所述损失值乘以第二权重值，得到第二目标值，将第一目标值和第二目标值相加，得到调整后的所述损失值。
[0081] 其中，背景点指的是预测图像中被认为不属于菌落的像素点。
[0082] 其中，分割边缘指的是预测图像中的菌落与背景之间的边界。
[0083] 其中欧几里得距离，又称欧式距离，欧几里得距离反映了空间中两点之间的实际距离，便于理解和应用。
[0084] S22，对所述原始图像进行预处理，得到处理后的所述原始图像；
[0085] 其中，所述对所述原始图像进行预处理，得到处理后的所述原始图像，包括：
[0086] 将所述原始图像进行通道分离，得到单通道图像，采用预设方形结构元素1，对所述单通道图像进行底帽变换处理，得到第一结果图像，采用预设方形结构元素2，对所述单通道图像进行底帽变换处理，得到第二结果图像；
[0087] 对所述第一结果图像、所述第二结果分别进行形态学处理，选出多个初始菌落区域；
[0088] 对初始菌落区域进行并运算合成联合区域，对联合区域进行边界运算，得到最终的目标菌落区域，在原始图像标注所述目标菌落区域。
[0089] 其中，选取标注所述目标菌落区域的原始图像为处理后的原始图像。
[0090] 其中，预设方形结构元素1包括55×55的方形结构元素和155×155的方形结构元素中的其中一种。
[0091] 其中，预设方形结构元素2包括55×55的方形结构元素和155×155的方形结构元素中的其中一种。
[0092] 其中，方形结构元素的大小会影响处理效果。
[0093] 第一次顶帽变换或底帽变换时，采用55×55的方形结构元素，对所述原始图像进行顶帽变换。第一次顶帽变换或底帽变换之后，如果有较大的菌落没有处理，则再采用155×155的方形结构元素对原图像进行一次顶帽变换或底帽变换。
[0094] 在顶帽变换或底帽变换的作用下，处理后的所述原始图像中的背景与菌落之间的对比度得到显著提升，菌落的形态和边界更加清晰，光照不均的问题也得到了有效改善，从而减少背景的干扰，因此处理后的原始图像，有利于识别和分割不同的菌落区域图像。
[0095] S23，获取预设的粗糙语义分割图和预设的背景图，将处理后的所述原始图像、所述背景图和所述粗糙语义分割图输入级联分割网络中；
[0096] 其中，级联分割网络能够逐步细化分割结果。每个级联的分割网络都在前一个网络的基础上进一步提取特征，从而逐步优化分割结果。这种逐步细化的过程有助于捕捉图像中的微小结构和细节，提高分割的准确性。
[0097] 可选地，级联分割网络的网络模型采用mobilenetv2，MobileNetV2的中文表述为：移动网络V2，其英文全称为：MobileNetV2。MobileNetV2是一款的轻量级卷积神经网络模型。
[0098] S24，通过所述级联分割网络中的初始分割网络，对所述原始图像、背景图和粗糙语义分割图进行处理，生成初始分割结果图；
[0099] 其中，粗糙语义分割图是指在图像语义分割任务中，由于算法性能、训练数据质量或模型复杂度等因素的限制，所得到的分割结果呈现出边缘不连续、类别划分不准确或存在较多误分类像素的一种分割图像。粗糙语义分割图为可以提供关于图像中主要物体或区域的大致分布信息，使用粗糙语义分割图，有利于减少计算量和提高处理速度。
[0100] 其中，级联分割网络包括初始分割网络和目标分割网络。
[0101] 其中，所述通过所述级联分割网络中的初始分割网络，对所述原始图像、背景图和粗糙语义分割图进行处理，生成初始分割结果图，包括：
[0102] 将所述原始图像的特征向量、背景图的特征向量和粗糙语义分割图的特征向量进行拼接，得到初始特征向量；
[0103] 通过所述初始分割网络，对所述初始特征向量进行处理，生成初始分割结果图。
[0104] 其中，初始分割结果图展示了原始图像中不同区域的初步划分。
[0105] S25，将处理后的所述原始图像、所述背景图和所述初始分割结果图输入所述目标分割网络中，所述目标分割网络为所述初始分割网络的下一个分割网络；
[0106] 其中，下一个分割网络能够在初始分割网络的基础上，进一步提取处理后的所述原始图像中的特征。通过逐步细化这些特征，下一个分割网络能够生成更加精确和细致的分割结果，从而提高整体分割的准确性。
[0107] S26，通过所述目标分割网络，对处理后的所述原始图像、所述背景图和所述初始分割结果图进行处理，生成目标分割结果图，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像。
[0108] 其中，由于目标分割结果图提供了每个菌落的边界和形状信息，因此可以根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像。
[0109] 其中，不同的菌落具有不同的形态、颜色和生长特征。通过确定处理后的所述原始图像中不同的菌落区域图像，可以更加细致地观察和分析这些特征，从而有利于对菌落进行分类和识别。
[0110] 为便于说明，举例如下：
[0111] 比如：原始图像有菌落1、菌落2、菌落3；
[0112] 目标分割结果图提供了菌落1的边界、菌落2的边界、菌落3的边界；
[0113] 从处理后的所述原始图像中分割出菌落1所在的图像区域，选取菌落1所在的图像区域作为菌落区域图像1；
[0114] 从处理后的所述原始图像中分割出菌落2所在的图像区域，选取菌落2所在的图像区域作为菌落区域图像2；
[0115] 从处理后的所述原始图像中分割出菌落3所在的图像区域，选取菌落3所在的图像区域作为菌落区域图像3。
[0116] 其中，菌落1、菌落2、菌落3具有不同的形态、颜色和生长特征。通过确定处理后的所述原始图像中的菌落区域图像1、菌落区域图像2、菌落区域图像3，可以更加细致地观察和分析菌落1、菌落2、菌落3的特征，从而有利于对菌落1、菌落2、菌落3进行分类和识别。
[0117] 为便于说明，参考图8，图8是本发明一实施例提供的样例图。
[0118] 从图8可以看到，样例图展示了目标分割结果图的图像效果。目标分割结果图中提供了每个菌落的边界和形状信息。
[0119] 其中，在所述通过所述目标分割网络，对处理后的所述原始图像、所述背景图和所述初始分割结果图进行处理，生成目标分割结果图，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像之后，所述菌落区域图像分割方法，包括：
[0120] 获取推送指令，执行所述推送指令，将所述菌落区域图像推送至目标系统。
[0121] 在本发明实施例中，有益效果在于两方面，一方面，通过所述目标分割网络，对处理后的所述原始图像、所述背景图和所述初始分割结果图进行处理，生成目标分割结果图，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像，由于无需人工分割，因此减少了菌落区域图像的分割时间，有利于提高菌落区域图像的分割效率；另一方面，由于级联分割网络，不会受到人工干预的影响，因此有利于提升菌落区域图像的可靠性。
[0122] 请参阅图3，图3是图2中步骤S23的一具体实施方式流程示意图，详述如下：
[0123] S31，获取模型文件，对所述模型文件中的级联分割网络进行加载操作，得到加载结果；
[0124] S32，当所述加载结果为加载成功时，获取预设的粗糙语义分割图和预设的背景图，将处理后的所述原始图像、所述背景图和所述粗糙语义分割图输入级联分割网络中。
[0125] 在本发明实施例中，将处理后的所述原始图像、所述背景图和所述粗糙语义分割图输入级联分割网络中，通过级联分割网络进行图像分割，可以显著处理后的所述原始图像的精度和效率。
[0126] 请参阅图4，图4是图2中步骤S25的一具体实施方式流程示意图，详述如下：
[0127] S41，在所述级联分割网络中，选取所述初始分割网络的下一个分割网络作为目标分割网络；
[0128] S42，获取输入指令，执行所述输入指令，将处理后的所述原始图像、所述背景图和所述初始分割结果图输入所述目标分割网络中。
[0129] 在本发明实施例中，将处理后的所述原始图像、所述背景图和所述初始分割结果图输入所述目标分割网络中，初始分割结果图作为初步处理的输出，能够为目标分割网络提供有价值的上下文信息和大致的目标轮廓，有利于目标分割网络更快地聚焦于所述菌落所在的图像区域，减少不必要的计算开销，提高分割效率。
[0130] 请参阅图5，图5是图2中步骤S26的一具体实施方式流程示意图，详述如下：
[0131] S51，将所述原始图像的特征向量、所述背景图的特征向量和所述初始分割结果图的特征向量进行拼接，得到目标特征向量，通过所述目标分割网络，对所述目标特征向量进行处理，生成目标分割结果图；
[0132] S52，当所述目标分割网络为最后一个分割网络时，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像。
[0133] 获取所述目标分割网络的序号，当所述目标分割网络的序号为最后一个分割网络的序号时，表示所述目标分割网络为最后一个分割网络。
[0134] 在本发明实施例中，当所述目标分割网络为最后一个分割网络时，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像，由于无需人工分割，因此减少了菌落区域图像的分割时间，有利于提高菌落区域图像的分割效率。
[0135] 请参阅图6，图6是本发明一实施例中菌落区域图像分割装置的一结构示意图,如图6所示，该菌落区域图像分割装置包括第一获取模块101、处理模块102、第二获取模块103、生成模块104、输入模块105、分割模块106。各功能模块详细说明如下：
[0136] 第一获取模块101，用于获取相机拍摄当前培养皿内的菌落得到的原始图像；
[0137] 处理模块102，用于对所述原始图像进行预处理，得到处理后的所述原始图像；
[0138] 第二获取模块103，用于获取预设的粗糙语义分割图和预设的背景图，将处理后的所述原始图像、所述背景图和所述粗糙语义分割图输入级联分割网络中；
[0139] 生成模块104，用于通过所述级联分割网络中的初始分割网络，对所述原始图像、背景图和粗糙语义分割图进行处理，生成初始分割结果图；
[0140] 输入模块105，用于将处理后的所述原始图像、所述背景图和所述初始分割结果图输入所述目标分割网络中，所述目标分割网络为所述初始分割网络的下一个分割网络；
[0141] 分割模块106，用于通过所述目标分割网络，对处理后的所述原始图像、所述背景图和所述初始分割结果图进行处理，生成目标分割结果图，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像。
[0142] 在本发明实施例中，有益效果在于两方面，一方面，通过所述目标分割网络，对处理后的所述原始图像、所述背景图和所述初始分割结果图进行处理，生成目标分割结果图，根据所述目标分割结果图，从处理后的所述原始图像中分割出所述菌落所在的图像区域，选取菌落所在的图像区域作为菌落区域图像，由于无需人工分割，因此减少了菌落区域图像的分割时间，有利于提高菌落区域图像的分割效率；另一方面，由于级联分割网络，不会受到人工干预的影响，因此有利于提升菌落区域图像的可靠性。
[0143] 关于菌落区域图像分割装置的具体限定可以参见上文中对于菌落区域图像分割方法的限定，在此不再赘述。
[0144] 上述菌落区域图像分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0145] 请参阅图7，图7是本发明一实施例中计算机设备的另一结构示意图,在一个实施例中，提供了一种计算机设备，该计算机设备为服务端设备或客户端设备，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的数据库进行通信。该计算机程序被处理器执行时，可以实现一种基于级联分割网络的菌落区域图像分割方法的功能或步骤。
[0146] 在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。
[0147] 需要说明的是，上述关于计算机可读存储介质或计算机设备所能实现的功能或步骤，可对应参阅前述方法实施例的相关描述，为避免重复，这里不再一一描述。
[0148] 上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、图形处理器(Graphics Processing Unit，简称GPU)，网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0149] 以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
[0150] 本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0151] 附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
