[0001] 本发明涉及医学图像处理技术领域，特别涉及一种视网膜眼底图像的单阶段分割方法、一种计算机可读存储介质、一种计算机设备和一种视网膜眼底图像的单阶段分割装置。

[0002] 在青光眼筛查任务中，已有诸多采用深度学习技术进行探索的研究工作。目前，在眼底图像分割任务上，越来越多的相关研究工作被逐步提出。眼底图像分割是一项有挑战的任务，主要体现在视盘和视杯区域在整张眼底图像中占比较小，存在严重的正负样本不均衡的问题，模型收敛困难；另外，眼底图像中视杯位于视盘内，但视盘和视杯之间界限模糊，区分难度大。

[0003] 上述的眼底图像分割研究工作中，大多数方法均将眼底图像分割过程划分为两个阶段；首先需要目标检测模型定位视杯视盘的位置，裁剪出固定尺寸的感兴趣区域(ROI)，然后再使用卷积网络实现图像分割。然而，这类方法在第二阶段的分割性能受限于检测性能，这会造成视杯视盘分割性能不稳定；另外，由于该任务级联了检测和分割两个模型，分割速度较慢。

[0042] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

[0043] 为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

[0044] 为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

[0045] 图1为根据本发明实施例的视网膜眼底图像的单阶段分割方法的流程示意图，如图1所示，本发明实施例的视网膜眼底图像的单阶段分割方法包括以下步骤：

[0046] S101，构建分割网络模型，其中，分割网络模型包括卷积特征提取器、U形模块、辅助任务模块和语义聚合模块。

[0047] 需要说明的是，如图2所示，分割网络模型是一个端对端的多标签语义深度分割网络，能够在视杯和视盘联合分割任务上使其分割速度和分割性能均有显著提升；分割网络模型主要包括以下四个部分组成：1、卷积特征提取器，其利用堆叠卷积层学习视盘和视杯相关的全局语义信息；2、U形模块，其利用堆叠的卷积层学习与当前任务相关的深度语义特征，学习从深度特征到语义二值图的映射；3、辅助任务模块，其利用根据语义标注获得的弱标记，在特征空间对视盘视杯区域进行预定位，提升模型的学习能力；4、语义聚合模块，聚合图像块特征，恢复原始尺寸特征图，并进行语义预测。

[0048] S102，获取视网膜眼底图像数据，视网膜眼底图像数据包括多个视网膜眼底图像样本，每个视网膜眼底图像样本包括视网膜眼底图像和对应的语义标注图。

[0049] 也就是说，将视网膜眼底图像和对应的分割好的语义标注图作为训练数据集。

[0050] S103，将视网膜眼底图像输入到卷积特征提取器，视网膜眼底图像对应的语义标注图输入到辅助任务模块对分割网络模型进行训练，以便在训练过程中采用辅助任务模块对分割目标的位置进行预定位。

[0051] 需要说明的是，由于视盘和视杯的在整张眼底图像中的占比较小，因此直接进行端对端学习容易造成训练困难。一方面，常规的解决策略是先对视盘区域进行检测，再提取视盘的ROI，最后将提取到的ROI送入语义分割网络进行精分割。另一方面，还存在另一种方法，其先分割占比较大的视盘区域，再将视盘区域作为先验，最后辅助分割视杯区域。然而，上述两种方法均不是端到端的方法，推理时间较长。为解决上述问题，引入多任务学习策略，将视盘和视杯语义标注提供的位置信息做弱标记参与到网络训练中。在特征空间对视盘和视杯的位置进行预定位，提升模型训练效率。

[0052] 作为一个实施例，在训练过程中采用辅助任务模块对分割目标的位置进行预定位，包括：根据预定义的图像块划分数目对语义标注图进行网格划分操作，以得到多个语义标注图像块；根据划分后的多个语义标注图像块判断对应的网格标注，如果当前网格内存在目标物，则该网格标签定义为1，否则为0；采用全连接网络将U形模块学习到的每张全局特征图像块对应的语义特征图映射到0或者1，以便对分割目标的位置进行预定位。

[0053] 也就是说，如图4所示，首先根据预定义的图像块划分数目将语义标注图进行同样的划分操作；然后根据划分后的语义标注图像块判断当前网格标注；若网格内存在目标物，则该网格标签定义为1，否则为0；最后利用全连接网络将U形模块学习到的图像块特征映射到0‑1之间，使得网络学习到的特征可以用于判断该图像块是否包含目标物；即言，在训练过程中通过辅助任务模块输出0‑1之间的浮点数，表示概率，即这块区域是否包含目标物，以便用于稳定训练过程；另外，由于视杯位于视盘之内，因此只考虑视盘的语义标注信息。

[0054] 作为一个实施例，根据以下损失函数对分割网络模型进行训练：

[0055]

[0056]

[0057]

[0058]

[0059] 其中，Lpatch表示图像块语义损失函数，M表示图像块划分数目，K表示类别数目，N表示图像中的像素数目，g表示图像块的类别真值，p表示图像块的预测值，wk表示不同类别的权重；Llocate表示辅助任务损失函数，ym代表逻辑值，其值为0或者1；Lglobal表示全局语义损失函数，P表示全局预测值，G表示全局真值。

[0060] 也就是说，分割网络模型的损失函数由三个部分组成，首先是图像块语义损失函数，用于优化U型模块对语义特征的学习能力；其次是辅助任务损失函数，在特征空间对目标区域进行预定位；最后是全局语义损失函数，用于优化模型的最终预测结构；其中，图像块语义损失函数和全局语义损失函数使用交叉熵损失和dice损失的加权和进行优化，称之为分割损失，辅助任务损失函数使用二元交叉熵损失进行优化。

[0061] 另外，作为一个具体实施例，训练时，使用Adam优化器对模型进行优化，α和β设置为0.5和0.999。初始学习率设为0.001，每2轮迭代学习率衰减0.1，共训练100轮；首先，将所有图像重采样到特定尺寸后输入网络，得到不同图像块的预测结果以及全局预测结果；其次，再根据利用最近邻差值方法将图像标签重采样到相同尺寸，并获取若干与划分图像块对应的图像块标注；最后，分别使用全局标注和图像块标注与全局预测结果和图像块预测结果计算损失；在预测阶段，直接使用全局预测结果作为最终的预测结果。

[0062] S104，获取待分割的视网膜眼底图像，并基于训练好的分割网络模型对待分割的视网膜眼底图像进行分割，以生成待分割的视网膜眼底图像对应的目标分割结果图。

[0063] 作为一个实施例，如图6所示，基于训练好的分割网络模型对待分割的视网膜眼底图像进行分割，以生成待分割的视网膜眼底图像对应的目标分割结果图，包括：

[0064] S201，将待分割的视网膜眼底图像输入到卷积特征提取器以生成全局特征图，并根据预设划分方式对全局特征图进行网格划分，以得到对应的多张全局特征图像块。

[0065] 需要说明的是，待分割的视网膜眼底图像的尺寸设置为512×512，由于需要对整张图像进行划分，直接对输入数据进行图像块划分会造成不同图像块之间的信息割裂，造成整张图像的全局信息丢失，因此，在划分图像块前首先使用卷积网络提取全局特征。由于输入的图像的尺寸为512×512，所以使用6个以上的3×3的卷积核对图像进行处理，可以让最后一层特征层捕获全局信息。后续，将最后一层特征图划分为若干网格，分别将网格对应的图像块送入U形模块分别处理，获得视杯视盘分割相关的语义特征。

[0066] S202，将多张全局特征图像块输入到U形模块以生成每张全局特征图像块对应的语义特征图。

[0067] 需要说明的是，U形模块是一种全卷积网络，利用下采样层逐步提取深度语义特征，并通过上采样层逐步恢复特征图尺寸，实现输入图像到语义结果的映射。另外，U形模块引入skip‑connect，实现浅层特征和深层特征的直接通信。一方面可以让网络优化更加高效，另一方面，可以让特征具有更强的语义，提升下游任务的预测性能。引入U形模块提取图像块的语义特征，同时对图像块的语义标注进行预测。作为一个示例，U形模块对输入图像进行五次下采样，提取多尺度特征，并使用反卷积层逐步将特征图恢复到原始尺寸。详细的U形模块示意图如图3所示，所有的图像块共享一个U形模块。

[0068] S203，将每张全局特征图像块对应的语义特征图输入到语义聚合模块，以便根据预设划分方式对每张全局特征图像块对应的语义特征图进行拼接。

[0069] S204，将拼接后的语义特征图和全局特征图进行特征拼接，并提取特征拼接后的全局特征以得到生成目标分割结果图。

[0070] 需要说明的是，如图5所示，由于将整张眼底图像划分为若干图像块，仅有部分图像块中包含视盘和视杯。如果直接拼接每个图像块的分割结果，则可能造成最终分割结果的不完整。这是因为，使用U形模块提取图像块特征时，不同图像块之间的全局信息丢失，会影响最终的预测结果。因此，不是直接拼接预测结果，而是将U形模块提取到的图像块特征图进行聚合，再利用卷积网络学习图像块之间的全局特征，提升最终的预测性能。作为一个具体实施例，首先将U型模块学习到的特征图按最初的划分方式进行拼接；然后将拼接后的特征图与划分前的特征图进行特征拼接；最后再利用卷积网络进一步提取全局特征，并进行预测，以得到视杯视盘分割结果图。这里同样借鉴了U形模块中的skip‑connect设计，一方面可以增强全局特征的提取能力，另一方便可以提升梯度传播效率。

[0071] 另外，如图7所示，由于分割网络模型将预定位作为多任务引入到模型的学习中，且能抑制前景背景比例不一致导致的训练不稳定问题，所以本申请的分割网络模型对整张眼底图像和眼底图像块上的分割均能保持较高的分割性能，通过将本申请的分割网络模型GlauSeg‑Net在视网膜眼底图像的视杯视盘分割结果与其他模型分割结果进行对比，本申请的分割性能上明显优于其他网络模型的分割性能。

[0072] 综上所述，根据本发明实施例的视网膜眼底图像的单阶段分割方法，首先，构建分割网络模型，其中，分割网络模型包括卷积特征提取器、U形模块、辅助任务模块和语义聚合模块；然后，获取视网膜眼底图像数据，视网膜眼底图像数据包括多个视网膜眼底图像样本，每个视网膜眼底图像样本包括视网膜眼底图像和对应的语义标注图；接着，将视网膜眼底图像输入到卷积特征提取器，视网膜眼底图像对应的语义标注图输入到辅助任务模块对分割网络模型进行训练，以便在训练过程中采用辅助任务模块对分割目标的位置进行预定位；最后，获取待分割的视网膜眼底图像，并基于训练好的分割网络模型对待分割的视网膜眼底图像进行分割，以生成待分割的视网膜眼底图像对应的目标分割结果图；由此，利用弱标记在特征空间对目标进行预定位，从而实现端到端的视杯和视盘分割，且克服了两阶段分割的弊端，提升了分割效率和精度。

[0073] 另外，本发明实施例还提出了一种计算机可读存储介质，其上存储有视网膜眼底图像的单阶段分割程序，该视网膜眼底图像的单阶段分割程序被处理器执行时实现如上述的视网膜眼底图像的单阶段分割方法。

[0074] 根据本发明实施例的计算机可读存储介质，通过存储有视网膜眼底图像的单阶段分割程序，这样视网膜眼底图像的单阶段分割程序被处理器执行时实现上述的视网膜眼底图像的单阶段分割方法，由此，利用弱标记在特征空间对目标进行预定位，从而实现端到端的视杯和视盘分割，且克服了两阶段分割的弊端，提升了分割效率和精度。

[0075] 另外，本发明实施例还提出了一种计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述的视网膜眼底图像的单阶段分割方法。

[0076] 根据本发明实施例的计算机设备，通过存储器存储视网膜眼底图像的单阶段分割程序，这样视网膜眼底图像的单阶段分割程序被处理器执行时实现上述的视网膜眼底图像的单阶段分割方法，由此，利用弱标记在特征空间对目标进行预定位，从而实现端到端的视杯和视盘分割，且克服了两阶段分割的弊端，提升了分割效率和精度。

[0077] 为了实现上述实施例，本发明实施例提出了一种视网膜眼底图像的单阶段分割装置，如图8所示，该视网膜眼底图像的单阶段分割装置包括：构建模块10、获取模块20、训练模块30和分割模块40。

[0078] 其中，通过构建模块10构建分割网络模型，其中，分割网络模型包括卷积特征提取器、U形模块、辅助任务模块和语义聚合模块；获取模块20获取视网膜眼底图像数据，视网膜眼底图像数据包括多个视网膜眼底图像样本，每个视网膜眼底图像样本包括视网膜眼底图像和对应的语义标注图；训练模块30将视网膜眼底图像输入到卷积特征提取器，视网膜眼底图像对应的语义标注图输入到辅助任务模块对分割网络模型进行训练，以便在训练过程中采用辅助任务模块对分割目标的位置进行预定位；分割模块40获取待分割的视网膜眼底图像，并基于训练好的分割网络模型对待分割的视网膜眼底图像进行分割，以生成待分割的视网膜眼底图像对应的目标分割结果图；由此，利用弱标记在特征空间对目标进行预定位，从而实现端到端的视杯和视盘分割，且克服了两阶段分割的弊端，提升了分割效率和精度。

[0079] 作为一个示例，分割模块40还用于将待分割的视网膜眼底图像输入到卷积特征提取器以生成全局特征图，并根据预设划分方式对全局特征图进行网格划分，以得到对应的多张全局特征图像块；将多张全局特征图像块输入到U形模块以生成每张全局特征图像块对应的语义特征图；将每张全局特征图像块对应的语义特征图输入到语义聚合模块，以便根据预设划分方式对每张全局特征图像块对应的语义特征图进行拼接；将拼接后的语义特征图和全局特征图进行特征拼接，并提取特征拼接后的全局特征以得到生成目标分割结果图。

[0080] 作为一个示例，训练模块30还用于根据预定义的图像块划分数目对语义标注图进行网格划分操作，以得到多个语义标注图像块；根据划分后的多个语义标注图像块判断对应的网格标注，如果当前网格内存在目标物，则该网格标签定义为1，否则为0；采用全连接网络将U形模块学习到的每张全局特征图像块对应的语义特征图映射到0或者1，以便对分割目标的位置进行预定位。

[0081] 作为一个示例，根据以下损失函数对分割网络模型进行训练：

[0082]

[0083]

[0084]

[0085]

[0086] 其中，Lpatch表示图像块语义损失函数，M表示图像块划分数目，K表示类别数目，N表示图像中的像素数目，g表示图像块的类别真值，p表示图像块的预测值，wk表示不同类别的权重；Llocate表示辅助任务损失函数，ym代表逻辑值，其值为0或者1；Lglobal表示全局语义损失函数，P表示全局预测值，G表示全局真值。

[0087] 需要说明的是，上述关于图1中视网膜眼底图像的单阶段分割方法的描述同样适用于该视网膜眼底图像的单阶段分割装置，在此不做赘述。

[0088] 综上所述，根据本发明实施例的视网膜眼底图像的单阶段分割装置，通过构建模块构建分割网络模型，其中，分割网络模型包括卷积特征提取器、U形模块、辅助任务模块和语义聚合模块；获取模块获取视网膜眼底图像数据，视网膜眼底图像数据包括多个视网膜眼底图像样本，每个视网膜眼底图像样本包括视网膜眼底图像和对应的语义标注图；训练模块将视网膜眼底图像输入到卷积特征提取器，视网膜眼底图像对应的语义标注图输入到辅助任务模块对分割网络模型进行训练，以便在训练过程中采用辅助任务模块对分割目标的位置进行预定位；分割模块获取待分割的视网膜眼底图像，并基于训练好的分割网络模型对待分割的视网膜眼底图像进行分割，以生成待分割的视网膜眼底图像对应的目标分割结果图；由此，利用弱标记在特征空间对目标进行预定位，从而实现端到端的视杯和视盘分割，且克服了两阶段分割的弊端，提升了分割效率和精度。

[0089] 本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。

[0090] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

[0091] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

[0092] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

[0093] 应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

[0094] 尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

[0095] 显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

[0096] 在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

[0097] 在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

[0098] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。

[0099] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0100] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。