技术领域
[0001] 本发明涉及医学影像技术领域，尤其涉及一种基于部分标注数据学习的多器官分割方法。
相关背景技术
[0002] 随着深度卷积神经网络的发展，深度卷积神经网络在单器官分割方面表现出良好的性能。然而，在临床应用中经常面临多器官分割问题。使用单器官分割算法对多个器官进行独立分割，虽然简单明了，但却失去了图像的全局性。因此，分割性能可能会下降。
[0003] 然而，为训练算法收集多器官标注比为单个器官数据集标注要困难得多。在医学图像分析领域，大部分的数据出于各种研究目的标注的是不同的潜在危险器官。如果能够将这些多单一器官标注的数据集结合起来训练一个多器官分割网络，通过多器官分割网络对图像进行多器官分割，将具有极大的优势。
具体实施方式
[0022] 由背景技术可知，现有的采用单器官分割算法对多个器官进行分割的方法影响了图像的全局性和分割性能，如何将多个单一器官标注的数据集结合起来训练一个多器官分割网络，并通过多器官分割网络对图像进行多器官分割，是亟待解决的技术问题。
[0023] 目前，放射治疗是许多癌症的重要治疗选择，它可以作为手术前后的辅助治疗，也可以作为根治性治疗与化疗联合使用。然而，辐射会导致正常器官(危及器官)的损伤。比如在治疗头颈部癌症时，因为这一区域的重要器官解剖结构复杂，分布密集。损伤头颈部的正常器官可导致一系列并发症，如口干、口腔黏膜损伤、喉水肿、吞咽困难、张口困难、视力下降、听力下降和认知障碍等。近年来，随着肿瘤放疗疗效的稳步提高，影响患者生活质量的放疗并发症越来越受到关注。减轻放疗毒副作用的研究具有重要的临床和社会意义。在放疗计划中，减少放疗副作用的一个关键步骤是精确勾画所有危及器官，以便它们在放疗中得到保护。危及器官勾画通常是由放射肿瘤学家基于计算机断层扫描图像手工完成的，根据需要勾画的危及器官数量和局部解剖结构的复杂性，这可能需要大量的时间和精力，人工勾画尤其令人生畏。如果能够在合理的时间内准确地勾画出危及器官，自动分割解剖区域的计算工具将大大减轻临床医生的手工工作量。
[0024] 基于深度学习的医学图像分割方法已被广泛应用于对给定的2D/3D医学图像进行像素/体素分类，显著提高了多器官自动分割的性能。然而，目前几乎所有的分割模型都依赖于完全注释的数据。管理大规模的全注释数据集是一项具有挑战性的任务，既昂贵又耗时。现有标记数据集样本量低且多为部分标记。也就是说，一个数据集只标记了一个器官，而不是所有器官。这种部分注释的数据集避免了使用需要完全监督的分割方法，也是多器官分割研究领域的瓶颈。如何充分利用这些部分标注的数据来提高分割精度和鲁棒性，成为具有实际需要的研究问题。
[0025] 在多器官分割方面，利用传统的机器学习方法或深度学习方法已经开展了许多开创性的工作。采用基于多图谱的分割策略，将未见的测试图像与多幅训练图像配准，并利用配准图传播训练图像中的标签以生成最终分割结果。然而，其性能受到图像配准质量的限制。利用统计模型的先验知识实现多器官分割和直接使用深度学习语义分割网络进行多器官分割等这些方法都只有在全监督的情况下才能取得令人满意的结果。但医学放射学图像的注释仍然非常昂贵，因为它必须由经验丰富的放射学家处理，并由额外的专家仔细检查，这导致缺乏高质量的带标签训练数据。为了满足不同的研究目标或实际用途，这些数据集针对不同的器官进行标注，如何充分利用这些部分标注数据构建一个对器官分割网络是一个关键问题，如何有效地将解剖先验，如器官形状、大小，与分割模型结合起来仍是一个开放的问题。
[0026] 为了解决上述技术问题，实现“将多个单一器官标注的数据集结合起来训练一个多器官分割网络，并通过多器官分割网络对图像进行多器官分割”这一目标，本发明提出了一种基于部分标注数据学习的多器官分割网络以及通过该多器官分割网络对多器官进行分割的方法。该多器官分割网络采用特征金字塔输入输出构建不同尺度下的语义特征，并基于图像的上下文的自适应权重层融合多尺度的分割特征，并加入基于器官大小分布先验知识的先验损失辅助和软约束来规范不同器官的平均输出尺寸分布应该与它们先验比例近似，使得该多器官分割网络能够对输入图像的每个器官进行精确分割。该多器官分割网络仅使用少量的全标注数据集，充分利用了具有部分标注的数据集就可以达到对多器官分割的性能。
[0027] 下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
[0028] 参看图1，本发明提供了一种基于部分标注数据学习的多器官分割方法，包括以下步骤：
[0029] 步骤S1、构建不同尺度下的语义特征，获取不同尺度下的图像；图像包括多个器官的图像。
[0030] 步骤S2、基于图像的上下文的自适应权重层融合不同尺度下的分割特征，并基于器官大小分布的先验损失，调整不同器官的输出尺寸均值，使每个器官的输出尺寸均值与每个器官的先验比例值近似，获取多器官分割网络。
[0031] 步骤S3、基于多器官分割网络，对图像的每个器官进行分割。
[0032] 本发明涉及基于部分标注数据集的多器官分割网络的训练和优化以及对输入医学图像多器官分割测试两个部分，目的是基于对多个不同单个器官标注的数据集能够训练出单个的多器官分割网络，能够充分的利用这些部分标注的数据集来提高对多器官分割的性能，实现精确的分割。本发明的分割方法包括采用特征金字塔输入输出构建不同尺度下的语义特征，并基于图像的上下文的自适应权重层融合多尺度的分割特征，加入基于器官大小分布先验知识的先验损失辅助和软约束来规范不同器官的平均输出尺寸分布应该与它们先验比例近似。
[0033] 需要说明的是，步骤S1中，通过金字塔特征提取网络，即为：先逐层下采样进行特征融合，直至融合为一个特征，再以该特征所在层开始，逐层上采样进行特征融合。本发明中对于金字塔特征提取网络，输入多尺度并引入了基于图像的上下文的自适应权重层融合多尺度的分割特征，吸收图像的丰富信息。步骤S2中，基于图像的上下文的自适应权重层融合不同尺度下的分割特征，是将一个尺度图像的采样特征与邻近的上一尺度图像，或一个尺度图像的采样特征与邻近的下一尺度图像的采样特征进行融合。
[0034] 在一些实施例中，所述多器官分割网络包括多个数据集，所述数据集包括完全标注的数据集和部分标注的数据集；所述完全标注的数据集包括对每个器官进行标注的数据集；所述部分标注的数据集包括对部分器官进行标注的数据集。
[0035] 前面提到，为训练算法收集多器官标注比为单个器官数据集标注要困难得多。现有标记数据集样本量低且多为部分标记。通常一个数据集只标记了一个器官，而不是所有器官。这种部分注释的数据集避免了使用需要完全监督的分割方法，但也是多器官分割研究领域的瓶颈。本发明的多器官分割网络能够充分利用这些部分标注的数据集的数据来提高分割精度和鲁棒性，解决现有的分割方法欠缺图像的全局性以及分割性能不佳的问题。
[0036] 在一些实施例中，所述数据集包括LiTS数据集、KiTS数据集、Spleen数据集以及BTCV数据集。具体的，LiTS数据集仅包含肝脏和肿瘤的分割标注，KiTS数据集仅包含肾脏和肿瘤的注释，Spleen数据集仅包含对脾脏的分割标注，BTCV数据集包含了对肝脏、肾脏和脾脏的全部标注。
[0037] 上述实施方式相对现有技术采用单器官分割算法对多个器官进行独立分割，没有失去图像的全局性，而且也保证了分割性能。通过使用完全标注的数据集(全标签数据集)粗训练，再使用部分标注的数据集(单标签数据集)对网络参数进行微调，提高了多器官分割网络的精确性，从而保证了器官分割的精确性。全标签数据集可以通过医学影像数据集制作获取。单标签数据集，可以是现有的，比如前面提到的LiTS数据集、KiTS数据集以及BTCV数据集等。为了提高模型的收敛速度，在一个实施方式中，对单标签数据集采用动态调整学习率学习，对多器官分割网络进行网络参数进行微调。
[0038] 在一些实施例中，采用金字塔输入输出构建不同尺度下的语义特征。
[0039] 在一些实施例中，所述语义特征包括：数据标准化、扫描数据的内部结构一致以及内部器官具有固定的解剖和空间关系。
[0040] 在医学图像分析中，对于常见的数据集我们假设有以下特征：数据标准化，扫描数据的内部结构是一致的以及内部器官具有解剖和空间关系，如胃、十二指肠、小肠和结肠以固定顺序连接。我们可以假设平均器官的大小分布应该接近它们的经验分布，通过计算完全标签数据集的器官大小统计信息可以获得此先验损失。
[0041] 一些示例性实施例中，所述采用金字塔输入输出构建不同尺度下的语义特征，获取不同尺度下的图像，包括：获取医学影像数据集，并为所述医学影像数据集作的图像中所有器官制作分割标签；对所述医学影像数据集中的数据进行空间金字塔池化操作，获取不同尺度下的图像。
[0042] 具体的，通过对所述医学影像数据集中的数据进行空间金字塔池化操作，获取不同尺度下的图像，一种实现方式为：
[0043] 将待识别图像，通过空间金字塔池化，获取不同尺度层次化特征图；
[0044] 将层次化特征图按尺度从大到小排列，每个尺度对应金字塔特征提取网络的输入层；
[0045] 在金字塔特征提取网络的中间层，从输入层开始，先逐层下采样进行特征融合，直至融合为一个特征，再以该特征所在层开始，逐层上采样进行特征融合，从而获得各尺度的融合特征。
[0046] 其中，金字塔特征提取网络结构示意图如图3所示，结合图3，可帮助理解：先逐层下采样进行特征融合，直至融合为一个特征，再以该特征所在层开始，逐层上采样进行特征融合。这个实现过程具体为：
[0047] 步骤S101、将每个特征图记作fi,j，i为大于等于1小于等于I的整数，j大于等于1小于等于J的整数，I与设置的尺度总数大小相同，J为金字塔特征提取网络的层数；
[0048] 步骤S102、对输入层的特征图fi,1进行下采样，获得fi,2，i为大于等于2小于等于I的整数，并将特征图f2,2和f1,1进行特征融合，并用融合特征更新特征图f2,2；
[0049] 步骤S103、对中间层的特征图fi,j进行下采样操作，获得特征图fi,j+1，i为大于j小于等于I的整数，将特征图fj+1,j+1和fj,j进行特征融合，并用融合特征更新特征图fj+1,j+1；重复下采样操作，直至获得特征图fI,I，完成逐层下采样进行特征融合；
[0050] 步骤S104、对中间层的特征图fi,j进行上采样操作，获得特征图fi,j+1，j为大于等于I，将特征图fi,j+1与fi‑1,i‑1进行特征融合，并用融合特征第j+1层的特征fi‑1,j+1；重复上采样操作，直至获得所有尺度的融合特征图fi,2I‑1，i为大于等于1小于等于I的整数，完成逐层上采样进行特征融合；
[0051] 步骤S105、对特征图fi,2I‑1进行上采样操作，将获得的特征图fi,2I输出，i为大于等于1小于等于I的整数。
[0052] 在图3中，一共5个尺度，金字塔特征提取网络一共9层。其中，从第1层到第5层，实现的是进行下采样特征融合，从第5层到第9层，实现的是进行上采样特征融合。在上采样特征融合过程中，是将一个尺度图像的上采样特征和邻近的上一尺度图像的下采样融合特征进行融合。
[0053] 为了提高分割的准确性，多器官分割网络将器官大小分布先验知识作为先验损失，作为辅助和软约束规范不同器官的平均输出尺寸分布应该与它们先验比例近似，使得该网络能够对输入图像的每个器官进行精确分割。器官大小分布先验知识的一种获取方式是从全标签数据集中统计获取。
[0054] 对上述实施方式中涉及的数据集，均假设其具有以下特征：数据标准化，图像上器官的结构一致，图像上器官具有解剖和空间关系，如胃、十二指肠、小肠和结肠以固定顺序连接。
[0055] 一些示例性实施例中，为所述医学影像数据集作的图像中所有器官制作分割标签之后，获取完全标签数据集。
[0056] 一些示例性实施例中，所述器官大小分布的先验损失的获取，包括：假设平均器官的大小分布接近平均器官的经验分布；计算所述完全标签数据集的器官大小统计信息；基于所述器官大小统计信息，获取所述器官大小分布的先验损失。
[0057] 一些示例性实施例中，所述基于所述多器官分割网络，对所述图像的每个器官进行分割，包括：在所述多器官分割网络中，基于所述图像的上下文的自适应权重层融合不同尺度下的分割特征，吸收图像的丰富信息，获取训练模型；对所述训练模型进行优化，获取分割模型；基于所述分割模型，对所述图像的每个器官进行分割。
[0058] 图2示出了通过多器官分割网络对多器官进行分割的流程示意图。如图2所示，为了实现通过多器官分割网络对输入图像进行精确分割，首先，需要收集一个医学影像数据集并为图像中所有器官制作分割标签，对该数据集中的数据进行空间金字塔池化操作，可以得到不同尺度下的图像。该数据集主要用于金字塔特征网络的粗训练，目标是自然地利用卷积网络的层次特征的金字塔形状，创建一个在所有尺度上都有强语义信息的特征金字塔网络。在医学图像分析中，对于常见的数据集我们假设有以下特征：数据标准化，扫描数据的内部结构是一致的以及内部器官具有解剖和空间关系，如胃、十二指肠、小肠和结肠以固定顺序连接。我们假设平均器官的大小分布应该接近它们的经验分布，通过计算完全标签数据集的器官大小统计信息可以获得此先验。通过先验感知损失来实现，先验损失作为辅助和软约束，将不同器官的平均输出大小分布应近似于先前的比例。在金字塔特征网络中，引入了基于图像的上下文的自适应权重层融合多尺度的分割特征，吸收图像的丰富信息，进而实现对测试图像中多器官的准确分割。本发明中直接在完全标注和部分标注数据上交替训练和优化分割模型。从训练模型中挑选性能最好的模型，即可以实现单个网络模型对多器官的分割。
[0059] 一些示例性实施例中，依次在所述完全标注的数据集、所述部分标注的数据集的数据上交替训练和优化所述训练模型，获取分割模型。
[0060] 本发明提出了一种基于部分标注数据学习的多器官分割方法，一方面，该方法不需要对医学图像中的每个器官赋予分割标签就可以训练得到单个分割网络模型实现对图像中所有器官的分割。对于金字塔特征提取网络，输入多尺度并引入了基于图像的上下文的自适应权重层融合多尺度的分割特征，吸收图像的丰富信息。另外，本发明通过计算完全标记数据集的器官大小统计信息获得解剖学先验。
[0061] 与现有分割技术相比，本发明更好地利用部分标注数据集进行多器官分割。本发明提供了一种基于部分标注数据学习的多器官分割方法，通过设计一种基于部分标注数据来实现医学图像中的多器官分割网络，该多器官分割网络提取了不同尺度下的语义特征，并基于图像的上下文的自适应权重层融合多尺度的分割特征，加入基于器官大小分布先验知识的先验损失辅助和软约束来规范不同器官的平均输出尺寸分布应该与它们先验比例近似，使得该网络能够对输入图像的每个器官进行精确分割。
[0062] 由以上技术方案，本发明针对现有的多器官分割方法存在的使用单器官分割算法对多个器官进行独立分割，影响图像的全局性以及降低分割性能的问题，本发明提供一种基于部分标注数据学习的多器官分割方法，通过构建不同尺度下的语义特征，获取不同尺度下的图像；然后基于图像的上下文的自适应权重层融合不同尺度下的分割特征，并基于器官大小分布的先验损失，调整不同器官的输出尺寸均值，使每个器官的输出尺寸均值与每个器官的先验比例值近似，获取多器官分割网络；最后通过多器官分割网络对图像的每个器官进行分割。
[0063] 与现有分割技术相比，本发明能够更好地利用部分标注数据集进行多器官分割。另外，本发明不需要对医学图像中的每个器官赋予分割标签就可以训练得到单个分割网络模型实现对图像中所有器官的分割。其次，对于金字塔特征提取网络，输入多尺度并引入了基于图像的上下文的自适应权重层融合多尺度的分割特征，吸收图像的丰富信息，并通过计算完全标记数据集的器官大小统计信息获得先验损失；然后基于器官大小分布先验知识的先验损失调整不同器官的平均输出尺寸分布，使器官的平均尺寸分布与其先验比例近似，通过多器官分割网络实现对输入图像的每个器官进行精确分割。
[0064] 本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。
