[0001] 本发明属于医学图像分割技术领域，尤其涉及一种基于奖励函数引入先验知识的医学图像分割方法。

[0002] 医学图像对许多重大疾病的诊断起着至关重要的作用，例如结构和功能分析，诊断和治疗等，其中肿瘤病灶分割具有十分重大的意义。从临床实际应用的角度，医学影像的目标是在临床诊断中辅助医生。但仅仅能在CT图像中预测出是否有病灶的模型是不能满足医生的要求的。此外，还需要呈现病灶的切片位置、单切片分割的置信度，以及在没有穿刺测试的情况下是否可以区分良性或恶性肿瘤。传统的人工分割标注方法对医学图像病灶分割效率低下，其性能很大程度上取决于标注者的经验和医学领域知识。

[0003] 近年来深度学习在计算机视觉领域迅速崛起，并逐渐与医学图像分割相紧密关联起来，但医学图像分割不仅需要计算机视觉方面的知识，还需要医学领域的先验知识作为模型设计的理论支持。现有的大多数方法都是从自然图像分割方法中学习的，忽略了医学特征。此外，注释医学图像的团队包括专家、受训人员和外行，这会影响数据注释的可靠性，并限制分割模型在实际场景中的有效性。针对该问题，本发明提出一种基于奖励函数引入先验知识的医学图像分割方法以解决现有技术中存在的问题。

[0043] 需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

[0044] 需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

[0045] 根据图1、图2所示，本实施例提供了一种基于奖励函数引入先验知识的医学图像分割方法，包括以下步骤：

[0046] 步骤一、获取公开的医学CT图像数据集(如肾癌CT数据集KiTS19)。

[0047] 步骤二、基于前步的图像数据集，设计并得到奖励函数。

[0048] 在本实施例中，设计奖励函数过程中，将每个像素视做一个智能体，单个智能体的局部奖励设计逻辑是基于交叉熵增益的。

[0049] 具体来说，将奖励Pi设计为像素的预测值和实际标签之间的差异，[0050]

[0051] 为了在约束的方向上更新模型，将前述的得分称为比较和超越，对于基准，智能体的概率更接近真实像素标签，智能体将获得正奖励，反之亦然。每个智能体的反馈ri定义如下

[0052]

[0053] 则有

[0054]

[0055] 其中γ表示折扣因子，V(s(t))表示网络的输入s(t)的预期总奖励，Ri表示单个智能体最初的奖励，Pi表示重新定义后的奖励，yi∈(‑1,+1)表示像素标签，t表示步骤t，ri表示为每个智能体最终实际的奖励。

[0056] 步骤三、在所述奖励函数中引入所述图像数据集中的CT图像的前景‑背景比引入，得到改进的奖励函数。

[0057] 与在网络拟合过程中修改损失函数不同，在本实施例中，将外部知识引入到强化学习网络的反馈(奖励)函数设计中。为了缓解前景区域与背景区域的面积比不平衡问题，将医学图像的前景‑背景比作为先验知识引入到全局奖励函数当中，引入图像前景‑背景比后的奖励函数是基于以下公式而改进的，该公式为

[0058]

[0059] 其中R(t)表示所有像素总预期奖励的平均值， 表示第步骤t的奖励，N表示总像素数。

[0060] 由于医学图像分割可以看成是一种像素二元分类，感兴趣区域所占的像素数量远少于其他部分的数量，而前景与背景的比例会影响最终的分割效果。基于此，用改进的奖励函数公式替换了上述公式，即替换为

[0061]

[0062] 其中α∈(‑1,0)表示一个超参数，我们使用函数f(x)＝x+0.2/x，这是一个单峰函数，最小值为 NFront表示预测图的前景区域，NBack表示预测图的背景区域，以鼓励病变区域占总图像的40％～50％，随着像素级RL(强化学习网络)的表示学习，在屏蔽不利于分割或与任务无关的patch后，预测图的前景‑背景比例将逐渐接近最有利于分割的比例；

[0063] 步骤四、在所述改进的奖励函数中引入先验知识实例的近似难度，得到最终的奖励函数。

[0064] 在本实施例中，基于强化学习动作空间的设置，引入了实例的近似难度作为先验知识，以探索对相邻像素值的考虑程度，使得每个智能体不仅可以注意到自己，还可以注意到相邻范围内其它智能体的策略和值。

[0065] 其中引入实例的近似难度作为先验知识是基于强化学习动作空间的设置，具体动作应设置为{mask,retain}，遮盖住那些对分割有不好影响的部分，保留那些对分割有益的部分，并允许智能体在不同情况下不同程度地调整动作选择。例如，当前patch的预测值更接近标签时，可以考虑选择更好的动作。

[0066] 其次将先验知识实例的近似难度引入到奖励函数的方式为：

[0067] 设置CT图像数据集D＝{(x1,y1),(x2,y2),…,(xN,yN)}，xi表示输入像素，yi∈{‑1,+1}表示像素标签，每个实例的输入像素xi(i＝1,2,…,N)对应于部分感受窗口区域Fi＝{(xp,yp)|p＝1,2,…,P}。ADI函数表示为

[0068]

[0069] |Fi|表示部分感受野中的像素数。这里， 显然，如果Fi中所有实例的标签与xi相同，则 成立，如果Fi中所有实例的类标签与xi不同，则 成立。因此，本实施例将 替换如下

[0070](t) (t)

[0071] 其中γ表示折扣因子， 表示第步骤t的奖励，V(s )表示网络的输入s 的预期总奖励；

[0072] 步骤五、使用所述最终的奖励函数替换强化学习网络中的奖励函数，并进行强化网络训练，最后通过分割网络输出最终的分割结果图。

[0073] 在本实施例中，通过将强化学习网络中的奖励函数替换为引入外部先验知识的最终奖励函数后，并使用其指导强化网络进行训练，然后通过分割网络输出最终的分割结果图。

[0074] 具体的，输入图像后，经过强化网络训练，其输出继续作为分割网络的输入，由CNN‑Transformer网络结合所组成的分割模型作为编码器以及级联上采样器来实现病灶的精准定位与精确分割，得到最终的分割结果图，分割模型的具体结构见图2。

[0075] 如图3所示，为本实施例提供的一种基于奖励函数引入先验知识的医学图像分割方法的验证试验，该验证试验包括：

[0076] 步骤一、数据集的选取。共选取了两个二维肾肿瘤CT数据集进行实验，分别为KiTS19与JLUKT数据集。

[0077] KiTS19挑战赛数据：210例具有临床背景、CT语义分割和手术结果的肾肿瘤病例。2010‑2018年期间，将明尼苏达大学医学中心所有接受肾部分切除术或根治性肾切除术的患者纳入数据库，从中随机抽取300例接受肾切除术的患者的综合临床结果。我们只分割整个的肾脏肿瘤，训练样本个数为168，测试样本个数为42。

[0078] JLUKT肾脏肿瘤数据：2009‑2020年间，吉林大学白求恩第二临床医院对不同的肾癌患者进行了CT增强检查，并将其数据纳入数据库。提供61个肾肿瘤CT数据。训练样本个数为49，测试样本个数为12。

[0079] 步骤二、数据预处理。在获取到的二维肾肿瘤CT数据集中，每个病例均包含若干张连续的切片数据，大部分切片中不含病灶，其中只有少量切片存在病灶，此外，每张CT切片均有其一一对应的标签数据。在进行实验前，需先对数据集进行预处理及数据增强操作，以保证实验具有更高的准确性，包括图像二值化、膨胀与腐蚀、直方图均衡化及随机旋转与平移等操作；

[0080] 步骤三、实验的设置。实验将在Ubuntu操作系统显卡为NVIDIA RTX 3090的硬件平台上完成，并采用目前最流行的深度学习框架pytorch，主要用到matplotlib，re，pydicom等工具包，再结合pycharm完成最终实验。实验中各参数设置如下：

[0081] 迭代次数：100个epoch

[0082] 优化器：Adam

[0083] 学习率：10‑2

[0084] 批次处理batch size：10

[0085] 轮数：50

[0086] 每轮的长度t_max：4

[0087] 动作空间n_action：2

[0088] 折扣因子γ：0.95

[0089] 实验中使用初始纯分割模型的参数来初始化强化模型，使模型收敛更快。分割模型的下采样部分由Transformer的编码器设计，上采样部分由隐藏特征的多步解码输出最终的分割掩码，我们也使用skip‑connection形成U型结构，从而将基于Transformer的MSA结构与CNN结构相结合，使两者相得益彰，对于不同的数据集，使用Nvidia RTX3090 GPU，训练时间从几个小时到三天不等。在我们的模型中，每一步的预测推理时间为422ms；

[0090] 步骤四、评价指标。主要采用Dice相似系数作为肾癌CT图像肿瘤分割性能的主要评价指标，其次还使用Hausdorff系数作为其辅助评价指标。

[0091] Dice系数的本质是衡量两个集合样本的相似度，它是一种集合相似度度量函数。Dice系数最初源于二分类问题，后来被广泛应用于医学影像分割之中。在医学图像分割任务中主要是对最终分割出的结果与真实的标注区域(Ground Truth)两者之间的重叠比例进行计算，值的范围为0～1，分割结果最好时为1，最差时为0。若将分割结果围住的区域记作A，Ground Truth围住的区域记作B，则评价指标Dice系数可表示为：

[0092]

[0093] Hausdorff指标即豪斯多夫距离，是描述两组点集之间相似程度的一种量度。Dice系数对分割出的内部填充比较敏感，而Hausdorffdistance则对分割出的边界比较敏感，计算值越小越好，其定义如下：

[0094]

[0095] 步骤五、分割结果的评估。通过比较训练不同模型的损失。发现ADI可以加快模型的早期收敛速度，该模型考虑了相邻像素的状态。其次，将前景‑背景比与ADI相结合，增加了模型探索空间。这导致模型在训练早期的收敛速度较慢，但实验的分割结果可以得到改善。使用ADI的强化学习的性能优于没有ADI的版本，原因是重定义了每个智能体的平均奖励，在引入ADI功能后，模型的局部奖励更加清晰，并且随着外部知识的嵌入，模型的得分也随之上升，也意味着最终的分割结果更加精确，更贴合于真实病灶的情况。

[0096] 以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。