[0001] 本公开涉及图像处理的领域，并且具体地涉及对图像进行降噪的领域。

[0002] 越来越多地使用医学成像模态/过程来在医学程序期间(例如，在诊断程序或外科手术程序期间)评估患者的状况。

[0003] 然而，由于信号形成和数据采集的统计性质，医学成像模态容易受到噪声的影响。这些噪声源损害了医学图像数据的诊断价值。出于这个原因，图像降噪不仅是许多通用图像处理工具的固有部分，而且在医学领域中对于改善图像质量并且因此改善所采集的医学图像数据的诊断价值也是极其重要的。

[0004] 对(医学)图像降噪的一种方法是使用机器学习方法(诸如卷积神经网络)来执行对(看似)噪声图像的降噪。然而，对于许多真实世界医学成像应用，没有用于训练机器学习方法的合适基准真相数据，因为没有完全无噪声的图像可用。此外，已经看到，当将机器学习降噪方法应用于图像时，输出通常产生噪声水平远低于基准真相噪声水平(例如，使用高质量捕获技术获得的图像的噪声水平)的结果。这是回归均值行为的示例，通常在使用均方误差(MSE)作为损失函数来优化用于图像到图像回归问题的机器学习模型时发生。

[0005] 因此，一直希望改善降噪的准确性。

[0043] 本发明将会参考附图来进行描述。

[0044] 应当理解，详细描述和具体示例在指示装置、系统和方法的示例性实施例的同时，仅旨在用于图示的目的，而不旨在限制本发明的范围。根据以下描述、权利要求书和附图将更好地理解本发明的装置、系统和方法的这些和其他特征、方面和优点。

[0045] 应当理解，附图仅仅是示意性的，并未按比例绘制。还应当理解，在整个附图中使用相同的附图标记来表示相同或相似的部件。

[0046] 本发明提供了一种用于生成部分降噪图像的机制。对通过使用卷积神经网络处理图像而获得的残余噪声图像进行加权。经加权的残余噪声图像与(原始)图像的混合或组合生成部分降噪图像。混合过程可以包括在组合经加权的残余噪声图像和经加权的(原始)图像之前对原始图像进行加权的步骤。

[0047] 实施例可以在任何合适的图像降噪环境中被采用，但是在被用于对医学图像进行降噪时是特别有利的。

[0048] 通常，本公开提供了一种用于生成部分降噪图像的机制。将图像和图像的经加权的噪声残余(或残余噪声图像)混合在一起以产生最终输出。

[0049] 图1是图示应用于图像190以生成部分降噪图像195的工作流程100的示意图。图像190可以是二维或三维的，并且包括多个像素。图像190在本公开中有时被称为“原始图像”。

[0050] 为了简明起见，本公开使用通用术语“像素”来指代(2D图像的)像素和(3D图像的)体素两者。图像的每个像素包括例如表示图像的一个或多个信道(例如，每个信道表示特定颜色，诸如在RGB协议中)的一个或多个值。在一些示例中，每个像素仅具有单个值(例如，单独表示光强度)。

[0051] 图像可以包括医学图像。医学图像的合适示例包括计算机断层摄影(CT)图像、磁共振(MR)图像、X射线图像、超声(US)图像、正电子发射断层摄影(PET)图像或单光子发射计算机断层摄影(SPECT)图像。

[0052] 在过程110期间，使用卷积神经网络111处理图像。卷积神经网络111处理图像190(的值)以生成表示图像的噪声内容的残余噪声图像193。用于使用卷积神经网络生成残余噪声图像(有时称为“噪声残余”)的过程对于本领域技术人员来说是显而易见的。

[0053] Zhang,K.、Zuo,W.、Chen,Y.、Meng,D.和Zhang,L.(2017.Beyond a gaussian denoiser:Residual learning of deep cnn for image denoising.IEEE Transactions on Image Processing,26(7),第3142‑3155页)公开了一种用于生成残余噪声图像的合适方法。其他方法对于本领域技术人员来说将是已知的。

[0054] 残余噪声图像的每个值可以与残余噪声图像的“像素”相关联，并且因此可以与总体残余噪声图像内的特定x和y(并且可选地，对于3D图像，z)位置相关联。

[0055] 在一些示例中，残余噪声图像的每个值表示图像190的相应不同像素(的值)的预测噪声水平。在其他示例中，残余噪声图像的值表示图像190的不同组像素(例如，表示区域或体积)(的值)的预测噪声水平。一般而言，残余噪声图像的每个值可以表示图像的一个或多个像素的集合的噪声内容，其中，每个值表示一个或多个像素的不同集合。

[0056] 对于多信道图像190，残余噪声图像的每个值可以表示跨一个或多个信道的图像190的不同像素或不同组像素的预测噪声水平。

[0057] 在第一示例中，残余图像的值的不同集合可以表示针对图像190的不同信道的图像190的不同像素或不同组像素的预测噪声水平。在第二示例中，残余图像的值的不同集合可以表示针对图像190的两个或更多个信道的不同集合的图像190的不同像素或不同组像素的预测噪声水平。在第三示例中，残余图像的每个值表示跨图像190的所有信道的图像190的不同像素或不同组像素的预测噪声水平。

[0058] 因此，使用卷积神经网络111处理多信道图像190可以产生多信道残余噪声图像193(多信道残余噪声图像的每个信道对应于多信道图像的一个或多个信道)或单信道残余噪声图像193(表示跨信道的预测噪声水平)。

[0059] 然后使用一个或多个预定加权因子对残余噪声图像193的值进行加权，以生成经加权的残余噪声图像194。预定加权因子由此有效地对残余噪声图像的每个值进行缩放或加权。

[0060] 在一些示例中，一个或多个预定加权因子可以是被应用于残余噪声图像193的所有值的单个预定加权因子(例如，单个标量值α)。

[0061] 在其他示例中，残余噪声图像的一个或多个值(例如，每个值)的集合中的每一个可以与能够相对于彼此不同的具体/特定预定加权因子相关联。

[0062] 例如，每个预定加权因子可以取决于该预定加权因子与之相关联的(残余噪声图像的)值的空间位置。

[0063] 特别地，如果残余噪声图像的每个值表示一个或多个像素的(不同)集合的噪声内容，则一个或多个预定加权因子可以包括针对残余噪声图像的每个值并且取决于由残余噪声图像的值表示的图像的一个或多个像素的集合的空间位置的预定加权因子。

[0064] 例如，如果残余噪声图像193是单信道二维图像，则一个或多个预定加权因子可以由二维矩阵/矢量α(x，y)表示，其为残余噪声图像193的每个值提供(潜在不同的)预定加权。

[0065] 作为另一示例，如果残余噪声图像193是单信道三维图像，则一个或多个预定加权因子可以由三维矩阵矢量α(x，y，z)表示，其为残余噪声图像193的每个值提供(潜在不同的)预定加权。

[0066] 在一些示例中，每个预定加权因子可以取决于与预定加权因子与之相关联的(残余噪声图像的)值相关联的信道。

[0067] 例如，如果残余噪声图像193是多信道二维图像，则一个或多个预定加权因子可以由三维矩阵/矢量α(x，y，c)表示，其为残余噪声图像193的每个值提供(潜在不同的)预定加权。

[0068] 类似地，如果残余噪声图像193是多信道三维图像，则一个或多个预定加权因子可以由四维矩阵/矢量α(x，y，z，c)表示，其为跨不同信道的残余噪声图像193的每个值提供(潜在不同的)预定加权。

[0069] 图像190和经加权的残余噪声图像194然后在组合过程120中被组合以产生部分降噪图像195。部分降噪图像被“部分降噪”，因为(一个或多个)预定加权因子修改要不然将由图像190和(未加权的)残余噪声图像193的组合产生的降噪效果。

[0070] 在一些示例中，组合过程120可以包括对原始图像190的值进行加权(即，缩放或调整)。原始图像190的加权可以基于用于对残余图像193进行加权的(一个或多个)预定加权因子，或基于一个或多个预定加权因子的独立(即，第二)集合。

[0071] 如果被使用，则可以以与用于对残余噪声图像进行加权的(一个或多个)预定加权因子类似/相同的方式来定义一个或多个预定加权因子的该独立集合。例如，独立集合可以仅包含单个预定加权因子(用于对图像的所有值进行加权)或预定加权因子的集合(用于对图像的一个或多个值的不同集合进行加权)。

[0072] 作为基于(用于对残余噪声图像进行加权的)一个或多个预定加权因子对(原始)图像进行加权的一个示例，图像x可以通过因子(1‑α)进行加权，其中，α例如以矢量/矩阵形式表示一个或多个预定加权因子，并且1表示具有与α相同维度的单位矢量/矩阵。

[0073] 在任何此后描述的组合过程中，在适当的情况下，对“图像”的提及可以由“经加权的图像”代替，“经加权的图像”是对图像190执行的加权过程的输出。

[0074] 组合过程120可以包括例如从图像190中减去经加权的残余噪声图像194的值。

[0075] 例如，如果残余噪声图像193(并且因此经加权的残余噪声图像194)的每个值与图像190(其仅具有单个信道)的相应像素相关联，则过程120可以简单地包括对于经加权的残余噪声图像194的每个值，从图像190的相关联的像素中减去该值。

[0076] 作为另一示例，如果残余噪声图像193(并且因此经加权的残余噪声图像194)的每个值与图像190(其具有单个信道)的一组像素相关联，则过程120可以包括对于经加权的残余噪声图像的每个值，从图像190的相关联的一组像素中的每个像素中减去该值。

[0077] 在算法上，其中，表示图像190， 表示部分降噪图像195，α表示一个或多个预定加权因子，并且r表示残余噪声图像：

[0078]

[0079] 其中，

[0080] r＝f(x)  (2)

[0081] 其中，f(.)表示将卷积神经网络应用于输入的过程。

[0082] 在像素水平下，其中，p表示图像 的像素(的值)，pm表示部分降噪图像 的像素(的值)，x表示图像中的像素在x方向内的位置，y表示图像中的像素在y方向内的位置，c表示图像的信道，αP表示像素的预定加权因子，并且rp表示残余噪声图像的像素(的值)，那么：

[0083]

[0084] 如果图像仅包括单个信道，则可以在等式(3)中省略“c”。

[0085] 等式(3)在针对图像 的每个像素存在预定加权因子(和残余噪声图像的相关联的值)的假设下操作。然而，如果每个预定加权因子(和残余噪声图像的相关联的值)在图像的一组像素和/或图像的所有像素之间共享，则它可以被适当地修改。

[0086] 等式(3)还在每幅图像是二维图像的假设下操作。在等式(3)中使用的项“x，y，c”可以在适当的情况下由项“x，y，z，c”代替(对于多信道3D图像)或由“x，y，z”代替(对于单信道3D图像)。

[0087] 在一些示例中，一个或多个预定加权因子中的每一个包括小于1的值。

[0088] 工作流程100可以应用于图像191(例如，形成视频或(电影)循环的图像)的序列(或系列)中的每幅图像190。在一些示例中，一个或多个预定加权因子可以取决于时间和/或图像在图像序列内的位置。

[0089] 换句话说，一个或多个预定加权因子可以取决于捕获图像190的(相对)时间和/或图像在图像序列内的位置。例如，相对时间可以是自捕获图像序列中的前一图像的时间。作为另一示例，相对时间可以是自捕获图像序列中的第一图像的时间。

[0090] 因此，如果图像序列中的每幅图像是单信道二维图像，则一个或多个预定加权因子可以包括三维矩阵/矢量α(x，y，t)。这为针对图像序列生成的残余噪声图像的每个值提供了(潜在不同的)预定加权因子。

[0091] 作为另一示例，如果图像序列中的每幅图像是单信道三维图像，则一个或多个预定加权因子可以包括四维矩阵/矢量α(x，y，z，t)。

[0092] 作为另一示例，如果图像序列中的每幅图像是多信道三维图像，则一个或多个预定加权因子可以包括五维矩阵/矢量α(x，y，z，c，t)。

[0093] 本领域技术人员将理解，可以如何适当地更新等式(3)以在部分降噪图像的计算中并入基于时间的信息。例如，等式(3)中使用的项“x，y，c”可以由项“x，y，t”代替(对于图像序列的单信道2D图像)、由项“x，y，z，t”代替(对于图像序列的单信道3D图像)或由项“x，y，z，c，t”代替(对于图像序列的多信道3D图像)。

[0094] 当然，在其他示例中，相同的一个或多个预定加权因子被应用于图像序列中的每幅图像的残余噪声图像。

[0095] 根据前述内容，将显而易见的是，预定加权因子(针对残余噪声图像的特定像素的特定值)可以根据以下而不同：残余噪声图像内的像素的空间位置；特定像素的特定值的信道；和/或图像序列内的图像(从其生成残余噪声图像)的(相对)时间和/或位置。

[0096] 因此，预定加权因子可以在空间上、时间上和/或按信道改变。

[0097] 图2图示了根据实施例的方法200的流程图。方法200在被执行时执行先前描述的工作流程100。该方法是用于生成部分降噪图像195的计算机实施的方法。

[0098] 方法200包括向卷积神经网络的输入提供图像190的步骤210。

[0099] 然后，方法200执行使用卷积神经网络处理图像以生成表示图像的噪声内容的残余噪声图像193的步骤220。

[0100] 然后，方法200执行利用一个或多个预定加权因子对残余噪声图像的值进行加权以生成经加权的残余噪声图像194的步骤230。

[0101] 然后，该方法执行步组合图像和经加权的残余噪声图像从而生成部分降噪图像的步骤240。先前已经描述了用于组合图像和经加权的残余噪声图像的方法。

[0102] 先前也已经解释了如何组合图像和经加权的残余噪声图像可以包括图像的加权值。因此，步骤240可以包括基于(在步骤230中使用的)一个或多个预定加权因子或基于一个或多个预定加权因子的独立集合来对图像190的值进行加权或修改。

[0103] 在适当的情况下，可以在方法200中采用任何先前描述的机制。例如，方法200可以应用于形成图像序列(例如，视频或(电影)循环)的多幅图像中的每一幅。

[0104] 方法200可以包括在用户接口处输出(例如，显示)至少部分降噪图像的步骤250。步骤250还可以包括显示(原始)图像，但这不是必需的。

[0105] 在图像是(形成视频的)图像序列中的一个的情况下，可以对序列中的每幅图像执行步骤210‑240。然后，步骤250可以包括输出图像序列(例如，显示视频或电影循环)。当然，在开始显示/输出图像序列之前(在步骤210‑240中)完全处理图像序列不是必需的。

[0106] 先前已经描述了如何使用预定加权因子来对残余噪声图像进行加权/缩放。下面描述用于确定适当的预定权重因子的机制。

[0107] 在一些示例中，该方法可以包括选择或确定一个或多个预定加权因子的步骤235。

[0108] 步骤235可以通过例如在子步骤235A中确定图像的噪声水平并确定残余噪声图像的噪声水平来执行。知道这两个噪声水平以及噪声比，可以例如在子步骤235B中选择/确定预定加权因子以实现部分降噪图像的期望噪声水平。

[0109] 通过选择一个或多个加权因子使得部分降噪图像的一个或多个噪声特性的值响应于(例如，匹配于或成比例于)参考图像(的部分)的相同的一个或多个噪声特性的值而确定一个或多个预定加权因子。一个或多个噪声特性可以包括例如信噪比、对比度噪声比；平均值；标准偏差；以及(针对图像的)估计的不确定性图。

[0110] 一个或多个噪声特性可以包括例如参考图像的部分的信噪比、平均值和/或标准偏差。参考图像可以由用户提供，例如使用用户接口等指示其偏好。在其他示例中，参考图像可以取决于图像的背景。

[0111] 例如，如果图像是表示身体的特定区域的医学图像，则参考图像可以是表示身体的相同区域的另一医学图像的示例。在另一示例中，如果图像是低剂量医学图像或具有低曝露时间的图像(其通常是非常有噪声的)，则参考图像可以是高剂量医学图像或具有高曝露时间的图像的示例(其通常是不太有噪声的)。

[0112] 在一些示例中，步骤230被修改为包括利用一个或多个预定加权因子和一个或多个另外的预定加权因子对残余噪声图像的值进行加权，以生成经加权的残余噪声图像194。

[0113] 可以响应于例如在用户接口处接收的用户输入来选择一个或多个另外的预定加权因子。以这种方式，对(原始)图像执行的降噪量由此可以由用户部分地控制，例如，以定义参考图像的噪声特性有多接近或有多远离降噪图像的噪声特性。这可以通过用户选择一个或多个另外的预定加权因子(例如，表示不同的降噪水平)的多个集合中的一个集合或通过用户定义另外的预定加权因子自身或通过连续地调整加权因子从而允许用户进行连续的噪声调谐来执行。

[0114] 一个或多个另外的预定加权因子可以有效地改变降噪图像的噪声特性与参考图像的噪声特性之间的比例关系。

[0115] 所提出的机制对于处理医学图像是特别有利的，先前已经被描述了其示例。

[0116] 图3图示了所提出的用于对医学图像310进行降噪的方法的效果。医学图像310在此是例如以(最大可能)剂量的10％拍摄的患者区域的低剂量计算机断层摄影图像。

[0117] 图3图示了已经通过使用由本公开提出的方法(例如，通过对图像310执行方法200)而生成的部分降噪图像320。为了比较，图3还图示了完全降噪图像330(其已经经历了完全降噪过程，其中，没有加权/缩放应用于残余噪声图像)。

[0118] 为了比较，还图示了患者的相同区域的参考高剂量(或“全剂量”)计算机断层摄影图像340。这表示“基准真相”参考图像。该图像可以充当用于选择(如先前所描述的)(一个或多个)预定加权因子的参考图像。(一个或多个)预定加权因子被选择为使得部分降噪图像的一个或多个噪声特性的值响应于(例如，匹配或成比例于)参考图像的部分(例如，整个参考图像或参考图像的仅部分)的相同的一个或多个噪声特性的值。这里，参考图像的部分是整个参考图像。

[0119] 从图3可以看出，完全降噪图像330具有比参考高剂量图像340更少的表观噪声。这是回归均值行为的影响，这可能引起图像读取器的潜在有价值的图像信息和诊断置信度的损失。

[0120] 然而，部分降噪图像被设计为使得部分降噪图像的噪声水平匹配参考图像340的部分的噪声水平，意味着不存在该潜在有价值的数据的损失，并且部分降噪图像更接近地匹配“基准真相”图像。

[0121] 图4图示了对残余噪声图像410进行加权的效果。图4图示了残余噪声图像的示例，其在此是来自CT数据的3D体积的2D轴向切片的示例。

[0122] 经由过程230使用一个或多个预定权重因子对残余噪声图像410进行加权，以生成经加权的残余噪声图像420。如图所示，这具有修改经加权的残余噪声图像的像素的值的效果。与在(原始)图像要与(未加权的)残余噪声图像410组合的情况相比，这具有以下效果：在(原始)图像与经加权的残余噪声图像420组合时降低降噪算法的效果。

[0123] 所提出的机制可以用于所有类型的降噪应用，诸如谱CT降噪。它对于处理低剂量CT图像是特别有用的。然而，将所提出的方法应用于其他成像模态(诸如PET、MRI或超声(US))是简单的。

[0124] 所提出的机制可以提供更接近地类似于自然噪声纹理的部分降噪图像，并且可以避免潜在有价值的信息的损失(例如，由于回归均值效应)。实施例还可以向用户提供交互地调谐降噪强度以满足个体或任务特异性需求的选项，从而产生可以帮助用户执行医学任务(诸如对患者进行诊断或处置)的更临床特异性且有用的图像。

[0125] 图5图示了根据实施例的降噪系统500。

[0126] 降噪系统500包括用于生成部分降噪图像的处理系统510。处理系统510本身是本发明的实施例。

[0127] 处理系统510适于：向卷积神经网络的输入提供图像；使用卷积神经网络处理图像以生成表示图像的噪声内容的残余噪声图像；利用一个或多个预定加权因子对残余噪声图像的值进行加权以生成经加权的残余噪声图像；并且组合图像和经加权的残余噪声图像，从而生成部分降噪图像。

[0128] 通过选择一个或多个加权因子使得部分降噪图像的一个或多个噪声特性的值响应于(例如，匹配或成比例于)参考图像的部分的相同的一个或多个噪声特性的值而确定一个或多个预定加权因子。

[0129] 降噪系统500还包括用户接口520。用户接口520可以包括被配置为显示部分降噪图像的显示部分521。

[0130] 当然，如果图像(其被处理以生成部分降噪图像)是图像序列(例如视频或电影循环)中的一幅，则用户接口可以显示部分降噪视频或电影循环。

[0131] 用户接口520还可以包括被配置为从用户接收输入(例如，可用于定义(一个或多个)另外的预定权重因子)的用户输入接口522。

[0132] 本公开提出了使用卷积神经网络通过处理图像来生成残余噪声图像。卷积神经网络是处理输入数据以便产生或预测输出数据的机器训练算法的示例。在此，输入数据包括图像，并且输出数据包括残余噪声图像。因此，卷积神经网络可以通过处理图像来直接输出残余噪声图像。

[0133] 人工神经网络(或简称神经网络)的结构受人脑的启发。神经网络由层组成，每个层包括多个神经元。每个神经元包括数学运算。特别地，每个神经元可以包括单一类型的变换的不同加权组合(例如，相同类型的变换、S形等，但是具有不同的权重)。在处理输入数据的过程中，对输入数据执行每个神经元的数学运算以产生数值输出，并且将神经网络中的每个层的输出顺序地馈送到下一层。最终层提供输出。彼此不相邻的不同神经网络层也可以经由近路或所谓的跳跃连接来连接。

[0134] 训练机器学习算法(诸如卷积神经网络)的方法是众所周知的。通常，这样的方法包括获得训练数据集，该训练数据集包括训练输入数据条目和对应的训练输出数据条目。将初始化的机器学习算法应用于每个输入数据条目以生成预测的输出数据条目。预测的输出数据条目与对应的训练输出数据条目之间的误差用于修改机器学习算法。可以重复该过程，直到误差收敛，并且预测的输出数据条目与训练输出数据条目足够相似(例如±1％)。
这通常被称为监督学习技术。

[0135] 例如，在机器学习算法由卷积神经网络形成的情况下，可以修改每个神经元的数学运算(的权重)，直到误差收敛。修改神经网络的已知方法包括梯度下降、反向传播算法等。

[0136] 应理解，所公开的方法是计算机实施的方法。因此，还提出了计算机程序的概念，该计算机程序包括用于当所述程序在处理系统上运行时实施任何所描述的方法的代码模块。

[0137] 技术人员将能够容易地开发用于执行本文描述的任何方法的处理器。因此，流程图的每个步骤可以表示由处理器执行的不同动作，并且可以由处理器的相应模块执行。

[0138] 如上所述，系统利用处理器来执行数据处理。处理器可以用软件和/或硬件以多种方式实施，以执行所需的各种功能。处理器通常采用可以使用软件(例如微代码)编程以执行所需的功能的一个或多个微处理器。处理器可以被实施为执行一些功能的专用硬件与执行其他功能的一个或多个编程的微处理器和相关联的电路的组合。

[0139] 可以在本公开的各种实施例中采用的电路的示例包括但不限于常规微处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。

[0140] 在各种实施方式中，处理器可以与一个或多个存储介质相关联，诸如易失性和非易失性计算机存储器，诸如RAM、PROM、EPROM和EEPROM。存储介质可以利用一个或多个程序来编码，所述一个或多个程序当在一个或多个处理器和/或控制器上运行时执行所需的功能。各种存储介质可以固定在处理器或控制器内，或可以是可输送的，使得存储在其上的一个或多个程序可以加载到处理器中。

[0141] 本领域技术人员通过研究附图、公开内容以及权利要求，在实践请求保护的发明时能够理解并实现对所公开的实施例的变型。在权利要求中，“包括”一词不排除其他元件或步骤，并且词语“一”或“一个”不排除多个。尽管某些措施被记载在互不相同的从属权利要求中，但是这并不指示不能有利地使用这些措施的组合。

[0142] 单个处理器或其他单元可以实现在权利要求中记载的若干项的功能。计算机程序可以被存储/分布在合适的介质上，例如与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质，但是也可以被以其他形式分布，例如经由互联网或其他有线或无线的系统。

[0143] 如果术语“适合于”用于权利要求书或说明书中，应注意术语“适合于”旨在相当于术语“被配置为”。权利要求中的任何附图标记都不应被解释为对范围的限制。