[0001] 本发明涉及图像处理。

[0002] 在数字病理学中，数字显微照片由样本制成。然后将因而产生的数字图像呈现给病理学家用于评估。与其中直接经过显微镜来观看样本的传统病理学相比较，数字病理学具有几个优点。首先，数字病理学能够增加吞吐量。这变得越来越有重大意义，因为病理学家面对增加的工作负荷。其次，数字病理学能够提供改善诊断的质量的手段。研究表明，如果使用计算机算法来帮助病理学家，则不同病理学家的诊断的一致性能够明显改善。

[0003] 然而，数字病理学也会具有几个缺点。目前，缺点之一是，焦平面是固定的。数字扫描仪典型地仅获取组织的一个图像。之后焦平面的调整不再可能。这会产生离焦伪影。然而，也能够使用不同的焦平面来获取多个不同的图像。

[0004] 除了这一聚焦问题以外，通常出现在病理学中的其它伪影也出现在数字病理图像中。这样的伪影可以包括：

[0005] -压力效应(pressure effect)。

[0006] -固定伪影(fixation artifacts)(例如，由于所使用的不正确的固定剂、污染、酸性福尔马林羟高铁血红素色素的形成)。

[0007] -不充足的脱水(例如，保持截留在组织内的水)。

[0008] -染色伪影(staining artifacts)(例如，由于不清洁的水浴或不均匀的染色)。

[0009] -无意地出现在图像中的对象(例如，微生物或头发)。

[0010] -散焦伪影(defocus artifacts)。

[0011] -传感器噪声。

[0012] 病理学家根据经验能够识别这样的伪影并且在解释图像时忽略它们。然而，自动图像分析程序在处理包含一个或多个伪影的图像方面会具有困难。

[0013] 当前可用的数字分析技术执行针对完整组织或者至少针对完整视场的标准化和核检测。

[0014] US2006/0014238A1公开了增强免疫组织化学化合物涂敷到其上的生物样本的数字图像；去除增强的数字图像中的预定类型的不想要的单元以便免于考虑；识别增强的数字图像中的多个感兴趣单元；识别增强的数字图像中的一个或多个感兴趣区域；并且移除一个或多个所识别的感兴趣区域中的单元伪影以便免于考虑，从而自动地创建一个或多个增强的感兴趣区域，用于创建医学诊断或预后。

[0015] M.Macenko、M.Niethammer、J.S.Marron、D.Borland、J.T.Woosley、X.Guan、C.Schmitt和N.E.Thomas(在下文中：Macenko等人)的“A Method for Normalizing Histology Slides for Quantitative Analysis”(在IEEE Int.Symposium on Biomedical Imaging中，2009年)公开了用于克服染色处理中的不一致性的两种机制，从而将在不同条件下处理或贮存的载波片带到公共的标准化空间中以便实现改善的定量分析。该论文公开了自动找到图像的正确染色矢量并且接着执行颜色去卷积的算法。

[0016] 在其它种类的图像处理中，在处理包含不期望区域的图像时也会发生问题。

[0053] 可以手动地分析病理图像。在手动分析期间，样本处理伪影和组织伪影被病理学家忽略，并且通过打开显微镜上的聚焦轮，病理学家可以使图像的相关部分保持聚焦。近来的趋势指示：病理学将在不久的未来被数字化。当使用数字病理学时，利用计算机来完成该分析(例如核检测、核分类、HER2-评分等等)的至少一部分。然而，已知的计算机分析可能由于伪影和离焦区域而经历不准确的结果。

[0054] 通过首先局部地检测伪影和离焦区域并且接着在分析中丢弃这些区域来改善分析结果。这不仅适用于病理图像，而且还适用于其它类型的图像，包括诸如计算机断层扫描图像、X射线图像、磁共振图像的医学图像以及其它种类的图像。医学图像中伪影的示例是植入物和重构伪影。诸如数码照片的其它图像也可能包含伪影，例如压缩伪影，例如JPEG伪影。

[0055] 图1示出了用于处理图像的系统的方面。所述系统可以至少部分地利用适当编程的计算机或处理器来实现。可选地，可以提供专用电子电路来实现所述系统的任何或所有特征。所述系统可以利用工作站来实现。所述系统也可以包括用户接口硬件，例如键盘、鼠标设备、显示器和/或触敏显示器，以便从用户接收输入来控制所述系统，例如以便发起关于图像的处理操作。而且，这样的用户接口硬件可以用于显示系统的结果，例如被处理的图像。所述系统还可以包括通信端口以便与诸如图像获取装置或数字图像仓库的其它设备进行通信。

[0056] 所述系统可以包括图像接收器4。这一图像接收器4与通信端口可操作地连接。图像接收器4可以布置用于从诸如包括用于图像的存储装置的服务器的另一设备接收一个或多个图像。图像接收器4也可以布置用于与图像获取装置(未示出)直接进行通信。
所述图像可以例如包括历史图像或另一种类的图像，如在当前描述中的其它地方描述的。

[0057] 所述系统可以包括区域检测器1。区域检测器1布置用于检测图像中满足特定标准的区域，更具体地，包括伪影的区域。这样的伪影可以是有机对象，例如昆虫或微生物或头发。伪影也可以是人造对象。在这一段落中提到的伪影的示例可以出现在病理图像中。在病理成像中，人们对组织样本的特性感兴趣。观察图像中伪影所存在的区域中的这些特性会是困难的。然而，伪影也可以出现在其它应用领域中。

[0058] 另一种类的伪影由组织的物理处理引起。例如，如果组织的一部分受到压力，则该组织的该部分会变形，例如，会破坏单元结构。另一种类的伪影由诸如焦点和/或光圈的显微镜的光学设置引起。另一种类的伪影由诸如数字图像压缩的图像的数字预处理引起。

[0059] 所述系统可以包括用于检测图像中的伪影的伪影检测器7。伪影检测器7可以专用于检测特定种类的伪影。例如，伪影检测器7可以布置用于基于昆虫的形状模型和/或对象识别技术来检测特定种类的昆虫。这样的技术本身在本领域中是已知的。所述系统可以包括多个这样的伪影检测器7，其中每一个伪影检测器7可以布置用于检测不同种类的伪影。例如，可以使用不同的形状模型来检测不同的昆虫。可以使用另一形状模型来检测头发。并且，可以对其它种类的对象单独地进行建模。不同的伪影检测器可以实现为检测其它种类的伪影，例如光学失真和/或数据图像处理异常。这样的伪影检测器本身在本领域中是已知的。区域检测器1生成包括由伪影检测器7检测的一个或多个伪影的区域的表示。

[0060] 所述系统可以包括用于基于图像中排除被检测区域以外的部分来确定参数的参数确定单元2。可以通过按照本身在本领域中已知的方式分析图像的剩余部分来确定这样的参数。确定这一参数的方式取决于待完成的图像处理的种类。参数确定单元2可以可操作地耦合到区域检测器1以便接收包括来自区域检测器1的伪影的区域的表示。这样的表示可以是伪影的边界框的坐标的形式。诸如掩模图像的其它表示也是可能的。

[0061] 所述系统可以包括用于使用推导的参数来处理图像的图像处理模块3。为此，可以利用任何期望的适当的图像处理操作。例如，可以执行直方图均衡化(使用直方图直条作为参数)，可以执行标准化(使用最大像素值作为参数)，例如使用阈值来执行对象计数以便检测对象，其中阈值基于图像中排除被检测部分以外的部分的直方图。基于本公开，其它种类的处理在本领域的技术人员的理解力内。

[0062] 所述系统可以包括用于显示被处理的图像的显示单元5。显示单元5可以用于显示原始(未被处理的)图像并且用于显示被处理的图像。而且，显示单元5可以布置用于显示被检测区域的指示。例如，可以利用区域周围的轮廓来描绘被检测区域，或者可以按照区别性颜色来显示被检测区域。可以在未被处理的图像和/或被处理的图像中指示被检测区域。显示单元5可以例如实现为控制外部显示设备的软件单元。

[0063] 此外，所述系统可以包括用户界面8。用户界面8可以布置用于使用户能够控制所述系统。除了许多其它应用，用户界面8还可以布置用于使用户能够控制显示单元对被检测区域的指示的显示。所述用户界面可以配置为使用户能够显现/显示图像和在所述图像的处理期间被丢弃的伪影。例如，可以提供图形用户界面上的按钮以便使用户能够打开或关闭被检测区域的指示。按照这种方式，可以在没有被检测区域的指示的情况下来显示被处理的图像和/未被处理的图像。当用户选择按压按钮时，可以在具有被检测区域的指示的情况下来显示相同的图像。这样的指示可以指示被检测区域的位置和/或范围和/或形状。而且，用户界面8可以布置用于使用户能够改变被检测区域的指示的外观。例如，可以给出用户几个选项的列表，使用户能够在所述选项之间进行选择。例如，用户可以在被检测区域的轮廓和具有颜色的被检测区域的上色之间进行选择。这样的上色颜色可以是完全不透明的或半透明的。颜色和/或不透明度是用户可选择的。可以进一步使用户能够选择指示被检测区域的位置的符号的显示。这样的符号可以包括箭头或点或任何其它图标。

[0064] 例如，出于上述目的，用户界面包括一个或多个用户界面元素。这样的用户界面元素可以包括图形用户界面的构件。也可以使用诸如硬件按钮的任何种类的用户界面元素。用户可以因而选择他(或她)是否想要在具有或没有被检测区域的指示的情况下来看到被处理的图像。同样，可以提供使用户能够在具有或没有被检测区域的指示的情况下来显现原始(未被处理的)图像的用户界面元素。一种类型的图像处理是标准化。因此，参数确定单元2可以布置用于确定将用于标准化的一个或多个参数。可以用于标准化操作的参数的示例是平均强度、最大强度或直方图的直条值。图像处理模块3可以布置用于根据一个或多个标准化参数来执行图像的标准化。例如，可以通过应用校正因子来调整强度水平以便改变平均强度或将所使用的强度的范围带到预定范围。直方图均衡化也是可能的。

[0065] 所述系统可以包括用于生成指示被检测区域的掩模的掩模单元6。这样的掩模可以是诸如二进制图像的图像的形式，其中第一像素值用于作为被检测区域的一部分的像素，并且不同于第一像素值的第二像素值用于不是被检测区域的一部分的像素。参数确定单元2可以布置用于基于掩模来确定参数，例如通过仅评估未被处理的图像中没有被掩模图像标记为被检测区域的一部分的那些像素。

[0066] 图像处理模块3可以布置用于也使用推导的参数来处理被检测区域。所以，尽管参数的值由参数确定单元2基于图像中排除被检测区域以外的部分进行确定，但是处理模块可以基于整个图像的推导的参数来执行处理步骤，以便获得图像的一致处理。可选地，图像处理模块3可以布置用于仅将处理步骤应用于所述图像中排除被检测区域以外的部分。

[0067] 伪影检测器7可以布置用于检测离焦伪影、染色伪影、压力伪影和固定伪影。可以使用专用于检测特定种类的伪影的不同的伪影检测器7。

[0068] 伪影检测器7可以布置用于通过应用对象检测技术来检测伪影。例如，形状模型或模板匹配技术可以用于检测已知具有诸如特定形状和/或颜色和/或纹理的特定属性的伪影。

[0069] 可以将所述系统合并在数字显微镜中。这样的显微镜可以具有用于放大感兴趣区域的光学子系统以及用于将从光学子系统获得的光信号转换为数字图像的数码相机。可以将数字图像馈送到图像接收器4用于由系统按照本文阐述的方式进行处理。

[0070] 可选地，可以将所述系统合并到工作站中。这样的工作站可以接收由数字显微镜捕获的图像。

[0071] 所述系统不局限于显微图像。也可以针对其它种类的图像来优化系统。

[0072] 图2示出了处理图像的方法的方面。该方法包括基于标准来检测图像中的区域的步骤201。这一标准可以是区域中伪影的存在。区域的范围可以精确地与被检测伪影的范围相对应。可选地，区域的范围可以与伪影的凸包或伪影的边界框相对应。区域可以包括伪影周围的边界。这些可能性也适用于由区域检测器1检测的区域。在检测到区域之后，该方法继续进行到基于所述图像中排除被检测区域以外的部分来确定参数的步骤202。在确定参数之后，该方法继续进行到使用推导的参数来处理图像的步骤203。之后，该方法可以继续进行到在显示设备上显示被处理的图像的步骤204。可选地或此外，可以将所述图像存储在存储介质上。该方法可以包括在计算机程序产品中，该计算机程序产品包括用于使处理器系统执行所阐述的方法的指令。

[0073] 鉴于本文所述的系统的功能的描述，该方法可以由本领域中的技术人员修改和/或扩展。

[0074] 数字化病理学具有几个优点。首先，它可以增加吞吐量。这变得越来越有重大意义，因为在美国存在病理学家的工作量的增加，这在一方面归因于人口的老化，而另一方面归因于每年在美国毕业的病理学家的数量的少量降低。其次，数字病理学提供改善诊断的质量的手段。研究表明，如果使用计算机算法来帮助病理学家，则病理学家的诊断中的一致性可以明显地改善。然而，数字病理学也具有几个缺点。主要缺点是，聚焦平面是固定的。数字扫描仪典型地仅提供组织的一个图像。焦平面的调整因此不再是可能的。然而，能够使用不同的焦平面来记录多个图像。

[0075] 数字病理学不仅面对由数字扫描仪本身引入的伪影。下面是可能出现在任何种类的病理图像中的伪影的示例：

[0076] -压力效应。

[0077] -固定伪影(例如由于所使用的不正确的固定剂、污染物和/或酸性福尔马林羟高铁血红素色素的形成)。

[0078] -不充足的脱水(例如，保持截留在组织内的水)。

[0079] -染色伪影(例如由于不清洁的水浴和不均匀的染色)。

[0080] -油墨伪影，例如由保健提供者使用来标记手术切缘的油墨。

[0081] 在 E.McInnes 的“Artifacts in histopathology”( 在 in Comp Clin Path(2005)13:100–108中)公开了传统病理学中的伪影的概述。

[0082] 当解释病理样本时，病理学家被培训来按常规地忽略伪影。然而，数字病理系统需要有效和简要的策略。对于使用计算机对组织进行的分析(例如核检测、分类、标准化等等)，滤除任何伪影(通过样本制备以及通过扫描程序引入)以便改善结果的可靠性和/或可再现性是重要的。

[0083] 作为可能伪影的示例，在尸体解剖时钳子对肺的伤害可能由于新鲜组织在固定之前被解剖员手中的钳子过分挤压而引起。酸性福尔马林羟高铁血红素色素是由来自不含缓冲剂的福尔马林的甲酸在酸性pH处与血红蛋白的血红素的反应产生的深棕色各向异性微晶质铁负色素。会出现脊髓的白质中的浅染色区域，因为水可能由于不充足的脱水而保持截留在组织内，导致部分未被染色的组织。不清洁的水浴也会包含先前组织的残留部分，这会变为合并到当前组织切片中，例如存在于肺中的肝组织。在组织切片的焦平面中看到的曙红薄片可能由从未被过滤的储备溶液中得到的沉淀染料引起。

[0084] 可以针对组织作为整体或至少针对完整的视场来完成标准化和核检测。然而，如在上面的示例中指示的，几个局部区域是不可靠的或者对于分析是不相关的，并且为了分析应该被丢弃。否则，标准化会是次优的，并且诸如自动核检测和/或自动核计数的自动分析的结果会指示假阳性和/或假阴性。在当前实践中，标准图像标准化技术包括直方图均衡化。

[0085] 能够局部地确定伪影(类似离焦和染色伪影)在哪里。这样的伪影会在图像的分析期间被丢弃。可以在分析的结果的可视化期间指示被丢弃的伪影。

[0086] 几种类型的伪影可以出现在组织的数字化图像中。Y.Sun、S.Duthaler 和B.J.Nelson 的“Autofocusing Algorithm Selection in Computer Microscopy”( 在Intelligent Robots and Systems中，2005年)公开了检测聚焦以及离焦伪影的技术。可以使用衍生的方案，例如(修改的)拉普拉斯或能量拉普拉斯或基于统计的算法的和，例如方差和自相关技术。相关方法可以能够检测染色伪影，因为它们可以作为染色液体的模糊斑点出现。也可以检测固定和压力伪影。

[0087] 在检测到伪影之后，可以通过使用二进制掩模来执行分析，指示哪些像素应该用于分析和/或哪些像素不应该用于分析。包含伪影的区域的可视化可以通过例如掩模图像中的相关区域来完成。

[0088] 在图像标准化之前，可以首先局部地确定伪影(例如离焦和染色伪影)在哪里。所发现的伪影可以在标准化参数的建立期间被丢弃。标准化可以仅应用于排除伪影以外的区域。可选地，标准化可以使用基于图像中排除伪影的区域而确定的标准化参数来应用于整个图像。可选地，检测到的伪影可以例如通过应用淡入技术或在被排除区域内标准化参数的逐渐改变来与图像的其余部分进行组合，以便避免在被排除区域和图像的其余部分之间的边界处标准化参数的突然改变。

[0089] 图3说明了来自相同甜食盘(coupes)的两个免疫组织化学(IHC)染色图像。IHC是可以用于分析组织切片的单元的已知技术。左上图像示出了使用数字病理扫描仪获取的第一图像。右上图像示出了使用数字病理扫描仪获取的第二图像。左下图像示出了标准化之后的第一图像。右下图像示出了标准化之后的第二图像。图4示出用于第一图像的掩模图像。图4中的黑色区域与第一图像中其中在从数字病理扫描仪获取的图像中检测到伪影的区域相对应。基于使用数字病理扫描仪获取的第一图像来确定针对第一图像的标准化参数，但是排除根据图4所示的掩模图像的被掩模区域。使用因而产生的标准化参数来对图像进行标准化，并且结果是图3所示的左下图像。

[0090] 图5示出了另一IHC染色图像。在图像中可见的是染色伪像伪影501以及多个核502。图6示出了核检测处理的结果。暗斑点与检测到的核相对应。在所述处理之前，染色伪像伪影501被检测为被检测区域，并且且该区域在所述处理期间被忽略。因此，在染色伪像伪影501的位置601处没有检测到核。图7示出了核检测处理的与图6相同的结果。然而，图7还示出了被检测区域501的指示701。在图7的示例中，该指示是条形区域的形式。
其它种类的指示，例如被检测区域的轮廓或不同颜色的使用，也是可能的。所述指示因而可以指示被检测区域的范围。可选地，所述指示可以包括诸如箭头的符号，示出了在不示出被检测区域的范围的情况下该被检测区域的位置。用户界面8可以使用户能够在图6(没有指示)和图7(具有指示)的显示之间进行切换。

[0091] 将认识到，本发明还适用于计算机程序，特别是适合于实施本发明的位于载体上或载体中的计算机程序。所述程序可以是源代码、目标代码、代码中间源和部分编译形式的目标代码的形式或者适合于在根据本发明的方法的实现中使用的任何其它适当的形式。还应该认识到，这样的程序可以具有许多不同的体系结构设计。例如，实现根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。在这些子例程之间分配功能的许多不同方式对于技术人员将是明显的。可以将子例程一起存储在一个可执行文件中以便形成完备的程序。这样的可执行文件可以包括计算机可执行指令，例如处理器指令和/或解释程序指令(例如Java解释程序指令)。可选地，可以将子例程的一个或多个或全部存储在至少一个外部库文件中并且在运行时间与主程序静态或动态地链接。主程序包含对至少一个子例程的至少一次调用。子例程还可以包括对彼此的调用。与计算机程序产品相关的实施例包括与本文阐述的至少一个方法的每一个处理步骤相对应的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以被静态或动态地链接的一个或多个文件中。与计算机程序产品相关的另一实施例包括与本文阐述的至少一个系统和/或产品的每一个装置相对应的计算机可执行指令。这些指令可以被细分为子例程和/或存储在可以被静态或动态地链接的一个或多个文件中。

[0092] 计算机程序的载体可以是能够携带程序的任何实体或设备。例如，所述载体可以包括存储介质，例如以CD ROM或半导体ROM为例的ROM或者以闪存驱动或者硬盘为例的磁记录介质。并且，所述载体可以是可传输载体，例如可以经由电缆或光缆或通过无线电或其它手段进行传送的电学或光学信号。当将程序体现在这样的信号中时，所述载体可以由这样的电缆或其它设备或装置来构造。可选地，所述载体可以是将程序嵌入在其中的集成电路，该集成电路适合于执行相关方法或用在相关方法的执行中。

[0093] 应该注意，上述实施例用于说明而非限制本发明，并且本领域中的技术人员在不偏离所附权利要求的范围的情况下将能够设计许多可选实施例。在权利要求中，放置在圆括弧之间的任何附图标记不应该被解释为限制权利要求。动词“包括”的使用并不排除除了在权利要求中陈述的那些元件或步骤以外的元件或步骤的存在。在元件前面的词语“一”或“一个”并不排除多个这样的元件的存在。本发明可以借助于包括几个不同的元件的硬件并且借助于适当编程的计算机来实现。在列举几个装置的设备权利要求中，这些装置中的几个可以由硬件的一个和相同项目体现。唯一事实是，在相互不同的从属权利要求中列举的某些度量并不指示不能够有利地使用这些度量的组合。