本发明涉及图像和/或视频处理,特别是涉及使用图论技术的图 像数据的分割。 分割在包括降噪和图像及视频数据压缩的许多应用中很有用, 并且先前已经提出了多种图像分割方法。这些方法包括阈值、分水 岭算法、形态学尺度空间变换或筛选、区域分割及合并、聚类、频 域技术、以及包括运动估计的技术。然而,这些方法中很少(如果 有的话)能够使用低到中等的处理资源生成多分量图像的高质量等 级分割。 本发明使用来自数学分支(即通常所说的图论)的一些概念。 以下是图论中所用术语的简要描述。 图由可通过线(称为边)连接起来的点(称为顶点)组成。图 1中示出了图的实例。 顶点的度是与其连接的边的数量。在图1中,顶点度的范围为 0到3。如果顶点具有度1,则其被称为树叶;图1的图具有三片树 叶。 边和顶点都可具有与它们相联系的数字或权重。这些权重可具 有一些物理意义;例如,在顶点表示城镇以及边表示道路的图中, 边权(edge weight)可表示道路长度。 图G的子图是其顶点为G的顶点的子集且其边为G的边的子 集的图。如果子图具有G的所有顶点,则其生成(span)G。G中 的路径是每一边均与前一边共享顶点的不同边的集合。对于更精确 的定义,可参看Bollobás,Béla.Graph theory-an introductory course. Springer-Verlag,New York,1979。 树是其中从任意给定的顶点到任何其它顶点正好有一条路径 的图。森林是分离的一组树。图G的生成树或生成森林是作为G 的生成子图的树或森林。在边加权的图中,图的最小生成树(MST) (也被称作最短或经济生成树)是使该树中边权总和最小的生成 树。 存在用于查找边加权图的最小生成树的已知算法。一种是 Kruskal算法,其维持一组局部最小生成树并重复添加其顶点在不 同的生成树中的最小权重(或最轻)边。另一种是Prim算法,其 从单个顶点开始,并且通过重复将连接该树的最轻边添加到该树中 还不存在的顶点,然后将该顶点添加到该树中来建立树。在下面更 详细描述的图4和图5中,图5示出了图4的最小生成树。 现在考虑将图论应用到图像中。图的顶点可用于表示像素,而 边可用于表示像素的邻接。在本文中,如果一个像素正好在另一个 像素的上方、下方、左侧、或右侧,则两个像素邻接,因此具有连 接它们的边。这是邻接的4连接定义;还可以使用6连接或8连接 定义。通过4连接定义,可通过如图2所示的图表示图像。不表示 图像边界上的像素的每个顶点的度为4。注意,图论中使用的词“边” 与图像中或图像边界上的边的概念关系很小。 这种图中的边权可用于表示相邻像素之间差的一些度量 (measure)。例如,在亮度图像中,边权可被定义为两个亮度值之 间的绝对差。 图3示出了具有如图所示的像素值的示例性5×4亮度图像,以 及图4示出了表示该图像的图,其中,分配了等于相邻像素值之间 的绝对差的边权。 MST可用作图像分割算法的基础。可以看出,如果从树中去除 一条边,则将形成两棵树,该图像范围内的每棵树将描述连接的顶 点子集,即,图像的部分。因此,为了将图像分成N个部分,需要 从MST中去除N-1条边。先前已经提出选择去除的边仅是MST中 的N-1条最大权重(或最重)边。例如,为了将由图5表示的图像 分成2个部分,需要去除加权4的边,生成图6所示的分割。 如果需要3个部分,则还要去除第二重的边(权重为3);生成 图7所示的分割。 然而,发现该方法具有许多缺点。 本发明的目的在于提供一种图像分割的改进方法。 根据本发明的第一方面,提供了一种图像分割的方法,其中, 图像的像素由图的顶点表示,像素的邻接由图的边表示,边被分配 表示相邻像素之间不相似性的度量的权重,生成该图的最小生成树 (或与其近似),并相继从最小生成树去除边以创建其树与图像部 分对应的生成森林,其中,要从生成森林中去除的边的选择依赖于 该森林的顶点或边的形态学特性。 本发明人指出的具体缺点是通过使用上述现有技术标准选择 边所创建的部分的大小具有较大的不平衡。已经发现在查找MST 的现有技术过程中,来自原始图的许多最重边被去除,但经常在树 的树叶附近发现最重的残留边。这意味着重边的去除经常导致只具 有一个像素的新的部分。 本发明通过使用在每个阶段选择从MST中去除哪条边的新方 法克服了现有技术的局限性。本发明的思想是使用边的去除将生成 合理大小的部分的可能性的度量。 优选地,用于选择边的标准依赖于从边到该边所在树的树叶的 距离的度量。可选地,该标准可依赖于通过去除该边所创建的两棵 树。在一个实施例中,该标准可依赖于大小的度量,例如,使用顶 点数来度量大小。在另一个实施例中,该标准可依赖于包含该边的 树中的像素的函数与通过去除边所创建的两棵树中像素函数值的 总和之间的差。 这种新算法具有一些非常吸引人的特征。查找MST只需要中 等的计算复杂度,并且执行随后的分割非常容易。不同于基于阈值 的一些算法,可以精确地指定部分的数量。首先,该算法是完美分 级的:分成给定数目部分的分割总是包含在分成更多部分的分割 中。该方法还用于多分量图像数据(例如,由R、G、B值描述的 图像)。在通过多于一个分量描述的图像(例如,RGB图像)中, 边权可以是这些分量之间的绝对或平方差的和、最大绝对差、或任 何其它适当的度量。 本发明还提供了适于执行本文充分描述的方法的装置,其在一 个实施例中可包括数字电路。本发明可在数据压缩方法和装置以及 其它图像或视频处理应用中实施。 现在,参照附图仅通过实例描述本发明,其中: 图1是图的实例; 图2是作为图的5×4图像的表示; 图3是示例性小亮度图像; 图4是图3的边加权的图表示; 图5是图4的最小生成树; 图6是图5的分成两部分的MST分割; 图7是图5的分成三部分的MST分割; 图8示出了计算隔离中的连续阶段; 图9是图5的隔离图; 图10示出了隔离和边权的乘积; 图11是使用隔离处理将图5分割为两部分的分割; 图12示出了顶点隔离图; 图13示出了边隔离图; 图14示出了修改的隔离值和边权的乘积; 图15是使用隔离处理将图5分割成三部分的分割; 图16是示例性测试图像; 图17示出了使用所述现有技术的算法将图16分割成64部分 的尝试性分割的结果; 图18示出了使用所述现有技术的算法将图16分割成4000部 分的分割的结果; 图19示出了使用本发明的实施例将图16分割成64部分的分 割的结果; 图20示出了简化隔离计算; 图21示出了使用本发明的可选实施例将图16分割成64部分 的分割结果; 图22示出了基于能量计算的示例性方法中的第一阶段; 图23示出了基于能量计算的方法中的第二阶段; 图24示出了基于能量计算的方法中的第三阶段;以及 图25示出了基于能量计算的方法中的第四阶段。 可以在分割的每个阶段计算图像中每个像素的新特性(此处称 为“隔离(seclusion)”)。考虑到树的树叶被“暴露”,我们断定在 某种意义上“远”离树叶的顶点是“隔离的”。从而隔离是顶点隔 离的程度。 可以通过以下算法计算树或森林的隔离: ·将当前隔离值S设为0 ·当存在剩余在森林中的边时: ○增加S ○将所有树叶顶点的隔离设为S ○去除所有树叶顶点和与它们连接的边 ·如果剩余一个顶点,则将其隔离设为S+1 图8示出了怎样为图5的图中的每个像素计算隔离。在每个阶 段,已经被去除的树叶被涂成白色。 我们已经描述了怎样计算树或森林中所有顶点的隔离。可以根 据其两个顶点的隔离(例如,两个隔离值的最小值)定义边的隔离。 在图9中示出了图5的边的隔离图。 可选地,可以使用上述隔离算法的修正版本直接计算边的隔离 值。 为了选择要去除的边,例如通过乘法结合原始边权和边隔离 值。图10示出了原始边权和隔离图的乘积。 为了将图像分割成2个部分,可选择具有结合值18的边,生 成图11所示的分割。为了继续该分割过程,重新计算图11中示出 的森林的隔离图。图12中示出了生成的顶点隔离图,图13中示出 了边隔离图。图14示出了新隔离值和边权的乘积。 经常出现当使用整数处理时存在关于下一个最高边值的选择 不确定的情况。如果我们权衡有利于更高的隔离的并列的边值,我 们将选择两个值为8的边的左侧,并且得到图15中所示的分割。 以上实例说明了如何使用隔离图帮助确保MST分割避免在过 程的早期阶段生成非常小的部分。当然在附加到隔离上的重要性和 削减重边处的森林的重要性之间存在折衷。这种折衷可以反映在结 合隔离和边权的函数的选择中。 可将隔离看作“一维”的度量,因为其估计从边或顶点到树的 树叶的距离。隔离过程的简单修改可用于度量顶点的数目,即,通 过去除边产生的两棵树的“面积”。在这种修改中,通过将与正被 去除的树叶相联系的量与连接这些树叶的顶点相加来累加度量的 量。 在上述的隔离度量或修改度量中,递归过程还可包括累加边权 自身,使得可以直接计算加权隔离值。因而不需要将隔离值乘以边 权以用于选择要去除的边,而仅仅最大化加权的度量。 现在将给出在分割实际图像中的隔离处理的优点的说明。图16 示出了来自下变频为360×288像素的测试幻灯片的EBU标准集的 “形式池(formal pond)”图像的亮度分量。图17和图18示出了 分别使用上述现有技术MST方法试图将该图像分割成64和4,000 部分所得到的部分边界,而图19示出了使用具有上述隔离处理的 MST方法分割成64部分的结果。 不需要精确计算隔离图。例如,因为该处理遵循光栅扫描模式 (pattern),所以可以通过“原地”从森林中去除树叶获得隔离图的 良好近似。在图20中示出了该缩短的过程。 这种简化是非对称且必然是不完美的,但是在特定实施例中对 算法的整体性能影响很小。例如,图21示出了与用在图19中的“正 确”隔离处理相比的这种简化对将“形式池”分隔成64区域的影 响。 类似的简化可用于前面描述的隔离度量的修改版本。 还可以通过查找MST的近似来减少处理时间。例如,在Prim 算法操作期间,如果根据一些标准(例如,基于预先计算的边权的 分布),认为其权重“足够小”,则可以添加边,因此不需要在每个 阶段搜索整棵树以查找邻接边的最小权重。 现在将描述本发明进一步的改进。在分割过程的给定阶段,隔 离值和边权的组合使用已被用于确定从森林中去除哪条边。这个决 定可认为包括两部分:确定从森林中的哪棵树中去除边,以及确定 从树中去除哪条边。在本发明的优选实施例中,该树的其它容易地 可度量特性可用于构成决定的第一部分,然后本发明本身的方法可 用于构成决定的第二部分。例如,可以选择具有最高的总的或平均 边权的树,或采用具有最多顶点的树、或者一些其它度量或度量的 组合。这种实施例具有两个优点。第一个优点是当决定分离哪棵树 时可以考虑附加信息。第二个优点是只需要为选定的树计算隔离 值。 可以看出,通常部分地通过上述计算隔离过程,获得只具有两 片树叶的简单树。上述过程的剩余过程仅仅相继去除这两片树叶并 增加当前的隔离值。相反,在一个实施例中,当获得具有两片树叶 的简单树时停止该过程,并将当前的隔离值分配给树的其余部分。 这种修改可以加速隔离计算,或者至少避免必须回到用于处理两叶 树的第二方法。在一些情况下,这种可选方法可引起主观性能的改 善,因为其限制了与树中心区域中的边权相比似乎对隔离过份的强 调。 在又一实施例中,可在树边的去除期间计算第二或可选量或度 量。该第二或可选量或度量是边的去除减小的树的一些函数的量。 如果树T的函数被定义为f(T),并且边e的去除将树T分割成 两棵树U和V,则边的去除减小的函数的量可由以下表达式给出: f(T)-f(U)-f(V) 适当的函数可表示树的“能量”。这种能量函数的实例为 其中 xi为像素I处的亮度值; T为所考虑的树;以及 x为树中亮度的平均值。 使用以上定义,根据以上公式的能量减少(其可以看作“边e 的能量”)可以写为 其中,N是指所示树中的顶点的数量。 计算隔离的方法可容易地适于计算树上的该量。这可以通过在 从树叶开始向内处理时对遇到的顶点数量进行计数以及确定遇到 的像素值的总和来完成。可参考图22至图25更详细地解释该方法。 图22至图25基于先前描述中所用的相同输入数据。 在这些图中,像素值(在该情况下为亮度值)示出在对应于每 个像素或图的顶点的圆圈中。最小生成树的边示为连接顶点的线。 在该示例性实施例中,在图的从左到右的行中以及从上到下, 以扫描光栅顺序考虑像素。因此,以光栅顺序扫描,识别和处理了 树的树叶(只连接到一边的顶点)。在每一阶段,记录遇到的顶点 数n和这些顶点的亮度值的累加和s。在树的树叶处,n=1且s为 像素值。已经被处理的顶点在图22中由方框包围的方式示出。 一旦顶点被处理,就从树中去除相应的边。因此,在扫描光栅 的过程期间新生成的树叶可稍后在相同的扫描光栅过程中遇到,并 且也可以如在图的左上处的情况一样被处理。因此,该第一阶段扫 描光栅过程生成如图22所示累加的顶点数和图的20个顶点中的8 个的总和的计算。 在图23中,在第一阶段期间去除的边现在以虚线示出。显示 了新树叶,并且由于光栅扫描模式,可以在一个过程中再次处理几 个顶点。 在图24中,只剩余树的两片树叶并且这些都被去除。剩余一 个单独隔离的像素(具有值8),并且由于从图中已去除了所有边, 所以不需要处理该像素。注意,不保证三次过程足以去除这种大小 的图中的所有边。 最后的阶段是基于负责该边去除的处理的像素的累加值,返回 经过所有边并应用上边导出的公式来获得每条边的能量值。在给定 树的亮度平均值 xT为4.65的情况下,示例性图像中的所有20个像 素的像素值的累加总和是93。因此,例如,如下计算从图24的底 行的左侧开始的第三条边的边能量: NU=10 xU=s/NU=30/10=3 xT=4.65 根据以上公式给出54.5的边能量。 图25示出了所有边的各个能量值。 当使用该方法选择要去除的边时,选择能量被最大化的边。在 该实例中,这是具有能量57.4的边,并且这条边将被去除。 能量度量也可与边权、隔离、或前面提到的其它量结合,以获 得用于边选择的更为复杂的标准。 已经参照两维图像描述了根据本发明的分割算法。通过连续图 像中的像素之间的连接性的适当定义,相同的方法可用于图像序 列。