本发明涉及图像处理，尤其涉及包括把一幅图像分割为具有相应 图像属性的若干像素位置区域的图像处理。 图像分割包括将多个像素位置分组为像素位置相连的、不定的可 选子集，这些子集称为图段(segment)，图段中像素值具有相关的属性。 理想情况下每个图段对应一组像素，该组像素中的对象(object)或者对 象的可视觉分辨部分在该图像中是可见的。图像分割可用于多种目 的。例如，在图像压缩装置中，分割可用于识别不同的像素位置区域， 这些区域的内容将至少部分地通过诸如共同的运动矢量这样的共同 信息进行编码。作为另一例子，在用于以不同视点的图像为基础从一 个用户可选择的视点构造一幅场景图像的装置中，图像分割可用于寻 找在不同的图像中成像出相同的对象或背景的候选像素区域。 通常，已知有两类分割：基于边缘分割和基于核心分割。基于边 缘的分割中，在从图像中检测到边缘后，由图段之间的边缘来定义图 段。例如，可通过图像强度的拉普拉斯算子(关于x位置的强度的二 阶微分与关于y位置的强度的二阶微分之和)来检测边缘，将该微分 超出阈值的像素位置指定为边缘位置。随后，由这些边缘位置包围的 区域被确定为一个图段。 基于核心分割通常包括，将每个像素位置的像素值(或由像素值 计算得到的量)与阈值进行比较，该阈值用于区分在图段内和图段外 的值。这样，例如图像亮区域内的像素可以与暗背景区分开。 这两种情况下，必须折衷地选择该阈值。把阈值设得太低，会使 分割易受噪声影响，以至于所确定的图段不能从一幅图像到另一幅保 持不变，因为它们不对应真实的对象。把该阈值设得太高，会有完全 丢失对象的后果。 结果，现有技术寻找选择阈值的途径，从而一方面抑制噪声影响， 另一方面不使对象不可见。根据图像中观察到的像素值的统计信息适 当地选择阈值，以获得给定图像的最佳区分。例如，以表示图像中像 素值出现频率的直方图为基础，在假定分别由对象和背景产生的直方 图的峰值之间选择阈值。其它技术包括使用平均值作为阈值。 不言而喻，使用这种统计技术为单个图像选择阈值，甚至作为单 个图像中的位置函数，与基本的阈值操作相比，具有相当大的操作开 销。 不过，阈值选择仍是错误的来源，因为它忽略了像素值间的连贯 性。传统技术通过在阈值处理后包含一个“生长”步骤来补偿该问题， “生长”步骤中，与被分入一个图段的多个位置相邻的像素位置也被 归入该图段。结果，该图段取决于像素被处理的顺序。在该图像中的 一个对象，如果没有足够数量的该对象的像素位置被确定属于同一图 段，则该对象可能被完全丢失。结果，对于单个像素来说看起来很小 的阈值错误可以积累成完全丢失对象的大错误。 本发明的其中一个目的是提供一种基于核心的图像分割技术，该 技术产生可靠的分割结果，但并不需要各种阈值选择。 本发明提供了一种如权利要求1所述的方法。根据本发明，在一 个像素位置处的图像强度的曲率(curvature)值的符号被用于识别该像 素位置所属于的图段的类型。虽然假定图像强度仅为非负值，但是假 定取决于位置的这些图像强度的曲率可以为正值和负值。结果，可以 使用零曲率的固定阈值来区分区域。作为像素位置的函数，曲率可以 由图像强度的二阶偏微分矩阵的特征值定义，但是不一定要清楚的计 算出这些特征值来决定符号。 例如可以使用作为像素位置的函数的亮度的曲率符号，但也可以 使用诸如色度分量的强度这样的其它强度，或它们的结合。 在一实施例中，根据一个像素位置处的曲率值是否为全为正或全 为负，将该像素位置分配到不同类型的区域。这提供了一种强壮的分 割方法。在另一个实施例中，使用多个不同强度(例如不同色度分量 的强度)的曲率符号的组合将像素位置分配到图段中。这样，可以区 分多于两种不同类型的图段。 在一个实施例中，对所述强度进行低通滤波，并在滤波后确定曲 率的符号。通过这种方法，可以在不必须选择强度阈值的情况下降低 噪声影响。包含在曲率确定中的区别最好是滤波的固有部分。在另外 一个实施例中，与图像内容相适应地设置带宽，例如，从而调节分离 区域的数目或区域的尺寸(例如平均尺寸)。 在另一实施例中，通过基于曲率符号将像素位置分配到图段中而 初始确定若干图段，然后使这些图段生长。优选地以曲率的振幅作为 该生长的条件，例如，在曲率的绝对值低于一个阈值条件下，把具有 小的正或负曲率的像素位置加入到相邻图段中，或者当该绝对值大于 一个阈值时停止生长。 将利用以下附图描述本发明这些和其它目标以及有利的方面。 图1表示一个图像处理系统。 图1表示一个图像处理系统，其包括图像源10(例如摄像机)和图 像处理装置11，该图像处理装置11包括第一图像存储器12、多个滤 波器单元14a-c、第二图像存储器16、分割单元18和处理单元19。 图像源10的输出端连接至第一图像存储器12，该存储器12连接至 滤波器单元14a-d。滤波器单元14a-d的输出端连接至分割单元18。 分割单元18连接至第二图像存储器16。处理单元19连接至第一图 像存储器12，并经由第二图像存储器16连接至分割单元18。在操作 中，图像源10获取图像并形成图像信号，该图像信号作为像素位置 (x，y)的函数表示所获取图像的强度I(x，y)。该图像被存储在第一存储 器12中。分割单元18将图像中的若干组像素位置确定为图段，并将 用于识别图段中像素位置的信息存储在第二存储器16中。例如在计 算用于存储或传输的压缩图像信号期间，或根据来自图像源10的图 像合成构建可显示的图像信号期间，图像处理单元19使用与图像中 这些图段有关的信息来处理该图像。 滤波器单元14a-c对强度I(x，y)执行低通滤波，并对低通滤波后 的强度I(x，y)进行二阶微分。每个滤波器单元14a-c确定不同的二阶 微分，这些二阶微分包括关于沿x方向位置的二阶微分、关于沿y方 向位置的二阶微分以及关于沿x和y方向位置的交叉微分。这些二阶 微分以基本的滤波核函数(filter kernel)G(x，y)表示，滤波器单元14a-c 各自的滤波核函数定义如下 Gxx(x，y)＝2G(x，y)/x2 Gyy(x，y)＝2G(x，y)/y2 Gxy(x，y)＝2G(x，y)/xy 滤波器单元14a，c计算图像的Ixx，Iyy，Ixy，对应于 Ixx(x，y)＝∫dx′dy′Gxx(x-x′，y-y′)I(x′，y′) Iyy(x，y)＝∫dx′dy′Gyy(x-x′，y-y′)I(x′，y′) Ixy(x，y)＝∫dx′dy′Gxy(x-x′，y-y′)I(x′，y′) 尽管通常在离散的像素位置(x，y)处对强度进行采样，但为了清楚 起见，这些滤波器操作以积分公式表示。因此，滤波器单元14a-c一 般进行与这些积分对应的求和计算。 微分滤波后的图像Ixx(x，y)、Iyy(x，y)和Ixy(x，y)为每个像素位置x，y 定义了一个矩阵。 Ixx(x，y) Ixy(x，y) Ixy(x，y) Iyy(x，y) 该矩阵的特征值定义了滤波之后位置(x，y)处的强度I(x，y)的曲率。 分割单元18使用特征值符号的组合来分割图像。在一个实施例 中，两个特征值均为正的像素位置被分配到第一类型的图段中，两个 特征值均为负的像素位置被分配到第二类型的图段中。不必清楚地计 算出两个特征值以确定符号。该矩阵的决定因数 D(x，y)＝Ixx(x，y)Iyy(x，y)-I2xy(x，y) 等于特征值的积。该矩阵的迹 T(x，y)＝Ixx(x，y)+Iyy(x，y) 等于特征值的和。因此，通过检测一个像素位置的决定因数和迹都为 正可以确定该像素位置的两个特征值都为正，以及当一个位置的决定 因数为正而迹为负时可以检测出该位置的两个特征值为负。分割单元 18初始确定每个单独像素位置是否属于第一类型的图段、第二类型 的图段或不属于这两种类型。然后，分割单元形成若干组彼此相邻且 属于相同类型图段的像素位置。每一组对应一个图段。分割单元18 通知处理单元19哪些像素位置属于同一图段。这可以通过以下方法 实现，例如在第二存储器16中对不同的像素位置使用不同的图像映 射存储位置，并把用于确定这些像素位置所属于的不同区域的标记值 写入到这些不同位置中。在另一实施例中，分割单元不单独地识别这 些区域，而只是把用于识别相关联的像素位置所属于的区域的类型的 信息写入存储位置。应该注意的是，代替为所有像素位置存储信息， 可以为这些像素位置的二次采样的子集存储信息，或者以诸如不同图 段的边界描述这样的非存储映射形式来存储信息。 处理单元19使用关于图段的信息。本发明不局限于特定的应用。 作为例子，通过在不同图像中搜索对应区域，处理单元19可以使用 在不同图像中找到的相同类型的图段。当第一图段出现在第一幅图像 中且相同类型的第二图段出现在第二幅图像中时，处理单元19检测 在这些图段内部或周围第一幅和第二幅图像的内容是否相匹配。如果 匹配，则通过利用相对于其中一幅图像的运动矢量对另一幅图像中的 匹配区域进行编码，从而可以使用该匹配来压缩图像。例如，这些运 动矢量可以应用于使用MPEG标准的编码(MPEG标准没有规定如何 确定运动矢量)。一种可选择的应用是，可以根据运动量确定对象与 摄像机的距离。这些图段也可以用于图像识别。在一个实施例中，仅 选择一种类型的图段用于匹配，而在另一个实施例中，使用所有类型 的图段。 通过使用具有相似曲率的图段来选择用于确定该图像内容是否 匹配的区域，以及如果没有曲率不匹配的图段则避免这样的选择，处 理单元19的处理效率显著提高。曲率的符号是用于选择图段的强壮 参数，因为它在诸如旋转、平移等多种图像变形下都不改变。而且， 许多亮度的渐变也不会导致曲率符号的改变，因为成像出对象的图像 区域中的曲率的符号很强地取决于该对象的固有三维形状。 尽管按照检测的曲率符号和图段的分配之间的一对一关系来描 述分割单元18的操作。然而，在不背离本发明的情况下，分割单元 18可以施加生长操作以确定图段，该生长操作将邻近于一个图段但 未被分配到该图段的像素位置加入到该图段中，并将通过这种方法变 得相邻的图段合并起来。该生长可以被反复地重复，直到相反类型的 图段彼此相遇。在一个可选择的实施例中，可以重复该生长，直到图 段到达该图像中已经检测出边缘的像素位置。 生长图段本身是已知的，但是根据本发明，使用曲率的符号进行 初始的图段选择。生长的一种实现包括，首先根据像素位置的曲率符 号把初始的图段类型标识写入第二存储器16中的图像映射存储位 置，然后按照生长操作改变这些类型标识，例如，将相邻图段的像素 位置的类型标识写入被加入到该图段中的一个像素位置的存储器位 置中。 与生长相反，也可以使用收缩，例如用于去除所选择图段的边缘 的不规则。 在一个实施例中，分割单元以所检测曲率的幅度作为生长的条 件。在该实施例中，当像素位置处的一个或多个曲率的幅度低于第一 阈值且相邻图段的一个或多个曲率高于第二阈值时，其曲率符号与该 邻近图段的曲率符号相反的该像素位置被加入到该图段。这些阈值可 以是预定值，或可以彼此相对地被选择。 如上所述，分割单元18优选地区分两类初始图段，这两类初始 图段的像素位置分别具有正-正或负-负曲率值。然而，可以使用不同 类型的图段类型，例如，在绝对意义上最大的曲率值分别为正和负的 像素位置。 另外，可以使用作为像素位置的函数的亮度信息的曲率来选择区 域，在另外一些实施例中，当然也可以使用其它图像分量的强度，如 色度分量R、G、B或U、V，或者它们的组合(R、G、B、U和V分 量具有标准定义)。在另外一个实施例中，确定多个不同分量的曲率， 且使用不同分量的曲率符号的组合来分割图像。从而可以区分多于两 个不同类型的图段，或可以使用选择图段的不同标准。例如，就R、 G和B的曲率的情况而言，关于相关分量的两个曲率是否都为正、都 为负或其它，可以计算出三条符号信息，用于分别编码R、G和B分 量。这三条符号信息可以用于区分八类图段(R、G和B的曲率全部是 都为正，R和G的曲率全部是都为正且B的曲率都为负，等等)。可 以使用这八种类型将图像分割为八类图段。这样，对于由处理单元 19匹配的区域，可以具有更多可选择的预选。 也可以使用较少数目的类型，例如，第一种类型为R、G和B分 量中的至少两个分量具有全为正的曲率，第二种类型为R、G和B分 量中的至少两个分量具有全为负的曲率。 在一个优选实施例中，滤波器单元14a-c使用了一个高斯核函数 G(x，y)。 G(x，y)＝exp(-(x2+y2)/2σ2) 该类型的核函数的优点是，其可以在滤波器单元14a-c中以两个 一维滤波器操作的级联来实现。 在一个实施例中，选择滤波的比例因子(在高斯滤波器中为σ)以 适应于图像内容。一个例子中，分割单元18将初始确定区域的数目 和目标数目进行比较，并且当初始确定区域的数目分别高于或低于目 标数目时就增大或减小该比例因子。可以使用一对目标值代替单个目 标值，当初始确定区域的数目高于一个较高阈值时增大该比例因子， 当该数目低于一个较低阈值减小该比例因子。从而可以在不必须选择 强度阈值的情况下降低噪声影响。作为一种选择，可以使用区域的平 均尺寸代替区域数目来控制比例因子的自适应。 例如，图1中的各种单元可以实现在适当编程的计算机上，或实 现在经编程或固化(hardwire)以执行诸如滤波、曲率符号的计算、基 于曲率符号的初始图段分配和图段生长这样的所需操作的数字信号 处理器单元上。可以使用专用处理单元代替可编程处理器，该专用处 理单元可以将图像强度作为数字信号、模拟信号或二者的结合进行处 理。也可以使用这些不同类型硬件的组合。