[0001] 本发明涉及计算机视觉技术，尤其是涉及一种基于偏好统计的数据表征的模型拟合方法。

[0002] 视觉是人类从大自然中获取信息的最主要的手段之一。人类感知外界信息很大一部分是通过视觉得到，其它的由味觉，听觉等得到。由此可见视觉信息的重要性。随着计算机技术的不断发展，人们不仅希望计算机能够获取得图像信息，也希望计算机具有人类视觉的感知功能，使其高效地处理图像信息，因此计算机视觉这门新兴的综合学科得到广泛关注。在过去的十几年里计算机视觉取得了蓬勃的发展，并出现了大量的基于计算机视觉的产品。例如：具有人脸自动检测和全景拍摄功能的数码相机，具有美颜功能的手机、汽车的智能泊车功能、汽车无人驾驶等。

[0003] 对计算机视觉而言的一项重要任务是，如何让计算机从图像中获取人类所需要的信息。在大部分情况下，这些信息可以用参数模型来表示。所需要的这些参数模型可以通过，模型拟合方法从输入的数据中计算得到。因此，在很多计算机视觉的任务中，模型拟合具有重要的作用。

[0004] 在过去的几十年里，大量的模型拟合方法已经被提出来。随机抽样一致的方法RANSAC，由于其简单和高效而被广泛地应用，但是该方法初始的设计，只能处理单一结构的数据。为处理多结构数据，许多方法(例如J-Linage，RansaCov)已经被提出来，并且提高了拟合的性能。然而，这些方法的拟合精度对于内点噪声尺度非常地敏感。因此，取代类似于RANSAC 采用基于一致统计分析的方法，RHA提出了偏好分析的方法。例如，J-Linage提出采用二值偏好的方式来表征数据点，其中二值偏好是通过一系列获选模型的一致分析获取的。为了更加精确地描述点的偏好，T-Linkage和RPA将二值偏好松弛为连续偏好来表征数据点。并且 T-Linkage和RPA分别利用一个连续的指数核函数和一个连续的鲁棒柯西函数来表征连续的偏好分析。另外，KF提出根据点到生成的模型假设的升序的残差安排来表征每个数据点。基于偏好分析的数据表征的模型拟合方法，在更加充分的描述数据点时发挥了很大的优势。然后这些拟合方法运用了偏好信息，他们缺少了一致信息，这可能导致不好的拟合结果。

[0035] 下面结合附图和实施例对本发明的方法作详细说明。

[0036] 参见图1，本发明实施例包括以下步骤：

[0037] 1)准备数据集；输入N个数据点X＝{xi}i＝1,...,N，从输入的数据点中采样M个最小子集生成模型假设H＝{hj}j＝1,...,M，其中一个最小子集是估计一个模型所需要的最小子集，比如生成一条直线需要两个点，估计一个基础矩阵需要7个点或者8个点。

[0038] 2)针对每个点xi，计算该点到M个模型假设的绝对残差。(可用sampson距离度量)[0039] 3)J-Linkage的一致统计分析本质是统计所有的残差值中小于固定阈值的残差(阈值是由指定的或者估计的内点噪声尺度决定)。这种做法可看作一种非常粗糙的残差直方图数据表征，它将所有的小于阈值的残差归到一个直方图簇中和将大于阈值的残差归到另一个直方图簇中。提出将所有的残差值中小于固定阈值的残差，归到K个簇的残差直方图中(K是一个相对小的整数>1)进行残差数据表征。即，针对每个数据点xi，对该点关于每个假设的残差值进行排序，并且安排这些残差值到直方图的k(k∈{1,...,K})个簇中。因此，定义一个偏好统计矩阵 其中θij是关于第i个点和第j个假设对应的直方图簇的索引值。这是一种更加清晰的数据表征方法，它将比J-Linkage的一致统计分析方法保留更多的残差信息。

[0040] 4)基于非参的核密度估计技术，获得 个有意义的模型假设 得到一个修剪的偏好统计矩阵 该矩阵只包含了 个有意义的模型假设

[0041] 5)分析矩阵 中每一行 的信息内容，然后将内点从离群点区分出来，其中每一行 对应于第i数据点xi。每一行 的信息内容和该行的数值(直方图的簇)情况密切相关。那么，每行 的信息熵能够以簇值的概率分布进行测量，通过以下的熵度量:

[0042]

[0043] 其中，r(r

[0044]

[0045] 根据公式(1)，能够在每一行 获取不同的信息熵。因此，内点和离群点在偏好统计矩阵 中将显示出很大的区别。通过一个自动熵阈值，能够移除大量的离群点在不同的值。

[0046] 6)根据保留下来的内点，分割数据到不同的数据结构里。提出一种新型的基于自适应聚类的模型选取算法，该算法能够自动学习数据相似矩阵并同时执行聚类来估计模型实例。能够有效地处理处于交叉模型实例附近的数据点。步骤如下：

[0047] 采用cosine距离作为度量，来决定每个点的最近邻居点。通过在偏好统计矩阵中对应的两个行向量 和 两个内点之间的cosine距离能够被计算如下：

[0048]

[0049] 根据两两点之间的cosine构造相似矩阵，以及定义每个内点 能够被其它所有内点成为邻居点的概率是sii′，其中sii′是对应于相似矩阵 的每个元素。两个点之间越小的距离就可能有越大的概率成为邻边，因此sii′的值对应于两点 和 的距离值成反比。对于所有的内点，自适应邻边的模型可以通过公式(4)解决：

[0050]

[0051] 式中，α是正则化参数。在谱分析中，Ls＝D-(ST+S)/2被成为拉普拉斯矩阵，式中度矩阵 被定义为一个对角矩阵，它的第i行元素是D＝∑i′(sii′+si′i)/2。以一个接近的方式解决，优化方程公式(4)自适应安排每个点的领边。自适应学习的相似矩阵S经过合理地排序形成块对角。那么，基于学习的相似矩阵S就可以将内点划分到c个模型实例。其中c是结构数目。而初始化相似矩阵S的连接成分的数目c通过计算相似矩阵S对应的拉普拉斯矩阵的特征值小于一定阈值μ的数目。在实践中，一个模型实例可能对应于多个模型，这实际上是同一个模型的不完美估计。因此，将进一步精化拟合结果，通过合并两个具有相似偏好信息的独立模型。基于自适应图学习技术，所提出的方法能够有效地处理处于交叉模型实例附近的数据点。

[0052] 图2为本发明实施例的数据表征与现在两种流行的数据表征(即J-Linkage和T-Linkage)方法进行对比，为测试数据表征的性能，将T-Linkage的偏好数据表征替换为J-Linkage的一致数据表征，构成J1-Linakge。同时也将T-Linkage的偏好数据表征替换为偏好统计数据表征，构成P-Linkage。使P-Linkage J1-Linakge T-Linkage在J-Linkage数集进行直线(Star5和 Star11)和圆形(Circle5)拟合，同时在AdelaideRMF数据集(H.S.Wong,T.-J.Chin,J.Yu,and D.Suter.Dynamicand hierarchical multi-structure geometric model fitting.In Proc.of ICCV,pages 1044–1051,2011.)上进行单应性矩阵(Homograph)和基础矩阵(Fundamental)估计。总体上，偏好统计数据表征P-Linkage取得最低平均错误率。

[0053] 图3为本发明在AdelaideRMF数据集上进行基础矩阵拟合结果。在图3中，a～g分别表示(a)Game,(b)Cubechips,(c)Gamebisicuit,(d)Breadtoycar,(e)Bisicuitbookbox,(f) Breadcubechips，(g)Cubebreadtoychips；第一排为真实结果，第二排为本发明的实验结果。

[0054] 本发明与其它几种模型拟合方法在AdelaideRMF数据集上进行单应性矩阵估计拟合的平均误差错误率参见表1。其中M1～M8对应为(M1:P-Linkage；M2:J1-Linkage；M3:T-Linkage； M4:KF；M5:AKSWH；M6:RansaCov；M7:MSHF；M8:Ours.)和本发明提出的方法。

[0055] 表1

[0056]

[0057] 在表1中，J-Linkage对应为R.Toldo等人提出的方法(R.Toldo  and A.Fusiello.Robust multiple structuresestimation with j-linkage.In Proc.of ECCV,pages537–547,2008.)；

[0058] RANSAC对应为M.A.Fischler等人提出的方法(M.A.Fischler and R.C.Bolles.Random sample consensus:a paradigm for model fitting with applicationsto image analysis and automated cartography.Comm.ACM,24(6):381–
395,1981.)；

[0059] RansaCov对应为L.Magri等人提出的方法(L.Magri and A.Fusiello.Multiple model fitting as aset coverage problem.In Proc.of CVPR,pages 3318–3326,2016.)；

[0060] RHA对应为W.Zhang等人提出的方法(W.Zhang and J.Kǒsecká.Nonparametric estimationof multiple structures with outliers.In Proc.of ECCV,pages 60–74.2006.)；

[0061] T-Linkage对应为L.Magri等人提出的方法(L.Magri and A.Fusiello.T-linkage:A continuousrelaxation of j-linkage for multi-model fitting.In Proc.of CVPR,pages 3954–3961, 2014.)；

[0062] RPA对应为L.Magri等人提出的方法(L.Magri and A.Fusiello.Multiple structure recovery via robust preference analysis.IVC,67:1–15,2017.)；

[0063] KF对应为T.-J.Chin等人提出的方法(T.-J.Chin,H.Wang,and D.Suter.Robust fitting of multiple structures:The statistical learning approach.InProc.of ICCV,pages 413–420,2009.)；

[0064] AKSWH对应为H.Wang等人提出的方法(H.Wang ,T.-J.Chin,and D.Suter.Simultaneously fitting and segmenting multiple-structure data with outliers.IEEE Trans.PAMI,34(6):1177–1192, 2012.)

[0065] MSHF对应为H.Wang等人提出的方法(H.Wang,G.Xiao,Y.Yan,and D.Suter.Searching forrepresentative modes on hypergraphs for robust geometric model fitting.IEEE Trans.PAMI, 2018.)；

[0066] AdelaideRMF数据集对应为H.S.Wong,T.-J.Chin,J.Yu,and D.Suter.Dynamicand hierarchical multi-structure geometric model fitting.In Proc.of ICCV,pages 1044–1051,2011。