[0001] 本发明涉及一种目标跟踪方法，尤其是一种具有重检测机制的目标跟踪方法。

[0002] 目标跟踪是计算机视觉中的一个基础问题，跟踪的目的是用来确定我们感兴趣的目标在视频序列中连续的位置，即获取运动目标的参数，如位置、尺寸、速度、加速度以及运动轨迹等，从而进行进一步的处理和分析，实现对运动目标的行为分析与理解，以完成更高级的任务。但由于实际场景复杂多变，视频中目标的遮挡、形变、快速移动、运动模糊、尺度变化及光照等因素都会影响跟踪的准确性，使其在实际应用中仍然面临许多挑战，设计一个快速的、鲁棒的跟踪算法仍然非常困难，仍然是计算机视觉中最活跃的研究领域之一。

[0003] 自从2010年Blume等人首次将相关滤波(CF)引人物体跟踪领域中，其借助于快速离散傅里叶变换，通过将时域上的卷积转换为频域上的点积的处理，极大提高了目标跟踪效率，满足跟踪任务实时性的要求。近期出现了很多相位滤波跟踪器的改进型，比如核相关滤波跟踪器(Kernelized Correlation Filters,KCF，2015)、判决尺度空间跟踪(Discriminative Scale Space Tracking,DSST,2015)和模板和逐像素融合学习器(Sum of Template And Pixel-wise LEaners，简称STAPLE或者Staple，2016年由牛津大学的L.Bertinetto等人提出)，如上相关滤波跟踪器都使用了图像梯度特征。

[0004] 特别是Staple，其针对CF类算法中图像梯度特征(比如HOG)局部鲁棒性较好，但对全局的形变效果不好，而颜色信息统计基于全局，提出了融合两种特征，采用融合代价函数来实现物体的跟踪。该算法和其他基于判决模型的方法一样，主要是两个模块：跟踪检测模块和模型学习模块。在跟踪检测模块中，其结合梯度滤波输出以及逐像素的目标置信图来检测新一帧中的目标物体作为跟踪结果。对模型学习模块，其通过岭回归方法，通过逐帧最小化两个代价函数来学习梯度特征参数H以及颜色特征参数B。该算法既可以较好的适应形变，同时还可以在普通家用电脑上达到每秒80帧的运行速度。但Staple算法和其他的CF类型的算法一样在跟踪有遮挡的物体时会存在目标丢失问题。跟踪的目标一旦丢失，模型就会漂移，后续的跟踪任务就无法进行。

[0024] 为使得本发明的目的、技术方案和优点表达得更加清楚明白，下面结合附图及具体实施例对本发明再做进一步详细的说明。

[0025] 本发明公开的具有重检测机制的目标跟踪系统，包括跟踪检测模块、跟踪质量评估模块、目标重检测模块以及模型在线学习更新模块；

[0026] 跟踪检测模块，用于根据模型在线学习更新模块的最近一次更新的目标模型对当前帧进行跟踪目标检测；

[0027] 跟踪质量评估模块，用于对跟踪检测模块检测到的跟踪目标作跟踪质量评估，若评估为可靠跟踪，则调用模型在线学习更新模块更新目标模型；若评估为非可靠跟踪，则启动目标重检测模块进行目标重检测；

[0028] 目标重检测模块，用于对当前帧进行目标重检测，若检测到了可靠目标，则启动模型在线学习更新模块更新目标模型，再进入下一帧的跟踪任务，若未检测到可靠目标，则保持原目标模型，不触发模型在线学习更新模块，并直接进入下一帧的跟踪任务。

[0029] 其中，跟踪检测模块在对跟踪目标进行检测时，利用模板和逐像素融合学习器对当前帧中的跟踪目标进行检测，跟踪检测的跟踪结果包括跟踪目标在当前帧中的位置以及尺寸信息。

[0030] 跟踪质量评估模块对跟踪检测模块跟踪检测的跟踪结果作质量评估时，包括对当前帧在进行跟踪检测过程中的梯度相关滤波输出波形的峰值旁瓣比以及对当前帧和上一帧的梯度滤波输出的时间平滑性进行质量度量评估。

[0031] 质量度量评估的评估标准为：若峰值旁瓣比大于比值门限且时间平滑性小于平滑门限，则评估为当前帧的跟踪结果可靠；若峰值旁瓣比小于比值门限或时间平滑性大于平滑门限，则评估为当前帧的跟踪结果非可靠。

[0032] 目标重检测模块对当前帧进行目标重检测的具体步骤为，在当前帧的重检测区域内根据颜色模型参数求逐像素色度置信值，再计算得到目标置信积分图，再将目标置信积分图的局部最大值点处作为备选目标，再根据该备选目标的梯度相关滤波输出确认重检测结果。若重检测到可靠的目标，则将该目标作为当前帧的可靠的跟踪结果进行后续的特征提取和模型在线学习过程，若未重检测到可靠的目标，则保持最近一次可靠跟踪的跟踪结果，而在当前帧不进行模型在线学习过程。

[0033] 重检测区域为视频当前帧中以最近一次可靠目标跟踪结果位置为中心的一个图像区域，该图像区域的大小跟随当前帧和最近一次可靠目标跟踪结果对应帧的时间跨度大小而变化，时间跨度越大，则重检测区域越大。

[0034] 颜色模型为由上一帧模型在线学习过程得到的颜色直方图前景投票得票率，颜色直方图前景投票得票率为前景区域颜色直方图中某色度的取值相对于该色度在前景颜色直方图和背景颜色直方图取值之和中的比例，若某色度前景颜色直方图和背景颜色直方图取值之和为零，那么前景投票得票率为零。

[0035] 逐像素色度置信值是指由上一帧模型在线学习得到的颜色直方图前景投票得票率，对重检测区域中的每个像素，按照该像素颜色落在所对应的投票得票率色度区间的投票得票率取值作为该像素的逐像素色度置信值，对整个重检测区域所有像素的逐像素色度置信值对应一张逐像素色度置信值图。

[0036] 目标置信积分图是与重检测区域对应的逐像素色度置信值图，按照最近一次可靠跟踪结果对应的目标大小作为置信窗口，执行置信窗口内置信值积分操作得到置信值之和，重检测区域的每个像素对应一个置信窗口以及一个置信值之和，执行所有像素后便构成了目标置信积分图。

[0037] 根据该备选目标的梯度相关滤波输出确认重检测结果，指的是对备选目标逐一根据上一帧的梯度模型计算相关滤波输出，若该相关滤波输出的峰值旁瓣比大于设定的门限值才作为有效备选目标，并计算出所有有效备选目标相关滤波输出极值中的最大值者，具有最大值者对应的有效备选目标作为重检测的可靠目标输出，若所有的备选目标的相关滤波输出的峰值旁瓣比均小于等于设定的门限值，则认为此次重检测过程未检测出目标。

[0038] 在具体实施时，本发明所述的具有重检测机制的目标跟踪系统，应用于计算机视觉中的视觉跟踪、视觉检测和视频目标行为分析等领域。将本发明所述的目标重检测机制引入到Staple跟踪系统，改进后跟踪系统的功能框图如图1所示。

[0039] 在介绍该改进系统的功能框图之前，有必要结合图1简要介绍Staple跟踪系统的流程。和普通的CF类跟踪算法一样，Staple跟踪算法在首帧人工标定的目标初始状态p0(包括目标位置、目标尺寸)并由首帧图像得到目标梯度模型H0和目标颜色模型B0，对输入的视频序列xt(其中t为当前帧图像时刻，t-1为上一帧图像时刻)，对跟踪检测模块结合相关滤波输出以及逐像素目标置信积分图之和求取极大值位置得到当前帧的状态 作为跟踪结果。然后，根据 经由图1中的虚线101的流程进入“提取特征，估计本帧模型参数”在xt中提取梯度和色度特征，学习当前帧模型参数ht和βt，并以一个学习因子以Ht-1和Bt-1为基础成比例的更新到Ht和Bt中。

[0040] 经本发明改进后的系统和传统的Staple算法相比，本发明的跟踪检测模块的输出不再直接作为特征提取和当前帧参数学习的输入。而是进入跟踪质量评估模块，改进后的跟踪系统不再有虚线101的路径。跟踪质量评估模块根据梯度相关滤波输出yt的峰值旁瓣比(PSR)和当前帧和上一帧的梯度相关滤波输出(yt和yt-1)的时间平滑性度量来评估当前帧跟踪结果的可靠性。其中峰值旁瓣比(Peak to Sidelobe Ratio，PSR)为常规定义:

[0041]

[0042] 其中，μt和σt分别表示yt的均值和方差，max(yt)为yt的峰值。当前帧和上一帧的梯度相关滤波输出的时间平滑性度量(Temporal Smoothness，简称TS)的定义为：

[0043]

[0044] 其中，Δ表示yt和yt-1最大值之间的位移， 表示移位操作，||·||2为二维向量拉直后的矢量二范数， 表示yt和平移△后的yt-1重叠区域的二维网格点数。

[0045] 当上述的峰值旁瓣比大于某个门限且当前帧和上一帧的梯度相关滤波输出的时间平滑性度量小于某特定门限时，认定为该帧的跟踪结果可靠；当上述的峰值旁瓣比小于某门限或当前帧和上一帧的梯度相关滤波输出的时间平滑性度量大于某特定门限时，认定为跟踪结果不可靠。

[0046] 如果跟踪度量评估结果为可靠，根据 在xt中提取梯度和色度特征，学习当前帧模型参数ht和βt，并以一个学习因子以Ht-1和Bt-1为基础成比例的更新到Ht和Bt中，并将 作为第t帧的跟踪结果pt加入状态序列Pt，然后进入下一帧的目标跟踪任务。若跟踪质量评估结果为不可靠，则进入目标重检测模块。

[0047] 目标重检测模块基于上一帧的颜色模型Bt-1对待重检测区域求取逐像素色度置信值，继而得到目标置信积分图，然后求取目标置信积分图的局部最大值位置，将对应的局部最大值的位置作为备选目标的位置。对每个备选目标，提取梯度特征，并计算该梯度特征对Ht-1模板的相关滤波输出的峰值旁瓣比，如果存在至少一个备选目标的峰值旁瓣比小于某门限的备选目标，则认为重检测到可靠目标，选择相关滤波输出极值最大的备选目标p～t作为重检测的结果。若不存在备选目标的峰值旁瓣比小于某门限，则认定为目标重检测模块未重检测到可靠目标。

[0048] 根据重检测结果 在xt中提取梯度和色度特征，学习当前帧模型参数ht和βt，并以一个学习因子以Ht-1和Bt-1为基础成比例的更新到Ht和Bt中，并将 作为第t帧的跟踪结果pt加入状态序列Pt。然后进入下一帧的目标跟踪任务。若未重检测到可靠目标，则保持上一帧的跟踪结果，模型不更新。

[0049] 图1中给出的仅是针对Staple的改进的跟踪系统，本发明的内容可以引入到任意的CF类型的跟踪系统中，比如引入到KCF或DSST中。但如果引入到KCF和DSST中，则需要额外增加一个颜色模型的学习模块。

[0050] 如图2所示，给出了目标重检测模块具体的处理流程为：

[0051] 步骤201为目标重检测模块的输入，该模块基于上一帧的颜色模型，也即颜色直方图前景投票得票率模型Bt-1，待重检测目标的区域，以及用于评估检测区域中备选目标可靠性的上一帧梯度模型Ht-1。待重检测目标的区域为以最近一次可靠跟踪的目标位置为中心的一个区域。该区域可以是固定大小，也可以随当前帧和上一次可靠跟踪帧之间的时间跨度大小而变化，比如，该时间跨度越大，搜索区域越大。

[0052] 202步骤：目标重检测模块基于上一帧的颜色直方图前景投票得票率(后面简称前景投票得票率)模型Bt-1对待重检测区域得到逐像素色度置信值图，该逐像素色度置信值图的大小和待重检测区域二维大小相同。若待检测区域图像点的颜色落在前景投票得票率某个离散色度区间内，则取该离散色度区间的前景投票得票率取值作为该点的逐像素色度置信值。

[0053] 203步骤：对202中得到的逐像素色度置信值图，目标重检测模块按照最近一次可靠跟踪的目标尺寸大小为窗口求目标置信积分图，也就是逐像素的将一个点为中心的窗口中所有的逐像素色度置信值相加作为该点的目标置信积分图的取值。

[0054] 204步骤：求取目标置信积分图的所有局部最大值点，作为目标备选点。可选的，通过如下的方法限制目标备选点的数量：如果其中几个局部最大值点间距离过近，只保留具有最大值的点；只有局部最大值大于目标置信积分图的中值的点，才保留作为目标备选点。

[0055] 205步骤：对每个备选目标提取梯度特征，并计算该梯度特征对最近一次可靠跟踪的梯度模板Ht-1相关滤波输出，得到其峰值旁瓣比。

[0056] 206步骤：看是否存在至少一个备选目标的峰值旁瓣比小于某门限：如果有，则转207；否则，转208。

[0057] 207步骤：目标重检测模块认为重检测到可靠目标，选择相关滤波输出极值最大的备选目标p～t作为重检测的结果。

[0058] 208步骤：若不存在备选目标的峰值旁瓣比小于某门限，则认定为目标重检测模块未重检测到可靠目标。

[0059] 如图3所示，给出了从颜色直方图前景投票得票率学习直到目标重检测到可靠结果的示意流程。

[0060] 图中301为跟踪一可乐罐(视觉跟踪基准库(Visual Tracking Benckmark,VTB)的‘Coke’视频序列的跟踪目标)的跟踪任务的目标(另称作前景)及背景，其中前景为最近一次可靠跟踪的目标，背景是前景周边固定尺寸大小的图像区域。视频首帧时目标是人工指定的。

[0061] 302是根据目标图像得到的D维前景颜色直方图的示意图。

[0062] 303是根据背景图像得到的背景颜色直方图的示意图，也是D维。

[0063] 304示意的是根据颜色直方图得到的颜色直方图前景投票得票率(后面简称前景投票得票率)。对每个直方图维度(请参见连接302、303、304的虚线框，示意了前景直方图、背景直方图以及前景投票得票率在一个维度上的关系)，计算前景直方图取值在前景直方图、背景直方图之和中的比例。

[0064] 305为从最近一次目标被可靠跟踪后,目标被遮挡，又在当前帧重新出现时的重检测区域，也就是跟踪系统触发了目标重检测的当前帧图像重检测区域。

[0065] 306为根据304的前景投票得票率和305图像得到的逐像素色度置信图，该示意图为热度图。若重检测区域图像304的每个像素的颜色落在前景投票得票率对应的色度区间内，则该逐像素色度置信图的对应像素位置取前景投票得票率对应该区间的值。

[0066] 307是目标重检测模块对306按照最近一次可靠跟踪的目标尺寸大小为窗口逐像素的求得的目标置信积分，得到目标置信积分图，该图为三维曲面图，竖直的维度为目标置信积分的取值。

[0067] 308示意了目标重检测模块重检测到可靠目标的情况，图中309对应菱形就是重检测的目标备选点，而310的矩形框就是经梯度模型验证的重检测可靠目标。

[0068] 图3中示意的304为根据一帧可靠目标跟踪图像计算得到的前景投票得票率模型。可选的，可以根据前面所有可靠的目标跟踪结果迭代的计算该模型，常常使用一个常数比例来根据当前可靠跟踪帧的习得的模型迭代更新该模型。

[0069] 图4是本发明目标跟踪系统的结构示意图

[0070] 本发明的目标跟踪装置40可以对来自摄像机及视频采集卡的视频序列或者直接指定的现有视频来源41作目标跟踪任务，也即，该装置可接收41所示的视频序列。在开始跟踪以前，首帧图像需要人工标定跟踪目标和装置参数，所以该目标跟踪装置具备和人交互的接口设备42。

[0071] 目标跟踪装置包括跟踪检测模块401、跟踪质量评估模块402、目标重检测模块403、模型在线学习更新模块404以及数据存储模块405。在目标跟踪任务过程中，跟踪检测模块401、跟踪质量评估模块402、目标重检测模块403以及模型在线学习更新模块404会从数据存储模块405中读取数据及更新数据到数据存储模块405。

[0072] 数据存储模块405中存储的数据包括：人工标定的目标初始位置和大小，目标梯度模型参数，目标颜色模型参数，可靠跟踪的帧的时间以及目标的位置和尺寸，以及最近一次可靠跟踪帧和当前帧的时间差，当前帧以前的最近一次可靠跟踪帧的梯度模型相关滤波输出，各种门限参数。

[0073] 跟踪检测模块401根据前面最近一次可靠跟踪帧算得的目标模型(由模型在线学习更新模块404算得)，跟踪到当前帧的目标。跟踪质量评估模块402会对跟踪检测模块401跟踪到的目标作跟踪质量评估：如果认定为可靠跟踪，则直接调用模型在线学习更新模块404更新目标模型；如果认定为非可靠跟踪，则启动目标重检测模块403的目标重检测功能，看能否重检测到可靠目标。目标重检测模块403如果重检测到了可靠目标，则启动模型在线学习更新模块404更新目标模型，然后进入下一帧的跟踪任务；否则保持原目标模型，不触发模型在线学习更新模块404，而直接进入下一帧的跟踪任务。

[0074] 以上说明对本发明而言只是说明性的，而非限制性的，本领域普通技术人员理解，在不脱离所附权利要求所限定的精神和范围的情况下，可做出许多修改、变化或等效，但都将落入本发明的保护范围内。