[0001] 本发明涉及图像识别技术领域，更具体的说是涉及一种视觉特征与时空信息融合的跨时空目标关联方法。

[0002] 在监控视频内容分析中，将同一目标的时间、地点线索关联起来形成行人的前进方向，已成为智能监控系统的基础任务。一种流行的做法是利用基于内容的图像检索技术，将目标人物的图像作为查询图像，在摄像机网络中进行图像检索，查找该人物的其他图像，借助摄像机的地理位置和视频拍摄时间，确定该人物出现的时间和地点，这就是行人再识别技术。

[0003] 目前，行人再识别已成为监控视频智能化分析的重要基础技术之一。人再识别主要利用人体的表观特征进行相似性匹配，如衣服的颜色、样式、纹理等，在大时空尺度下，存在大量表观相似的不同行人被错误关联，而同一行人由于不同视角、不同朝向、不同光照等无法关联的问题。

[0004] 针对大时空尺度下的存在不同目标视觉表观相似、同一目标视觉表观变换大的难题，如何综合考虑目标特征和时空位置信息，实现大时空范围的目标关联，是本领域亟待解决的技术问题。

[0035] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0036] 如图1所示，本发明实施例公开了一种视觉特征与时空信息融合的跨时空目标关联方法，包括以下步骤：

[0037] 步骤1：基于预先训练好的目标识别及跟踪模型对监控视频进行目标检测和跟踪，并提取目标特征；

[0038] 步骤2：统计目标在不同时段下、不同摄像机间的距离和渡越时间，以及不同摄像机下目标离开摄像机视野的情况，构建大时空范围下各摄像机之间的动态时空拓扑结构；

[0039] 步骤3：对于给定的待关联目标图像或图像序列，利用各摄像机之间的动态时空拓扑结构，筛选跨摄像机待关联目标图像或图像序列的时空关联范围；

[0040] 步骤4：在步骤3确定的时空关联范围内，以目标特征和时空一致性为准则，对给定的待关联目标图像或图像阵列进行小时空范围下的目标关联；若无法关联到目标，则返回步骤3重新确定时空关联范围，若关联到目标，则执行步骤5；

[0041] 步骤5：以步骤4关联上的目标图像或图像序列作为新的待关联图像，重复执行步骤3‑步骤5，逐步扩大目标搜索范围，直至完成大时空范围下的目标关联。

[0042] 在一个具体实施例中，步骤1中的目标为行人或车辆，当为行人时，提取的目标特征包括可区分行人身份的人脸特征和人体特征，其中，人体特征包括：传统行人再识别特征、头部特征、视觉表观特征、属性特征或人体轮廓特征。

[0043] 具体来说，步骤1的目标识别及跟踪模型采用多个深度学习网络组成，以检测行人目标为例，目标识别及跟踪模型包括：目标检测跟踪网络模型、人脸检测识别网络模型和人体特征提取网络模型，具体可以选用ResNet、ViT等各种深度学习模型；

[0044] 对于选用的网络模型，基于训练样本图像的标注信息和反向传播算法，监督并完成上述网络模型训练；

[0045] 最后，基于训练好的网络模型实现对监控视频中的行人目标的检测跟踪，并对行人图像提取能够帮助区分行人身份的人脸特征和行人视觉表观特征。

[0046] 在一个实施例中，步骤2包括：

[0047] 步骤21：对大时空场景中的n个摄像机，构建n个摄像机间的动态时空拓扑结构，并以n阶拓扑关系矩阵A表示；

[0048] 矩阵A中每个元素均由二元组组成，表示为：A(i, j, k)=(tk, dij, tij)，其中，tk为当前时间段，分为工作日早晚高峰、工作日非高峰、周末以及其它自定义特殊时段；dij表示统计得到的tk时间段下，目标从第i个摄像机运动到第j个摄像机的物理距离，tij表示统计得到的tk时间段下，目标从第i个摄像机运动到第j个摄像机的最短渡越时间；通过使用高德、百度或其他开放地图/GIS平台提供的API接口获取tk时间段下，目标从第i个摄像机运动到第j个摄像机的物理距离和最短渡越时间。

[0049] 步骤22：通过目标识别及跟踪模型实时监测每个摄像机下是否有目标离开或进入摄相机视野，并实时构建每个摄像机的目标离开列表L，若检测到第i个摄像机在t时刻有目标离开视野，则将L[i, t, 1]置为1，反之置为0。

[0050] 在一个具体实施例中，步骤3包括：

[0051] 步骤31：对于给定的待关联目标图像或图像序列及其时间、空间位置信息，根据步骤21构建的动态时空拓扑结构，筛选该目标所在摄像机以及距离该摄像机物理距离小于初始预设距离阈值D的摄像机，将筛选出的各个摄像机范围作为初步关联范围R0；

[0052] 对于行人目标，初始预设距离阈值D的取值范围为500米 1000米；对于车辆目标，~初始预设距离阈值D的取值范围为1500米 3000米。
~

[0053] 步骤32：基于步骤22实时构建的每个摄像机的目标离开列表L，筛选出截至当前时刻感知到目标超出视野的摄像机范围R1，其中，R1=初步关联范围R0 – {L[i, t, 1]=0}的摄像机范围；

[0054] 步骤33：在摄像机范围R1的基础上，从所有检测跟踪得到的目标图像或图像序列中筛选出与待关联目标图像或图像序列的时间间隔大于等于对应摄像机间最短渡越时间tij，但小于kttij的行人图像或图像序列，作为时空关联范围；其中kt为时域扩张系数，且kt>1。

[0055] 步骤31、32是确定空域搜索范围，也就是摄像机范围，在哪些摄像机下搜索；步骤33是确认在这些摄像机下的哪个时间段内搜索。

[0056] 步骤34：当步骤33确定的时空关联范围无法关联到目标时，将步骤33中的时域搜索范围扩大为原来的kt倍（当时域最大时间搜索范围超过一定阈值，如10倍于原对应摄像机间最短渡越时间tij时，停止时域扩张），重新确定扩大后的时空关联范围。

[0057] 步骤35：当步骤34确定的时空关联范围无法关联到目标时，将步骤31中的初始预设距离阈值D扩大为ksD，ks为空域扩张系数，且ks>1；重复执行步骤31‑34，重新确定扩大后的时空关联范围。

[0058] 时域扩张系数kt和时域扩张系数ks的取值一般可按经验取1.5或者2。kt和ks越大，搜索范围扩大速度越快，对应的要关联的目标图像数据量也越大，同时特征相似度的计算量也越大。

[0059] 在一个具体实施例中，当目标为行人时，步骤4包括：

[0060] 步骤41：基于目标识别及跟踪模型提取给定的待关联行人图像或图像序列中的行人人脸特征和行人视觉表观特征，以及步骤3中时空关联范围内的行人人脸特征和行人视觉表观特征；

[0061] 步骤42：将待关联行人图像或图像序列中的行人人脸特征和步骤3确定的时空关联范围内的行人人脸特征分别与底库人脸进行比对，若均可基于人脸识别身份，且身份相同，则判定为同一行人，视为待关联行人图像或图像序列与时空关联范围内的行人图像或序列关联成功；若身份不同，则判定为不同行人，不进行关联；该步骤中，人脸识别即指通过1:N人脸比对，直接确定该人脸行人的身份。

[0062] 步骤43：若步骤42中无法识别待关联或时空关联范围内行人图像或图像序列的身份，则计算待关联行人图像或图像序列与步骤3确定的时空关联范围内的行人图像或图像序列的人脸特征相似度，若相似度高于预设阈值，则判定为同一行人，视为待关联行人图像或图像序列与时空关联范围内的行人图像或序列关联成功；反之，判定为不同行人，不进行关联；

[0063] 该步骤中，人脸特征相似度比对指1:1的人脸验证，即验证待关联行人图像的人脸与关联范围内的每一张图像中人脸是否是同一身份。

[0064] 步骤44：当人脸特征不可用时，计算待关联行人图像或图像序列与步骤3确定的时空关联范围内行人图像或序列间的行人视觉表观特征相似度，若相似度高于预设阈值，则判定为同一行人，视为待关联行人图像或图像序列与时空关联范围内的行人图像或序列关联成功；反之，判定为不同行人，不进行关联。

[0065] 该步骤中，人脸识别限于合理场景，如可以按照普通认知推定被识别人知情、做出授权、并且是可选择使用的，如单位的考勤、园区出入、车站、景区验票等，同时，本申请的人脸识别限用于合法场景：比如寻找走失儿童。

[0066] 该步骤中，行人视觉表观特征相似度可采用离散余弦距离，特征A和特征B的离散余弦距离计算公式如下：

[0067] ；

[0068] 其中，n为特征维度，Ai和Bi表示特征向量第i维的特征。

[0069] 此外，本发明的原理也可用于在不同时空、从不同视角度获取的车辆、舰船、飞机等视频图像目标分析，通过融合目标视觉特征与时空推理，实现大时空目标关联。

[0070] 本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

[0071] 对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。