[0059]

[0060] S220、分别将第一重采样行人特征图和第二重采样行人特征图输入至目标网络模型中的候选区域精修模块，得到对应的第一修正后行人特征图和第二修正后行人特征图。

[0061] 在一实施例中，S220包括：分别将第一重采样特征图和第二重采样特征图输入至候选区域精修模块中的参数估计网络，得到对应的第一仿射变换参数和第二仿射变换参数；基于第一仿射变换参数建立第一重采样特征图和第一修正后行人特征图之间的第一映射关系，以及基于第二仿射变换参数建立第二重采样特征图和第二修正后行人特征图之间的第二映射关系；采用双线性插值采样方式，并基于第一映射关系和第一重采样特征图的源像素点坐标确定目标像素点坐标，得到第一修正后行人特征图，以及基于第二映射关系和第二重采样特征图的源像素点坐标确定目标像素点坐标，得到第二修正后行人特征图。

[0062] 图6是本发明实施例提供的一种候选区域精修模块的实现示意图。如图6所示，候选区域精修模块主要包括三个部分，分别为：参数估计网络、坐标映射和目标点的像素采集。这个模块通过估计网络估计出仿射变换参数(即第一仿射变换参数和第二仿射变换参数)，得到参数后便能在源特征图(即第一重采样特征图和第二重采样特征图)和目标特征图(即第一修正后行人特征图和第二修正后行人特征图)之间建立起映射关系，得到变换前后特征图之间的映射关系之后通过双线性插值实现目标图的像素采样。

[0063] 假设未修正的行人特征图(即第一重采样特征图和第二重采样特征图)为H,W,C分别高度、宽度和通道数。估计网络的结构为：未修正的特征图经过通道池化变成二维向量 随后展平为一维向量，通过全连接层估计出6个仿射变换参数θ(分别为θ11、θ12、θ13、θ21、θ22和θ23)。修正后的行人特征图为 与未修正的行人特征图进行仿射变换一一对应，可以用以下公式来表示：

[0064]

[0065] 其中，(xs,ys)为源素点坐标，(xt,yt)为目标素点坐标。而目标像素点采用双线性插值采样得到较为精确的像素值。

[0066] S230、分别对第一修正后行人特征图和第二修正后行人特征图均进行分块平均池化和全局平均池化，得到目标行人图像对应的第一局部特征和第一全局特征，以及待检测全景图像对应的第二局部特征和第二全局特征。

[0067] 在一实施例中，S230包括：分别对第一修正后行人特征图和第二修正后行人特征图均进行分块平均池化和全局平均池化，得到目标行人图像对应的第一局部特征向量和第一全局特征向量，以及待检测全景图像对应的第二局部特征向量和第二全局特征向量；分别对第一局部特征向量和第一全局特征向量进行重识别，得到对应的第一局部特征和第一全局特征；分别对第二局部特征向量和第二全局特征向量进行重识别，得到对应的第二局部特征和第二全局特征。

[0068] 图7是本发明实施例提供的一种局部特征和全局特征联合模块的实现示意图。如图7所示，局部特征和全局特征联合模块位于整个框架的后段，如图7所示。局部特征的提取示意图在虚线框中。为了方便展示，使用某个目标行人的原图作为行人特征图张量的封面。局部特征的提取将行人特征张量进行水平划分，示例性地，图7中将行人特征张量划分4块。
在每一个行人特征张量的小块上进行平均池化，便得到了四个局部特征向量。这些局部特征向量从结构上对应了候选框中行人从头到脚的身体结构。其中，局部特征图是进行水平均匀分块的。Res5的输出分为上下两个分支，上下分支并行。下分支采用通用的全局平均池化的特征向量进行检测的坐标回归和分类，全局特征降维后进行重识别。而主要的局部特征分支在图中的上分支，上分支对行人特征图进行水平均匀分块。对该块上所有特征值按通道进行区域池化，得到4个未降维局部特征向量。每一个局部特征向量都独立地全连接降维成256维的L2归一化向量，再分别进行行人类别的学习。

[0069] 因此，除了上述的区域生成网络行人或者背景的二分类交叉熵损失和检测框回归损失smooth L1损失函数，精修得到的候选框中的行人特征再次进行行人或者背景的二分类交叉熵损失和检测框回归损失smooth L1损失函数。行人重识别损失函数包括：对Res5的输出全局平均池化再全连接降维的全局行人特征向量使用分类损失函数，以及对图中四个同维度的局部行人特征使用分类损失函数。本方案算法最小化上述所有损失函数之和。

[0070] S240、根据每个第一局部特征与对应第二局部特征之间的乘积值或余弦值确定对应的局部特征相似度。

[0071] 在实施例中，可以将第一局部特征与对应第二局部特征之间的乘积值作为两者之间的局部特征相似度，或者，将第一局部特征与对应第二局部特征之间的余弦值作为两者之间的局部特征相似度。

[0072] S250、根据第一全局特征与第二全局特征之间的乘积值或余弦值确定对应的全局特征相似度。

[0073] 在实施例中，可以将第一全局特征与对应第二全局特征之间的乘积值作为两者之间的全局特征相似度，或者，将第一全局特征与对应第二全局特征之间的余弦值作为两者之间的全局特征相似度。

[0074] S260、根据每个局部特征相似度和局部特征数量确定局部特征平均相似度。

[0075] 其中，局部特征数量指的是每个行人被划分的数量。示例性地，比如，一个行人被划分为4个等份，即存在4个局部特征，对应的局部特征数量为4个。在实施例中，将所有局部特征相似度进行相加，得到局部特征相似度总和，然后将局部特征相似度总和与局部特征数量的比值，作为局部特征平均相似度。

[0076] S270、根据局部特征平均相似度和全局特征相似度确定目标行人与待检测全景图像中每个行人之间的实际相似度。

[0077] 将局部特征平局相似度和全局特征相似度的总和的二分之一作为目标行人与待检测全景图像中每个行人之间的实际相似度。

[0078] S280、根据实际相似度和预设相似度阈值的比对结果对目标行人进行搜索。

[0079] 在实际相似度达到预设相似度阈值的情况下，则表示在待检测全景图像中搜索到目标行人；否则，则表示未在该待检测全景图像中搜索到目标行人，以此类推，对下一个待检测全景图像进行目标行人的搜索，直至完成搜索库中所有待检测全景图像中目标行人的搜索，或者，在其中一个待检测全景图像中完成目标行人的搜索为止，具体可根据实际情况进行设定。

[0080] 图8是本发明实施例提供的一种局部特征和全局特征联合的行人搜索的测试示意图。如图8所示，在测试阶段，行人特征向量同样采用局部特征和全局特征联合的方式。在图8中，Query代表待搜索的目标行人，Gallery代表搜索库中的待检测全景图像，方框表示行人检测结果。以四块局部特征为例，Query的特征表达有4个第一局部特征q1、q2、q3、q4和第一全局特征Q。而区域生成网络产生的行人候选框中的特征表达有4个第二局部特征g1、g2、g3、g4和第二全局特征G。上述特征向量都在同一维度。利用局部和全局特征衡量Query行人和Gallery检测框的行人的相似度。首先定义L2归一化两个向量的相似度：

[0081] sim(q1,g1)＝cos(q1,g1)＝q1·g1

[0082] 其中，sim(q1,g1)表示待检测全景图像所对应第一个局部特征与目标行人所对应第一个局部特征之间的局部特征相似度；cos(q1,g1)表示待检测全景图像所对应第一个局部特征与目标行人所对应第一个局部特征之间的余弦值；q1·g1表示待检测全景图像所对应第一个局部特征与目标行人所对应第一个局部特征之间的乘积值。

[0083] 则本方案采用联合局部和全局特征表达，Query行人和Gallery检测框的行人的相似度公式为：

[0084]

[0085] 其中，sim(Q,G)表示待检测全景图像所对应全局特征与目标行人所对应全局特征之间的全局特征相似度；sim(qi,gi)表示待检测全景图像所对应i个局部特征与目标行人所对应i个局部特征之间的局部特征相似度； 表示待检测全景图像所对应i个局部特征与目标行人所对应i个局部特征之间的局部特征相似度的总和；n为局部特征的总数量。

[0086] 本实施例的技术方案，通过候选区域精修模块，该模块位于网络框架的中段，通过显示学习仿射变换参数提高网络空间不变性，以及提升网络模型对空间变换的泛化能力；其次，为了解决背景冗余和背景差异带来的一部分影响，网络框架在中段采用了自适应区域采样模块，该模块能够使得采样小块能够小范围移动，聚焦于行人部分，消除部分背景噪声影响；最后针对现有行人搜索方案缺乏细粒度信息的问题，通过联合局部特征和全局特征的端到端行人搜索方案能够给网络模型增加蕴含丰富判别信息的行人局部特征，提高网络的判别性和准确度，并且，方法运算更加轻量，不需引入过多的辅助标注信息，以及不存在模型跨域训练的问题。

[0087] 在一实施例中，图9是本发明实施例提供的一种行人搜索装置的结构示意图。如图9所示，该装置包括：第一确定模块310、第二确定模块320和搜索模块330。

[0088] 第一确定模块310，用于将目标行人图像和待检测全景图像分别输入至预先构建的目标网络模型中，得到目标行人图像对应的第一局部特征和第一全局特征，以及待检测全景图像对应的第二局部特征和第二全局特征；

[0089] 第二确定模块320，用于确定第一局部特征与第二局部特征之间的局部特征相似度，以及第一全局特征与第二全局特征之间的全局特征相似度；

[0090] 搜索模块330，用于基于局部特征相似度和全局特征相似度对目标行人进行搜索。

[0091] 在一实施例中，第一确定模块310，包括：

[0092] 第一确定子模块，用于分别将目标行人图像和待检测全景图像对应的全景特征图输入至目标网络模型中的自适应区域采样模块，得到目标行人图像对应的第一重采样行人特征图和待检测全景图像对应的第二重采样行人特征图；

[0093] 第二确定子模块，用于分别将第一重采样行人特征图和第二重采样行人特征图输入至目标网络模型中的候选区域精修模块，得到对应的第一修正后行人特征图和第二修正后行人特征图；

[0094] 第三确定子模块，用于分别对第一修正后行人特征图和第二修正后行人特征图均进行分块平均池化和全局平均池化，得到目标行人图像对应的第一局部特征和第一全局特征，以及待检测全景图像对应的第二局部特征和第二全局特征。

[0095] 在一实施例中，第一确定子模块，包括：

[0096] 输入单元，用于分别将目标行人图像和待检测全景图像对应的全景特征图输入至目标网络模型中的自适应区域采样模块；

[0097] 第一确定单元，用于通过自适应区域采样模块中的区域建议网络RPN输出与目标行人图像对应的第一初始行人特征图，以及与待检测全景图像对应的第二初始行人特征图；

[0098] 调整单元，用于基于预先确定的第一横纵偏移量对第一初始行人特征图进行移动，以及基于预先确定的第二横纵偏移量对第二初始行人特征图进行移动，得到对应的第一重采样行人特征图和第二重采样行人特征图。

[0099] 在一实施例中，第二确定子模块，包括：

[0100] 第二确定单元，用于分别将第一重采样特征图和第二重采样特征图输入至候选区域精修模块中的参数估计网络，得到对应的第一仿射变换参数和第二仿射变换参数；

[0101] 建立单元，用于基于第一仿射变换参数建立第一重采样特征图和第一修正后行人特征图之间的第一映射关系，以及基于第二仿射变换参数建立第二重采样特征图和第二修正后行人特征图之间的第二映射关系；

[0102] 第三确定单元，用于采用双线性插值采样方式，并基于第一映射关系和第一重采样特征图的源像素点坐标确定目标像素点坐标，得到第一修正后行人特征图，以及基于第二映射关系和第二重采样特征图的源像素点坐标确定目标像素点坐标，得到第二修正后行人特征图。

[0103] 在一实施例中，第三确定子模块，包括：

[0104] 池化单元，用于分别对第一修正后行人特征图和第二修正后行人特征图均进行分块平均池化和全局平均池化，得到目标行人图像对应的第一局部特征向量和第一全局特征向量，以及待检测全景图像对应的第二局部特征向量和第二全局特征向量；

[0105] 第一重识别单元，用于分别对第一局部特征向量和第一全局特征向量进行重识别，得到对应的第一局部特征和第一全局特征；

[0106] 第二重识别单元，用于分别对第二局部特征向量和第二全局特征向量进行重识别，得到对应的第二局部特征和第二全局特征。

[0107] 在一实施例中，第二确定模块320，包括：

[0108] 第四确定子模块，用于根据每个第一局部特征与对应第二局部特征之间的乘积值或余弦值确定对应的局部特征相似度；

[0109] 第五确定子模块，用于根据第一全局特征与第二全局特征之间的乘积值或余弦值确定对应的全局特征相似度。

[0110] 在一实施例中，搜索模块330，包括：

[0111] 第六确定子模块，用于根据每个局部特征相似度和局部特征数量确定局部特征平均相似度；

[0112] 第七确定子模块，用于根据局部特征平均相似度和全局特征相似度确定目标行人与待检测全景图像中每个行人之间的实际相似度；

[0113] 搜索子模块，用于根据实际相似度和预设相似度阈值的比对结果对目标行人进行搜索。

[0114] 本发明实施例所提供的行人搜索装置可执行本发明任意实施例所提供的行人搜索方法，具备执行方法相应的功能模块和有益效果。

[0115] 在一实施例中，图10是本发明实施例提供的一种电子设备的结构框图，如图10所示，示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

[0116] 如图10所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。

[0117] 电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0118] 处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如行人搜索方法。

[0119] 在一些实施例中，行人搜索方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的行人搜索方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行行人搜索方法。

[0120] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0121] 用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0122] 在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0123] 为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

[0124] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

[0125] 计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

[0126] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

[0127] 上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。