技术领域
[0001] 本发明涉及人脸识别技术领域，尤其涉及一种复杂环境人脸识别方法及系统。
相关背景技术
[0002] 一般的复杂环境人脸识别技术更多关注在算法上去除数据集中图像数据包含的环境干扰因素，其更多的去干扰工作多是嵌入到算法的计算过程中，该类算法对于提取图像的去杂质任性特征设计甚少，且不利于对特征值的特区运算。目前，在复杂环境下的人像特征提取领域迫切需要一种能在视频特征提取中去除干扰项的提纯方法,以排除人脸识别输入中的干扰因素。
具体实施方式
[0031] 以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0032] 如图1所示为根据本公开的一种复杂环境人脸识别方法及系统的流程图，下面结合图1来阐述根据本公开的实施方式的一种复杂环境人脸识别方法及系统。
[0033] 本公开提出一种复杂环境人脸识别方法及系统，具体包括以下步骤：
[0034] 步骤1，通过网络将采集到的视频数据上传后端的服务器；
[0035] 步骤2，在服务器上将采集到的视频进行分解处理，将视频分解为帧序列，并将视频中各帧的采集时间作为帧序列的标记序列；
[0036] 步骤3，提取帧序列中包含人脸目标出现的帧，作为人像帧，把人像帧集合为第二帧序列；
[0037] 步骤4，提取帧序列中不包含人脸目标出现的帧，作为环境帧，把环境帧集合为第三帧序列；
[0038] 步骤5，以第三帧序列中环境帧计算出干扰特征，以第二帧序列中人像帧进行转化计算得到其转化特征；
[0039] 步骤6，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征。
[0040] 进一步地，在步骤1中，通过网络将采集到的视频数据上传后端的服务器的方法为：通过无线网络将采集到的视频数据向后端的服务器进行传输。
[0041] 进一步地，在步骤2中，在服务器上将采集到的视频进行分解处理，将视频分解为帧序列，并将视频中各帧的采集时间作为帧序列的标记序列的方法为：将视频分解为一组帧序列，把每一帧通过进行灰度化和归一化处理得到的所有帧集合成为帧序列，并且将各帧采集时记录的时间标注入帧序列中作为帧序列的标记序列T＝{t}。
[0042] 进一步地，在步骤3中，提取帧序列中包含人脸目标出现的帧，作为人像帧，把人像帧集合为第二帧序列，以计算出干扰特征的方法为：利用MTCNN算法(参见论文：Kaipeng Zhan,Zhanpeng Zhang,Zhifeng L,Yu Qiao.Joint Face Detection and Alignment Using Multitask Cascaded Convolutional Networks.2016,IEEE Signal Processing Letters.)或PyramidBox算法(参见论文：X.Tang,Daniel K.Du,Z.He,J.Liu PyramidBox:A Context‑assisted Single Shot Face Detector.arXiv preprint arXiv:1803.07737,2018.)把帧序列中包含人脸目标的帧(即人像帧)筛选出来作为第二帧序列。
[0043] 进一步地，在步骤4中，提取帧序列中不包含人脸目标出现的帧，作为环境帧，把环境帧集合为第三帧序列，方法为：在步骤3中，所述帧序列中筛选掉第二帧序列后剩下的不包含人脸目标出现的帧(即环境帧)作为第三帧序列，所述复杂环境指雨、雪、雾霾、沙尘暴等复杂天气环境下对监控摄像产生干扰的情况。
[0044] 进一步地，在步骤5中，以第三帧序列中环境帧计算出干扰特征，以第二帧序列中人像帧进行转化计算得到其转化特征，如图2所示，具体方法为：
[0045] 步骤5.1，令第二帧序列、第三帧序列中的各帧构成的矩阵M表示为函数M(i,j)，矩阵M的大小为512×512、300×300、或218×218，其中M(i,j)表示矩阵M的第i行第j列元素，M(i,)表示矩阵M的第i行元素组成的数组，M(,j)表示矩阵M的第j列元素，变量i表示矩阵的行的序号，变量j表示矩阵的列的序号，n表示矩阵的行数，m表示矩阵的列数；
[0046] 步骤5.2，计算M中各个像素与其他像素的特征关系，令r(i)表示矩阵第i行的元素M(i,)与整个矩阵M的特征关系，c(j)表示矩阵第j列的元素M(,j)与整个矩阵M的特征关系，求c(j)为矩阵第j列元素与帧的矩阵中其他列的元素的特征关系，有c(j)＝{[M(1,j)×M(1,1)+M(2,j)×M(2,1)+…+M(n‑1,j)×M(n‑1,1)+M(n,j)×M(n,1)]+[M(1,j)×M(1,2)+M(2,j)×M(2,2)+…+M(n‑1,j)×M(n‑1,2)+M(n,j)×M(n,2)]+[M(1,j)×M(1,3)+M(2,j)×M(2,3)+…+M(n‑1,j)×M(n‑1,3)+M(n,j)×M(n,3)]+…+[M(1,j)×M(1,m‑1)+M(2,j)×M(2,m‑1)+…+M(n‑1,j)×M(n‑1,m‑1)+M(n,j)×M(n,m‑1)]+[M(1,j)×M(1,m)+M(2,j)×M(2,m)+…+M(n‑1,j)×M(n‑1,m)+M(n,j)×M(n,m)]‑[M(1,j)×M(1,j)+M(2,j)×M(2,j)+…+M(n‑1,j)×M(n‑1,j)+M(n,j)×M(n,j)]}/[n×(m‑1)],
[0047] 并求r(i)为矩阵第i行的元素M(i,)与整个矩阵M的特征关系，有
[0048] r(i)＝{[M(i,1)×M(2,1)+M(i,2)×M(2,2)+…+M(i,m‑1)×M(2,m‑1)+M(i,m)×M(2,m)]+[M(i,1)×M(3,1)+M(i,2)×M(3,2)+…+M(i,m‑1)×M(3,m‑1)+M(i,m)×M(3,m)]+…+[M(i,1)×M(n‑1,1)+M(i,2)×M(n‑1,2)+…+M(i,m‑1)×M(n‑1,m‑1)+M(i,m)×M(n‑1,m)]+[M(i,1)×M(n,1)+M(i,2)×M(n,2)+…+M(i,m‑1)×M(n,m‑1)+M(i,m)×M(n,m)]‑[M(i,1)×M(i,1)+M(i,2)×M(i,2)+…+M(i,m‑1)×M(i,m‑1)+M(i,m)×M(i,m)]}/[m×(n‑1)],
[0049] 以r(i)、c(j)分别衡量各行、列与其他行、列的特征关系，以此为图像的帧上特征的表示信息；
[0050] 步骤5.3，提取M中各个像素与其他像素的特征关系度a，a(i,j)表示M的第i行第j列元素与整个矩阵的特征关系度，特征关系度a由行特征度r和列特征度c计算所得，其中，a(i,j)由第i行的行特征度r(i)和第j列的列特征度c(j)计算所得， 以此获得该帧的矩阵上M(i,j)与其他行元素与列元素的特征关系；
[0051] 步骤5.4，设输入系统的作为目标的人像帧的矩阵为M2、对应的环境帧的矩阵为M3，根据步骤5.3所述，令a对矩阵M的转化函数为A()，则有
[0052] A(M2)＝{M2(i,j)*a(i,j)},μ＝A(M2),
[0053] A(M3)＝{M3(i,j)*a(i,j)},λ＝A(M3),
[0054] 分别以第二帧序列中的目标的人像帧M2进行转化函数A()的计算得到其转化特征μ、以第三帧序列中的对应的环境帧M3计算出干扰特征λ。
[0055] 进一步地，在步骤6中，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征，其方法为：
[0056] 步骤6.1，在标记序列T中选取距离采集到的所求的人像帧M2的采集时间tm最接近的时间tm`上采集的环境帧M3；
[0057] 步骤6.2，从环境帧M3计算所得的干扰特征λ、从人像帧M2计算所得的转化特征μ，在转化特征μ中去除干扰特征λ以此去除包含人脸目标的帧中含有的环境帧包括的复杂环境下的环境干扰，计算
[0058]
[0059] 得到人像帧M2去除环境干扰后的纯化特征P，由此去除雨、雪、雾霾、沙尘暴等复杂环境对监控摄像产生的干扰，以提高人脸识别系统在复杂环境下的识别能力。
[0060] 本公开提供一种复杂环境人脸识别方法及系统，以环境帧计算出干扰特征，并以人像帧进行转化计算得到其转化特征，通过标记序列求出帧序列中作为目标的人像帧的时间临近的环境帧，以时间临近的环境帧的干扰特征，对目标人像帧进行转化计算得到的转化特征进行去除复杂环境下的环境干扰，产出纯化特征，提高人脸识别系统在复杂环境下的识别能力。
[0061] 尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。
