[0001] 本发明涉及数据监测及处理技术领域，特别涉及一种居民心理健康监测告警方法。

[0002] 随着物质生活的富足，人们越来越多地关注到自身的心理健康。传统的心理健康评估通常通过专家诊断和测试量表实现。专家诊断是组织专家与受试者通过线上或线下的方式直接交谈，由专家根据专业的引导式问题和情境问题诱发受试者对内心情感进行表达；测试量表评估方法是向受试者分发测试量表，由受试者根据个人主观感受填写量表，最终将填写情况量化并与参考值比较，以确定受试者的心理健康情况。

[0003] 现有的心理健康评估方法要求评估对象积极配合，因此常用于评估对象主动寻求心理援助的场景。然而，在实际场景下，大部分受试者并不愿意进行心理健康评估，这便导致现有的心理健康评估方法无法对受试者进行有效干预、费时费力。此外，专家诊断和脑机接口也难以实现规模覆盖，使得数据交互困难，无法全面获取受试者的资料数据，进而无法准确地进行心理健康评估。

[0073] 以下结合附图和具体实施例对本发明提出的居民心理健康监测告警方法作进一步详细说明。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

[0074] 需要说明的是，本发明的说明书和权利要求书及附图说明中的“第一”、“第二”等是用于区别类似的对象，以便描述本发明的实施例，而不用于描述特定的顺序或先后次序，应该理解这样使用的结构在适当情况下可以互换。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0075] 本实施例提供一种居民心理健康监测告警方法，如图1所示，包括：

[0076] S1，获取居民的人脸图像；

[0077] S2，对人脸图像进行人脸识别和表情识别，并根据人脸识别的结果将表情识别的结果与居民一一对应；

[0078] S3，根据表情识别的结果，对居民的心理健康状态进行刻画，以得到居民的心理健康画像；

[0079] S4，对心理健康画像进行分析，以判断居民是否出现心理健康问题；

[0080] S5，若判断居民出现心理健康问题，则进行告警通知。

[0081] 本实施例提供的居民心理健康监测告警方法，通过对居民的人脸图像进行表情识别，并利用识别的表情进行心理健康画像，从而判断居民是否存在心理健康问题，这种无感知的方式使得无需受试者配合，且能够全天候自动进行，无需人工干涉，提高了心理健康评估的效率；此外，通过对居民的心理健康实时监测，并在居民心理健康出现问题时及时告警，能够对居民心理健康快速进行针对性干预，从而有效提高居民的心理健康，解决了现有心理健康评估方法无法有效、精准地进行心理健康评估的问题。

[0082] 具体的，在本实施例中，步骤S1，获取居民的人脸图像的方法包括：

[0083] S11，在预设区域安装摄像设备，以获取监测视频。

[0084] 在实际应用中，可以对监测范围内的道路、出入口等关键点处安装摄像头等摄像设备，来获取监测视频。例如，在对一社区内的居民进行心理健康监测时，可以在社区的主要道路、活动中心、学校门口、小区出入口、楼栋出入口等重点区域安装全高清摄像头，其中，小区出入口、楼栋出入口安装高度在1.5米至3.0米之间，学校门口、活动中心等大型开放空间安装高度3.0米至5.0米，摄像头的分辨率建议采用4K(3840×2160)以便于获取清晰的帧图像，便于后期的表情识别。

[0085] 当然，在其他实施例中，可以根据实际需要选择摄像设备及摄像设备的安装位置、高度等。以及在一些实施例中，还可以在摄像设备拍摄到人像后，通过对摄像设备云台的控制，实现对该人像的持续性视频采集，以提高后期表情识别的准确度。

[0086] S12，从监测视频中提取具有人脸的帧图像。

[0087] 在实际应用中，可以利用人脸识别模型等技术实现具有人脸的帧图像的提取。通过提取帧图像，能够有效降低系统模型的任务处理量，从而有效提高心理健康监测的效率。

[0088] S13，对帧图像进行预处理，以得到居民的人脸图像。

[0089] 为了保证后续人脸识别和表情识别的准确性，在本实施例中，首先，需要从帧图像中筛选出人脸仰角不超过±30°的帧图像作为待处理帧图像，从而使得获取的图像空间上照度分布均匀，避免在图像复原的过程中产生信息丢失；然后，采用人脸检测网络(MTCNN)对待处理帧图像进行人脸检测和区域定位，以得到左眼、右眼、鼻子、左嘴角和右嘴角的面部标志位置；最后，根据面部标志位置对待处理帧图像进行裁剪，并归一化为224×224的人脸图像。

[0090] 在实际应用中，步骤S12和步骤S13可以通过同一人脸检测网络实现，从而简化系统模型的结构。此外，MTCNN可以设置于摄像设备端，也可以设置于监测分析端(如后文提到的监测模型内)，在本实施例中，为了降低监测模型的复杂度，同时为了提高图像数据的处理效率，将MTCNN设置在摄像设备内。

[0091] MTCNN，多任务卷积神经网络，其结构是一个三级联级网络，总体可分为P‑Net、R‑Net和O‑Net三层网络结构，该模型采用了候选框加分类器的思想，能够同时兼顾速度与精度，实现快速高效的人脸检测。本实施例选用MTCNN网络架构，能够快速得到面部标志位置。

[0092] 进一步的，在本实施例中，步骤S2，对人脸图像进行人脸识别和表情识别，并根据人脸识别的结果将表情识别的结果与居民一一对应的方法包括：

[0093] S21，建立人像数据库。

[0094] 具体的，在本实施例中，建立人像数据库的方法包括：首先，采集社区内居民的人口数据，所述人口数据包括但不限于人像、唯一身份编码、姓名、性别、年龄和居住详细地址；然后，将采集到的全部人口数据上传至人像数据库中；最后，对人像数据库中的人像进行编码，以形成居民人像特征库。

[0095] S22，构建并训练监测模型。

[0096] 具体的，在本实施例中，如图2所示，监测模型包括主干网络、两个注意力网络、表情识别网络和人脸识别网络。其中，主干网络采用resnet构建，具体的，可以采用resnet18或resnet50进行主干网络的构建；两个注意力网络分别与主干网络相连，且如图3所示，每一注意力网络包括依次连接的两层卷积核为3×3的卷积层、一层卷积核为1×1的卷积层和sigmoid层；一个注意力网络连接表情识别网络，另一个注意力网络连接人脸识别网络；表情识别网络和人脸识别网络均分别包括依次连接的特征编码器和分类器，其中，如图4所示，特征编码器包括依次连接的一层卷积核为1×1的卷积层、两层卷积核为3×3的卷积层和一层卷积核为1×1的卷积层，且在最后一层卷积层的激活函数之前插入远跳连接；以及，如图5所示，分类器包括依次连接的三个全连接层和一个softmax层，第一个全连接层的神经元数为4096、第二个全连接层的神经元数为2048、第三个全连接层的神经元数为C，在本实施例中，C＝8，对应8个不同的表情(中立、厌恶、恐惧、悲伤、轻蔑、愤怒、惊奇和高兴)。

[0097] 在监测模型构建好之后，便需要利用训练集对监测模型进行训练。本实施例中的训练集包含了多个社区居民的人脸图像，且每一人脸图像分别对应于一居民，且具有中立、厌恶、恐惧、悲伤、轻蔑、愤怒、惊奇和高兴的表情标签。

[0098] 当然，在实际应用过程中，也可以采用成熟的训练集对监测模型进行训练，如使用MS‑Celeb‑1M人脸识别数据集对人脸识别网络进行训练，使用RAF‑DB数据集对表情识别网络进行训练。通过对监测模型中的各个网络分别进行训练，可以有效提高各个网络的识别准确度和识别效率，进而提升监测模型整体的监测效率。

[0099] 在本实施例中，利用训练集训练监测模型，其中：

[0100] 表情识别网络的交叉熵损失函数为：

[0101]

[0102] 以及，人脸识别网络的交叉熵损失函数为：

[0103]

[0104] 其中，N表示训练用的人脸图像数量，xi表示第i个输入样本， 表示第i个输入样本的标签，形式为C个分量的单向量(one‑hot vector)；P1表示表情识别网络的输出，P1＝C1(E1(I⊙M1(I)))，C1表示表情识别网络的分类器函数，E1表示表情识别网络的编码器函数，M1表示与表情识别网络连接的注意力网络函数；P2表示人脸识别网络的输出，P2＝C2(E2(I⊙M2(I)))，C2表示人脸识别网络的分类器函数，E2表示人脸识别网络的编码器函数，M2表示与人脸识别网络连接的注意力网络函数；I表示经过主干网络生成的特征图；⊙表示哈达玛积。

[0105] 监测模型的损失函数为：

[0106]

[0107]

[0108] 其中，Ltotal表示监测模型的损失函数，λ1、λ2和λ3为权重系数；LD表示特征空间的损失函数，wi表示输入样本为xi时人脸识别网络的编码器的输出特征(重塑为一维向量)，wki表示当前样本所属角色的特征向量的平均向量。

[0109] 为了使特征空间中同一身份的人脸特征分布尽可能紧凑，在本实施例中，采用欧氏距离作为特征空间的损失函数LD。以及，在本实施例中，λ1、λ2和λ3的典型值分别为2、1、1。

[0110] 在进行训练时，当训练表情识别网络时，人脸识别网络的损失设置为0；当训练人脸识别网络时，表情识别网络的损失设置为0；采用动量为0.9的随机梯度下降(Stochastic Gradient Descent，SGD)优化器对监测模型进行训练，其中，初始学习率为0.001，批量大小设置为128。

[0111] 在一具体实施例中，使用MS‑Celeb‑1M人脸识别数据集对人脸识别网络进行训练，使用RAF‑DB数据集对表情识别网络进行训练，训练时人脸识别网络和表情识别网络的损失函数中N设置为128，C1设置为8；然后，再利用自采数据集构成的训练集(标记了身份和表情)对监测模型进行最终的综合训练。

[0112] S23，利用监测模型对人脸图像进行人脸识别和表情识别。

[0113] 具体的，在本实施例中，首先，将人脸图像输入训练后的监测模型中，分别通过表情识别网络得到表情结果，通过人脸识别网络对人脸图像中的人脸进行编码生成人像特征；然后，将人像特征与人像数据库中的人像特征库进行对比，以确认身份信息，若人像特征无法与人像数据库中的任一人像特征相匹配，则判定为非本社区居民，对该人脸的表情结果不做统计。对于能够与人像数据库中的人像特征相匹配的人脸图像的表情结果需要进行统计，以得到本社区居民的心理健康状况。

[0114] 在本实施例中，通过采样统计的方式获取表情结果的次数，其中采样频率为2帧/秒。若在预设时间段(如5分钟)内，同一人像的所有人脸图像经表情识别网络处理后，得到的表情结果均为中立，则记录该居民中立表情1次；若在预设时间段(如5分钟)内，同一人像的所有人脸图像经表情识别网络处理后，得到的表情结果中包括一种及以上的非中立表情，则除中立表情外，其他出现过的所有表情各记录1次。

[0115] S24，将人脸识别的结果与人像数据库中的数据进行对比，以将表情识别的结果与居民一一对应。

[0116] 由于人脸识别网络能够将人像与居民一一对应，同时表情识别网络能够对人像分析得到表情结果，因此，通过三者的对应关系，则可以将表情识别的结果与居民对应起来。

[0117] 进一步的，在本实施例中，步骤S3，根据表情识别的结果，对居民的心理健康状态进行刻画，以得到居民的心理健康画像的方法包括：

[0118] S31，采用圆盘式图样，如图6所示，将识别的全部表情结果按照实际的统计次数反映在画像中，以得到初版画像，其中，表情结果包括中立、厌恶、恐惧、悲伤、轻蔑、愤怒、惊奇和高兴；

[0119] S32，根据预设调整规则对初版画像进行调整，以得到居民的心理健康画像，其中，预设调整规则包括：

[0120] 将每一表情结果按照实际的统计次数从大到小排序；

[0121] 若中立表情排于第一位，即，中立表情的记录次数大于其他所有表情，则将其他表情按照实际的统计次数等比反映在画像中，并将中立表情按以下公式进行调整：

[0122] A′neutral＝Amax+log(Aneutral‑Amax)

[0123] Amax＝max(Aanger，Acontempt，Adisgust，Afear，Ahappy，Asad，Asurprise)[0124] 其中，A′neuutral表示调整后的中立表情的次数在画像中的反映长度，Aclass表示某一表情的次数在画像中的反映长度，

[0125] class∈{anger，contempt，disgust，fear，happy，sad，surprise，neutral}；

[0126] 否则，全部表情按照实际的统计次数等比反映在画像中，也就是说，若中立表情的记录次数小于等于其他任一表情次数时，全部表情按照实际的统计次数等比反映在画像中。

[0127] 需要说明的是，上述的心理健康画像及其数据来源需来自于同一居民，即每一居民具有其各自的心理健康画像。

[0128] 进一步的，在本实施例中，步骤S4，对心理健康画像进行分析，以判断居民是否出现心理健康问题的方法包括：

[0129] S41，计算除中立表情外的其他所有表情的次数在画像中的反映长度的平均值Aave；

[0130] S42‑2，若 且 则判断居民出现焦虑；

[0131] S 4 2 ‑ 3 若 且则判断居民出现抑郁；

[0132] S42‑4若 且则判断居民出现PTSD；

[0133] S42‑5若 且 则判断居民出现自闭ASD。

[0134] 如图7所示，为本实施例提出的几种心理健康问题所对应的心理健康画像。本实施例仅给出了易于、焦虑、PTSD和自闭ASD四种常见的心理健康问题所对应的判断方式及心理健康画像，在实际应用中，还可以根据不同心理健康问题所对应的表情表达，设置对应的判断规则，以使得监测模型能够自动对获取的人脸图像进行分析判断，确认居民是否出现心理健康问题。当然，在上述的每条判断规则下，还可以设置更多的划分区间，以确认居民患有心理疾病的程度。其他心理健康问题以及心理疾病程度的具体划分方式为本领域技术人员能够根据本申请的上述示例所获得的，本申请对此不再赘述。

[0135] 进一步的，为了对出现心理健康问题的居民及时进行干预治疗，在本实施例中，步骤S5，若判断居民出现心理健康问题，则进行告警通知的方法可以包括：若判断居民出现心理健康问题，则将相关的判断依据及数据发送至社区工作人员、对应的心理医生及居民家属，从而能够使患病居民与心理医生快速建立线上或线下的沟通桥梁，进而能够对居民进行干预治疗，防止病态恶化。其中，心理医生可以根据社区的实际需求进行设定，居民家属可以根据人像数据库中的相关数据信息进行确认，如详细地址一致，则认为互为家属。

[0136] 如此，通过无感知的方式能够对居民的心理健康状况进行全天候的监测，并在监测结果出现居民存在心理健康问题时及时通知社区工作人员、心理医生及家属进行干预，不仅提高了居民的心理健康，还能够预防群众矛盾、邻里纠纷，从而更好推行社会心理健康服务工作，实现社会善治。

[0137] 需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可，此外，各个实施例之间不同的部分也可互相组合使用，本发明对此不作限定。

[0138] 本实施例提供的居民心理健康监测告警方法，包括：获取居民的人脸图像；对人脸图像进行人脸识别和表情识别，并根据人脸识别的结果将表情识别的结果与居民一一对应；根据表情识别的结果，对居民的心理健康状态进行刻画，以得到居民的心理健康画像；对心理健康画像进行分析，以判断居民是否出现心理健康问题；若判断居民出现心理健康问题，则进行告警通知。通过对居民的人脸图像进行表情识别，并利用识别的表情进行心理健康画像，从而判断居民是否存在心理健康问题，这种无感知的方式使得无需受试者配合，且能够全天候自动进行，无需人工干涉，提高了心理健康评估的效率；此外，通过对居民的心理健康实时监测，并在居民心理健康出现问题时及时告警，能够对居民心理健康快速进行针对性干预，从而有效提高居民的心理健康，解决了现有心理健康评估方法无法有效、精准地进行心理健康评估的问题。

[0139] 上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。