[0001] 本发明涉及电梯设备安全监管技术领域，尤其涉及一种对电梯轿厢内异常行为进行实时监测的系统方法。

[0002] 申请号为202110026336.5的中国专利文件，公开了一种基于深度学习的电梯轿厢内乘客异常行为检测系统，该系统包括给定多个不同电梯的地址以及对应电梯内摄像头地址的WEB模块；接收WEB模块分别传送多个不同电梯的地址以及对应电梯内摄像头地址的多个结构相同的电梯乘客行为获取及检测模块；电梯乘客行为获取及检测模块对电梯的轿厢内视频进行获取并对获取的视频进行乘客的异常行为和正常行为的区分，得到乘客的行为区分结果；接收多个所述电梯乘客行为获取及检测模块传送的乘客的行为区分结果，并对多个电梯乘客行为的区分结果进行显示并报警的WEB模块；该系统对电梯轿厢内乘客行为进行实时监控、分析和判断，及时的发出报警信息，有针对性的救援。

[0003] 电梯是城市生活中重要的垂直交通工具，随着城市化程度的发展和楼层的增高，电梯的使用也越来越普遍，和社会民生息息相关，对其监管水平和安全性保障程度具有极高的要求。由于电梯是一个相对封闭的公共场所，逐渐已成为个别人进行不法活动的极佳场所，因琐事引发冲突进而发展为互殴打斗的事件也时有发生。同时，对于单人乘梯发生的摔倒、晕倒等意外情况，也无法被及时发现和救助。

[0004] 目前绝大部分电梯已经实现了摄像头覆盖，但功能还比较单一，只能支持简单的录像，最大的作用仅仅是事后取证，没有进行智能化处理，因此也无法对异常事件(如打斗、晕倒)进行有效监控，需要监控人员人工观看来确保轿厢内安全。但是当监控视频比较多时，监控人员很难做到完整监控，同时，由于电梯轿厢异常情况毕竟是少数，通过人工监测的方式不仅是对人力资源的浪费，也会很容易因为人为因素造成漏检、误检。

[0038] 下面结合具体实施例对本发明作进一步解说。

[0039] 实施例

[0040] 参考图1‑2，本实施例中提出了对电梯轿厢内异常行为进行实时监测的系统方法，系统包括轿厢内摄像头、流媒体网关、行为分析模块、监控告警模块、录像取证模块五个部分；

[0041] 现代电梯基本已实现监控摄像头的全覆盖，轿厢内摄像头可直接复用已有的摄像头，无需额外安装；

[0042] 流媒体网关部署在云端或小区机房内，通过标准协议实时采集轿厢内摄像头的视频流，同时提供多种协议的视频拉流服务，给行为分析模块使用；

[0043] 行为分析模块进行提取人体前景、运动特征信息，运动特征信息包括光流信息、运动方向、速度、位置、轨迹等，通过运动特征信息，分析人体的运动表征，进一步识别人员行为；

[0044] 监控告警模块对发现的热源异常行为生成相应的报警，实时通过短信、APP消息等形式推送到值班物业和安保人员；

[0045] 与此同时，录像取证模块进行相关行为前后的视频进行录制存储，以备后期研判和举证；

[0046] 系统使用的摄像头可复用电梯轿厢内已安装的网络摄像头，无需额外安装设备，不改变和侵入电梯本身的电气结构，不对电梯的正常运行产生影响；

[0047] 轿厢内摄像头通过标准协议(一般是GB28181)接入流媒体网关，提供行为分析的原始视频流；

[0048] 流媒体网关接入轿厢内摄像头之后，支持以多种协议对外提供流媒体服务，包括RTMP、RTSP、HLS、UDP、HTTP、webRTC等；

[0049] 行为分析模块拉取轿厢内摄像头视频流，然后进行前景提取，这里的“前景”主要是指人体，由于电梯轿厢是一个相对封闭的场所，环境简单且很少变化，光线影响也不大，系统中采用减背景的算法进行去除背景，只保留感兴趣的人体前景；

[0050] 由于人体边缘对环境的变化不敏感，因此可以对无人状态时的视频画面，通过计算每个像素位置的梯度值来获取背景的纹理，从而建立背景模型，假设像素点P(x，y)，该像素点X方向的梯度值Tx和Y方向的梯度值Ty，构成了该像素点的梯度向量

[0051] 对于输入的视频图像，以同样方式建立每个像素位置的梯度向量，然后对每个像素点，计算背景和当前图像的梯度向量的相关性，如下所示：

[0052]

[0053] 其中，θ为向量间的夹角；

[0054] 同样方式，背景和当前帧图像梯度向量的相关性为：

[0055]

[0056] 其中，Lbb和Lff均表示相关性；

[0057] 如果在当前像素点P(x,y)附近不存在人体，那么这个区域的背景纹理和当前帧的纹理特征应该是非常相似的，即：

[0058] Lbb+Lff≈2Lbf

[0059] 反之，这两个值会有很大的差异，因此，可定义点的纹理相似度计算方式为：

[0060]

[0061] 其中，M(P)表示以点P为中心的邻近区域；

[0062] 判定轿厢内的人数：因为对异常行为的判断需要区分多人打斗、单人摔倒或疾病等不用场景，先判断轿厢内的人数有助于提升行为判定的准确度，由于轿厢空间狭小，画面中人体重叠接触较多，无法通过简单地分割人体来进行检测和计数，系统采取的方法是对人头部边缘建立模型，通过人体头部边缘快速匹配的方法来确定人体；

[0063] 多人运动特征提取：将轿厢内的人体看作一个物体，提取该物体的前景像素变化剧烈程度，如下：

[0064]

[0065] 其中，AP‑1表示上一帧图像获取的前景人体像素数量，An表示当前帧图像获取的前景人体像素数量，通过像素所在的矩形变化剧烈程度，可反应出人体姿态变化程度，从而得出人体运动激烈的程度；

[0066] 如果轿厢内只有单个人，进行长时间静止、倒地的异常检测，系统采用二值化图像的人体轮廓边缘跟踪的方法进行人体轮廓的提取，然后识别人体长时间静止、倒地，进一步判断乘客摔倒、晕倒等异常场景；

[0067] 识别到人员的异常行为之后，将告警信息及视频画面推送到监控告警模块，通过电话、短信、APP推送等方式，通知物业的安保值班人员；

[0068] 进行告警信息生成的同时，录像取证模块对异常行为前后的视频进行录制和存储，以取证备查；

[0069] 本系统通过从视频画面中去除背景和提取人体、抽取关键动作、分析和理解行为的方式，监测出视频中的异常事件(如打斗、晕倒等)，并对发生的异常事件实时发出警报，从而为电梯轿厢创造和维护良好的环境，有效震慑违法犯罪、及时发现救助需求，本系统可复用轿厢内已安装的网络摄像头，不加装任何设备，不改变电梯本身的电气结构，因此不对电梯的正常运行造成任何影响，通过标准协议将采集到的视频流传输到云端进行分析和存储。

[0070] 以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。