技术领域
[0001] 本发明属于机器视觉技术领域，具体涉及一种基于深度学习的门禁安全保障系统。
相关背景技术
[0002] 伴随信息高速发展的发展，各个传统行业正在向物联网、人工智能等智能化转型。越来越多的智能化设施进入我们的日常生活与学习工作。2024年王梦真等人研究了一种基于人脸识别门禁的系统.通过摄像头采集人脸信息，并采用卷积神经网络进行训练，人体红外传感器实现非接触的温度采集，控制器根据数据信息，实现了对门禁系统的控制。
[0003] 但是现有的门禁系统在多个用户同时需要使用的情况下不能同时进行识别，导致门禁处的通行效率较慢，给用户带来不好体验。
具体实施方式
[0033] 下面结合附图对本发明做更进一步的解释。
[0034] 本发明提供了一种基于深度学习的门禁安全保障系统，其特征在于，包括：
[0035] 门禁识别模块，用于对人脸或车牌进行识别，再对识别结果进行实时跟踪，并将识别结果和跟踪结果与录入用户信息对比，其中识别结果包括人脸识别结果或车牌识别结果。
[0036] 主控器，用于根据对比结果，判断是否为用户，若为用户，则控制门禁打开。
[0037] 环境监测模块，用于获取人脸、车牌以及烟雾信息。
[0038] 以及用户界面与管理模块，用于用户的注册和录入用户信息。
[0039] 本发明的门禁安全保障系统还包括蜂鸣器和指纹模块。
[0040] 本实施例中，门禁识别模块安装在电脑上，主控器为CH32V307单片机，环境监测模块包括：包括：摄像头和烟雾探测器，摄像头和烟雾探测器与门禁识别模块电性相连，摄像头用于拍摄人脸或车牌，烟雾探测器用于获取烟雾信息。
[0041] 如图1所示，先通过摄像头获取人脸或车牌，并在电脑主机端完成人脸或车牌目标识别后，再对识别结果进行实时跟踪，并使用BFMatcher将识别结果和跟踪结果与录入用户信息进行匹配，若识别结果和跟踪结果与录入用户信息相匹配，即为用户，通过MQTT通信协议发布指令为1，此时CH32V307单片机控制舵机打开门禁，并且门禁在用户通过后自动关闭，若识别结果和跟踪结果与录入用户信息不相匹配，即不为用户，通过MQTT通信协议发布指令为0，此时其余传感器进行数据检测，并由单片机判断数据是否异常，若异常，则蜂鸣器发出警报并通过MQTT协议将异常的数据发送给工作人员，来排除异常情况，当恢复正常后，继续实时监测，若无异常，继续实时监测。
[0042] 同时，CH32V307单片机还设置多个光敏电阻，用于检测环境中光照强度，并将检测到的光照强度与主控器中设置的光照强度的需求值进行比较，并根据比较结果来输出PWM波来调节与主控器电性相连的LED得亮度，从而实现灯光亮度的智能化控制，以便夜晚进行人脸识别。
[0043] 上述中，门禁识别模块对人脸进行识别步骤包括：
[0044] 步骤11：采用模型剪枝和量化来减少OpenCV函数的冗余参数和计算量，并利用并行计算来将OpenCV函数中的计算任务分解成多个子任务并行执行和异步处理来将OpenCV函数中的耗时操作异步执行，同时通过使用指针或引用在OpenCV函数中传递数据，来减少OpenCV函数中创建新的副本，进而得到优化后的OpenCV函数。
[0045] 步骤12：利用优化后的OpenCV函数调用环境监测模块并读取每帧人脸图像。
[0046] 步骤13：利用YOLO v8模型检测步骤12中读取每帧人脸图像中的人脸位置区域，再利用InsightFace模型对人脸位置区域进行人脸检测，并提取目标人脸的特征向量，即人脸识别结果。
[0047] 门禁识别模块对车牌信息进行识别步骤包括：
[0048] 步骤21：通过车牌定位模型对环境监测模块中获取的车牌进行定位，得到定位后的车牌。
[0049] 步骤22：对定位后的车牌进行增强和去噪，再通过NMS非极大值抑制算法检测出其边缘，然后计算出抑制后的车牌的四个顶点坐标，得到车牌顶点矩阵，通过透视变换对车牌顶点矩阵进行变换，得到变换矩阵M，接着通过来变换矩阵M校正倾斜车牌，得到定位并校正后的车牌，即车牌识别结果。
[0050] 门禁识别模块对人脸或车牌进行实时跟踪进行识别步骤包括：
[0051] 在步骤21中车牌定位模型的训练步骤包括：
[0052] 步骤211：通过环境监测模块获取车牌，并通过K‑Means++聚类算法对车牌的目标框进行了聚类操作，将聚类后的车牌分为训练集和测试集。
[0053] 步骤212：将步骤211中训练集输入YOLO v8模型进行训练，得到训练模型。
[0054] 步骤213：将步骤211中测试集输入步骤212中得到的训练模型进行验证，得到车牌定位模型。
[0055] 步骤31：利用SCRFD检测所有的识别结果的目标框。
[0056] 步骤32：将步骤31中检测到的识别结果的目标框传递给SORT算法，并通过SORT算法对每个检测到的识别结果的目标框进行关联和跟踪，构建一个跟踪列表，即跟踪结果。
[0057] 如图2所示，用户通过手机应用完成注册后，可录入个人人脸信息，并经过审核后获取门禁权限，该界面的前端界面采用Streamlit构建，后端构建在FastAPI之上，其中，对于面部特征的存储和搜索，选择了Milvus。Milvus支持向量相似性搜索，这对于快速匹配和识别库中的面部特征至关重要。它的高性能和可扩展性使得项目能够轻松应对庞大的数据集和复杂的查询需求。
[0058] 手机端使用React Native是一个基于React的开源框架，用于构建原生移动应用程序，其架构的过程如下：
[0059] (1)使用React Native提供的组件和样式来设计应用的用户界面。包括注册页面、视频上传页面、用户信息页面等。
[0060] (2)使用React Native中的网络请求库来与后端服务器通信，实现用户邮箱注册的功能。在后端服务器上实现相应的API接口来处理注册请求。
[0061] (3)集成人脸识别模块，将其集成到React Native项目中。实现上传视频功能，用户可以通过手机摄像头录制视频或选择本地视频上传，然后进行人脸识别。
[0062] (4)使用WebSocket通信协议，将手机端上传的视频数据传输到电脑端，进行审理和授权。在电脑端搭建一个服务器应用，接收来自手机端的视频数据，进行人脸识别和审理，并返回相应的授权结果。根据电脑端的审理结果，在手机端展示相应的权限信息。使用React Native中的状态管理工具来管理用户权限状态。
[0063] 如图3所示，本发明的系统成功检测并识别出图像中的人脸，并为每个检测到的人脸提供了相应的标记。该运行结果的准确性和稳定性得到了有效验证，为后续的门禁权限控制提供了可靠的基础。
[0064] 本发明基于深度学习算法和CH32V307主控芯片的门禁安全保障系统通过高效的人脸识别、车牌识别和环境监测等功能，实现了对进出人员和车辆的有效控制和监管，提供了可靠的安全保障，适用于各种场所并能够满足不同的安全需求
[0065] 上述实施例所涉及的用户信息(包括但不限于用户设备信息和个人信息等)和数据(包括但不限于用于分析数据、存储数据以及显示数据等)均经过各方充分授权的用户信息和数据，且相关的用户信息和数据的收集、使用和处理需要符合和遵守国家各地区相关法律和法规，并提供有相应的操作和接口，供用户选择和拒绝。
[0066] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
