[0001] 本发明涉及计算机技术领域，尤其涉及一种营业厅动态监控系统和方法。

[0002] 在现代社会，供电所的营业厅作为电力服务的重要窗口，承担着大量客户的咨询、业务办理等服务工作。然而，由于供电所工作安排或其他事由，可能存在营业厅前台人员不到位的现象，导致客户到营业厅办理业务时却无相关人员协助。这种情况会严重影响客户体验，增加客户的等待时间，引发不满情绪。此外，在特定时段，可能会出现用户数量过多、工作人员数量安排不足的情况，进一步加剧了客户的等待时间和不满情绪。

[0003] 长时间的等待和缺乏有效的人员协助，往往会导致客户提出意见单甚至投诉单，给供电所的服务质量带来负面影响。如何有效监控营业厅人员的到位情况以及客户的数量，及时进行人员调配，成为亟待解决的问题。

[0024] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

[0025] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

[0026] 实施例一

[0027] 图1为本发明实施例一提供的一种营业厅动态监控系统的结构示意图，本实施例可适用于对营业厅中工作人员进行及时调度的情况。如图1所示，该系统包括：监控模块11、图像预处理模块12、检测模块13、区域判断模块14和告警模块15；

[0028] 监控模块11，用于获取至少一个图像采集装置所采集的视频流，并对各视频流进行图像截取，得到至少一个时刻的图像数据集，图像数据集中包括从每个视频流中截取的待处理图像，各图像采集装置的位姿信息不同，位姿信息至少包括位置和角度中的一种；

[0029] 图像预处理模块12，用于对每个图像数据集中的待处理图像进行拼接，得到营业厅的整体图像；

[0030] 检测模块13，用于对各营业厅的整体图像进行检测，获取目标对象的检测框；

[0031] 区域判断模块14，用于根据预先划分的工作区域和目标对象的检测框判断每个目标对象的类型，目标对象的类型至少包括工作人员和非工作人员；

[0032] 告警模块15，用于根据各目标对象的类型判断是否满足预先设置的告警条件，若满足，根据预先设置的告警规则进行告警以进行工作人员调配。

[0033] 在本实施例中，监控模块11可以理解为用于对营业厅中的人员情况进行监控的数据处理模块；图像采集装置可以是照相机、摄像机、红外热成像等等。图像数据集可以理解为由同一时刻的至少一张图像所形成的数据集；待处理图像可以理解为具有处理需求的图像；位姿信息可以理解为描述图像采集装置的位姿的信息，位姿信息包括位置和角度中的至少一种，根据图像采集装置的位姿信息以及图像采集装置自身的参数可以确定图像采集装置所采集的范围。

[0034] 预先在营业厅中设置图像采集装置，图像采集装置的数量可以根据营业厅的大小和布局进行设置，营业厅较大时，可以设置多个图像采集装置，避免出现监控死角，保证营业厅中的客户和工作状态中的工作人员均可以被监控到。营业厅较小时，相应设置少量的图像采集装置；同时还可以根据营业厅的布局合理选择图像采集装置的数量和位姿。根据营业厅的实际情况设置图像采集装置，在设置多个图像采集装置时，各图像采集装置的位姿信息不同。各图像采集装置安装完成后，可以实时采集视频流。监控模块11获取至少一个图像采集装置所采集的视频流，监控模块11可以按照一定间隔周期性获取一段视频流，视频流的长度也可以预先设置；对各视频流中的图像进行截取，基于截取到的同一时刻的待处理图像形成图像数据集。例如，图像采集装置的数量为5个，截取视频流中t1时刻的图像，得到5个t1时刻的图像，形成一个图像数据集；截取视频流中t2时刻的图像，得到5个t2时刻的图像，形成一个图像数据集…，按照上述的方式截取不同时刻的图像，形成多个图像数据集。

[0035] 在本实施例中，图像预处理模块12可以理解为对图像进行预处理的数据处理模块。由于不同图像采集装置采集的是营业厅中不同位置的图像，其通常仅为营业厅的部分图像，因此，需要对此部分图像进行处理得到营业厅的整体图像。对于每个图像数据集，图像预处理模块12对此图像数据集中的待处理图像进行拼接，将采集到的营业厅的不同位置的待处理图像拼接为一张整体图像，对营业厅的整体进行展示，经过图像拼接得到营业厅的整体图像。

[0036] 在本实施例中，检测模块13可以理解为用于对营业厅中的工作人员和客户进行检测的数据处理模块。目标对象可以理解为检测得到的人，其可以是工作人员，也可以是办理业务的客户。检测模块13根据预先设置的检测算法或者预先训练好的神经网络模型对营业厅的整体图像进行人体检测，确定可能存在目标对象的位置，得到目标对象的检测框。

[0037] 在本实施例中，区域判断模块14可以理解为用于对目标对象的所在区域进行判断的数据处理模块。预先划分好工作区域，区域判断模块14根据预先划分好的工作区域判断目标对象的检测框是否在工作区域内，根据目标对象所处的区域确定目标对象的类型。目标对象的类型分为工作人员和非工作人员，工作人员还可以进行细分，例如，工作人员分为办理业务的工作人员和进行引导的工作人员，等等。本申请实施例中的非工作人员通常为客户，也可以对非工作人员进行进一步细化。

[0038] 在本实施例中，告警模块15可以理解为用于进行告警的数据处理模块。告警条件可以预先设置，例如，工作人员的数量低于一定阈值，或者工作人员的数量在一定时间内均低于阈值，或者非工作人员的数量高于一定阈值，非工作人员的数量和工作人员的数量的比值高于一定阈值，等等。告警规则可以是发送信息、播放提示音等等。告警模块15对各目标对象的类型进行分析，判断是否满足预先设置的告警条件，若满足，确定预先设置的告警规则，根据告警规则进行告警提示，以便及时进行工作人员的调配，例如，向管理人员发送告警信息，管理人员及时调整工作人员的数量，以完成更好的服务，等等。

[0039] 本发明实施例提供了一种营业厅动态监控系统，通过对不同位姿信息的图像采集装置所采集的视频流进行截取得到图像数据集，通过对图像数据集中的待处理图像进行拼接处理，得到营业厅的整体图像，实现对营业厅的全方位监控，通过对整体图像进行检测，得到目标对象的检测框，并根据预先划分的工作区域对目标对象的类型进行判断，确定目标对象为工作人员还是非工作人员，在满足告警条件时，根据告警规则及时进行告警，并进行人员调配，避免客户办理业务时等待时间过长以及工作人员长时间脱岗的情况发生，提高客户体验，提升客户服务的效率和满意度，提升营业厅的运营管理和服务质量。

[0040] 实施例二

[0041] 图2为本发明实施例二提供的一种营业厅动态监控系统的结构示意图，本实施例在上述实施例的基础上进行细化。

[0042] 监控模块11，包括：视频流获取单元111和图像截取单元112；

[0043] 视频流获取单元111，用于使用实时流传输协议通过各图像采集装置的统一资源定位符获取视频流；

[0044] 图像截取单元112，用于在满足图像截取条件时截取各视频流中的同一时刻的一帧待处理图像。

[0045] 在本实施例中，实时流传输协议即RTSP协议；统一资源定位符即URL；图像截取条件可以预先设置，例如，预先设置图像截取的周期T，当检测到当前时刻和上一次截取图像的时间差达到周期T，则确定满足图像截取条件；或者，在接收到触发操作、控制指令等信息时，确定满足图像截取条件。

[0046] RTSP(实时流传输协议)是一种网络控制协议，设计用于在IP网络上传输实时数据，视频流获取单元111通过指定的图像采集装置(例如，摄像头)的URL，如rtsp://username@camera_ip/stream，使用Python中的OpenCV库进行视频流的捕获。OpenCV提供了cv2.VideoCapture函数，用于从摄像头实时读取视频流。

[0047] 预先设置图像截取条件，图像截取单元112实时判断是否满足图像截取条件，在满足图像截取条件时截取各视频流中的同一时刻的一帧图像，并将这些截取的图像作为待处理图像。待处理图像可以累计储存到数据库。本申请实施例可以定时截取图像，定时截取过程可以通过Python中的time模块实现。利用time.sleep(interval)函数设定时间间隔，确保每隔固定时间从视频流中读取一帧图像。每次读取的图像通过cv2.VideoCapture.read()函数获取，并使用cv2.imwrite函数将图像保存到本地文件系统或者直接存储到数据库中。通过将截取的图像累计储存到数据库，可以实现对营业厅的持续监控和历史图像的查询与分析，这为后续的图像预处理和人体检测提供了基础数据支持。

[0048] 可选的，图像预处理模块12包括图像处理单元121和图像拼接单元122；

[0049] 图像处理单元121，用于通过高斯滤波对各待处理图像进行去噪处理，并采用直方图均衡化对去噪处理后的各图像进行对比度增强，得到增强处理后的图像；

[0050] 图像拼接单元122，用于对各增强处理后的图像根据对应的位姿信息进行边界拼接和去重处理，得到营业厅的整体图像。

[0051] 图像处理单元121采用高斯滤波对截取得到的各待处理图像进行去噪处理，其计算式为：

[0052]

[0053] 其中，σ是标准差，决定了滤波器的大小和模糊程度；利用OpenCV中的cv2.GaussianBlur函数，对截取的待处理图像进行高斯滤波处理，从而有效去除图像中的高频噪声，提高图像质量。

[0054] 图像处理单元121采用直方图均衡化继续增强去噪处理后的各图像的对比度，提高后续检测的效果，其计算式为：

[0055]

[0056] 其中，h(v)是灰度值v的累积概率分布，f(i)是灰度级i的像素数量，n是总像素数。利用OpenCV中的cv2.equalizeHist函数对图像进行直方图均衡化处理，可以显著提高图像的对比度，使得后续的检测算法能够更加准确地识别图像中的目标对象。通过图像去噪和对比度增强处理，图像预处理模块12能够有效提升图像质量，为后续的检测模块13提供更为清晰和准确的图像数据，进而提高整个系统的检测精度和可靠性。

[0057] 图像拼接单元122确定各增强处理后的图像所对应的位姿信息，其位姿信息可以根据图像与图像采集装置的对应关系确定，将各增强处理后的图像按照位姿信息进行边界拼接，将图像拼接成一张完整的大图像，由于各图像采集装置的采集区域可能存在重叠，同时也会出现一个人同时被两个图像采集装置采集到的情况，在完成拼接后对图像进行去重处理，去掉重叠的部分或者将重叠的部分进行融合等处理，最终得到营业厅的整体图像。

[0058] 检测模块13包括：模型加载单元131和检测单元132；

[0059] 模型加载单元131，用于加载预先训练的对象检测模型的模型权重文件和配置文件，基于模型权重文件和配置文件完成对象检测模型的构建；

[0060] 检测单元132，用于通过对象检测模型对营业厅的整体图像进行处理，将营业厅的整体图像划分为至少一个网格，确定每个网格预测的检测框和类别概率，基于检测框和类概率确定目标对象的检测框。

[0061] 在本实施例中，对象检测模型可以理解为用于检测目标对象的模型，可以是神经网络模型，例如，YOLO模型。

[0062] 模型加载单元131使用OpenCV中的cv2.dnn.readNet函数加载对象检测模型的模型权重文件和配置文件，基于模型权重文件和配置文件完成对象检测模型的构建，确保模型准备就绪。

[0063] 检测单元132通过对象检测模型对营业厅的整体图像进行处理，例如，通过YOLO模型内的卷积神经网络对图像进行处理；将营业厅的整体图像划分为一个或者多个网格，判断每个网格预测的检测框和类别概率以实现人体检测。根据每个网格预测的检测框和类别概率确定存在人的检测框，以此得到目标对象所在的检测框。

[0064] 以对象检测模型为YOLO模型为例，YOLO模型将输入图像划分为S×S的网格，每个网格负责检测一个对象，每个网格单元预测B个检测框及其置信度和C个类别的条件概率。具体的计算包括：每个检测框的位置、宽高以及置信度，置信度反映了该检测框中确实包含对象的可能性以及预测框与实际框的重合程度。

[0065] 检测结果包括检测框的坐标和类别概率。

[0066] 检测模块13还可以包括：硬件加速单元，硬件加速单元用于利用GPU进行计算加速，提高检测速度。

[0067] 由于YOLO模型计算复杂且需要处理大量的卷积操作，利用GPU进行并行计算能够显著提高处理速度。

[0068] 通过设置OpenCV的DNN模块使用CUDA后端(cv2.dnn.DNN_BACKEND_CUDA)和CUDA目标(cv2.dnn.DNN_TARGET_CUDA)，可以将计算任务分配给GPU执行，大大加快模型的推理速度和实时检测的能力。

[0069] 可选的，该系统还包括：区域划分模块16；

[0070] 区域划分模块16，用于接收用户操作，基于用户操作进行区域划分，形成工作区域和客户区域。

[0071] 在本实施例中，区域划分模块16可以理解为用于划分不同区域的数据处理模块。本申请实施例将区域划分为工作区域和客户区域，工作区域指工作人员为客户办理业务过程中所处的区域，客户区域指客户所在的区域。用户操作可以是用户通过点击鼠标、屏幕等所触发的操作。

[0072] 用户可以通过移动、点击鼠标、点击屏幕等操作，触发用户操作；区域划分模块16接收用户操作，并根据用户操作确定用户所选中的点或者区域，从而进行区域划分，形成工作区域和客户区域。

[0073] 区域划分模块16，包括：图像显示单元161、用户操作接收单元162、静态区域配置单元163和动态调整单元164；

[0074] 图像显示单元161，用于显示待划分图像，待划分图像为对营业厅的整体进行拍摄所得到的图像；

[0075] 用户操作接收单元162，用于接收至少三个用户操作，用户操作为用户从待划分图像中选择一个点所触发的操作；

[0076] 静态区域配置单元163，用于根据各用户操作确定区域边界点，连接各区域边界点形成多边形区域；

[0077] 动态调整单元164，用于基于聚类算法动态调整区域，形成工作区域和客户区域。

[0078] 在本实施例中，待划分图像可以理解为具有区域划分需求的图像，待划分图像为对营业厅的整体进行拍摄所得到的图像，待划分图像可以预先采集。例如，预先通过至少一个图像采集装置采集营业厅中的图像，通过去噪、对比增强、拼接、去重等处理得到一张包括营业厅整体的图像，将此图像作为待划分图像。区域边界点可以理解为区域的边界上的一个点。

[0079] 图像显示单元161显示待划分图像；用户从待划分图像中选择一个点出发用户操作，例如，用户在待划分图像中单击某一个点触发用户操作，用户可以点击图像上的点来定义区域边界；用户操作接收单元162接收至少三个用户操作，即用户至少选择三个点并进行触发。用户操作接收单元162可以利用OpenCV的鼠标事件捕捉功能捕获用户操作。

[0080] 静态区域配置单元163根据用户操作确定用户所选中的点，将此点作为区域边界点，按照顺序依次连接各区域边界点，形成多边形区域。具体来说，利用OpenCV中的鼠标事件(如cv2.setMouseCallback函数)，用户可以在图像窗口中点击鼠标来选择多个点，这些点将被连接起来形成一个多边形，该多边形代表预先划分的工作区域或客户区域。通过这种方式，用户能够直观地在监控图像中定义并调整区域边界，确保区域划分的准确性和实用性。

[0081] 动态调整单元164用于通过K‑means聚类算法，动态调整区域划分，适应不同营业厅的布局；K‑means聚类算法在计算时需将数据点分为k个簇，通过最小化簇内数据点到簇中心的距离，动态调整区域划分，计算式为：

[0082]

[0083] 其中，Ci是第i个簇，μi是第i个簇的中心。

[0084] 动态调整单元164利用这一算法，根据实际的监控数据动态调整区域划分，使系统能够适应不同营业厅的布局变化，提高区域划分的灵活性和准确性。整体而言，区域划分模块16通过静态配置和动态调整相结合的方式，确保工作区域和客户区域划分的合理性和准确性，为后续的区域判断和告警提供了可靠的基础数据支持。

[0085] 可选的，区域判断模块14，包括：区域判断单元141和综合判断单元142；

[0086] 区域判断单元141，用于通过射线法对各目标对象的检测框的位置进行判断，确定目标对象是否在工作区域内，若是，确定目标对象的类型为工作人员，否则，确定目标对象的类型为非工作人员；

[0087] 综合判断单元142，用于统计各营业厅的整体图像中的目标对象的类型，确定目标对象的类型。

[0088] 区域判断单元141使用射线法对模型返回的检测框的坐标进行判断，确定其是否在工作区域内。具体来说，射线法是一种用于判断点是否在多边形内的经典算法，通过从待判断点向任意方向引出一条射线，计算射线与多边形边界的交点数，如果交点数为奇数，则点在多边形内，否则在多边形外。该算法利用简单的几何特性，能够高效地判断模型检测到的检测框的坐标是否落在预先划分的工作区域内，从而区分出工作人员和非工作人员。当检测框的位置在工作区域内时，此次确定目标对象在工作区域内，目标对象的类型为工作人员，否则，确定目标对象的类型为非工作人员。

[0089] 综合判断单元142统计每张营业厅的整体图像中的目标对象的类型，确定同一目标对象在每张营业厅的整体图像中所识别得到的类型，综合确定目标对象的类型。综合判断单元142可以使用时间窗口综合算法对数据库中所处理储存的多张营业厅的整体图像的检测结果(即目标对象的类型)进行综合判断，提高准确性。

[0090] 所使用时间窗口综合算法在计算前，首先设置定义：一个包含多帧图像检测结果的序列D＝{d1,d2,…,dn}，其中di表示第i帧图像的检测结果，然后采用多数投票法，表达式为：

[0091] Final Resultt＝mode(dt‑W+1,dt‑W+2,…,dt)

[0092] 其中，Final Resultt是在第t帧时刻的综合判断结果，dt‑W+1,dt‑W+2,…,dt是从第帧到第t帧的检测结果序列，mode是统计模式函数，表示在窗口内出现次数最多的检测结果。

[0093] 时间窗口综合算法通过在一定时间窗口内对多帧图像的检测结果进行统计，采用多数投票法(即选择在窗口内出现次数最多的检测结果)来提高判断的稳定性和准确性。

[0094] 可选的，告警模块15，包括：人员信息确定单元151和告警判断单元152；

[0095] 人员信息确定单元151，用于根据目标对象的类型确定人员信息，人员信息包括如下至少一种：工作人员的数量、非工作人员的数量、工作人员的工作时长、非工作人员的等待时长；

[0096] 告警判断单元152，用于判断人员信息是否满足相应的告警条件，其中，告警条件根据历史数据自动调整更新。

[0097] 在本实施例中，人员信息可以理解为用于对工作人员和/或客户进行描述的信息，例如，工作人员的数量、工作时长等。

[0098] 人员信息确定单元151根据各营业厅的整体图像中的各目标对象的类型进行统计分析，确定人员信息。不同的人员信息对应不同的告警条件，预先设置不同类型的人员信息多对应的告警条件；例如，人员信息为工作人员的数量，告警条件为连续一段时间内工作人员的数量均低于第一预设值，示例性的，第一预设值为1。人员信息为工作人员的数量和非工作人员的数量，告警条件为工作人员的数量和非工作人员的数量的比值低于第二预设值；人员信息为工作人员的工作时长，告警条件为工作人员的工作时长小于工作时长阈值；人员信息为非工作人员的等待时长，告警条件为非工作人员的等待时长超过客户等待时间阈值；人员信息为非工作人员的数量，告警条件为非工作人员的数量超过客户数量阈值。

[0099] 告警判断单元152根据人员信息判断是否满足相应的告警条件，在人员信息为多种信息时，可以综合多个维度的判断结果确定是否触发告警。例如，当上述的条件只要满足一种，即触发告警，或者，上述的条件满足一半触发告警。

[0100] 其中，告警条件可以根据历史数据自动调整更新。以告警条件为一段时间内检测不到工作人员为例，即设置初始检测不到工作人员的时间阈值；初始检测不到工作人员的时间阈值可以是系统启动时设定的一个固定值，该值用于判断在连续一段时间内未检测到工作人员是否需要触发告警。例如，可以设定一个初始阈值为5分钟，如果在5分钟内系统未检测到工作人员，则触发告警。这个阈值的设定基于经验和业务需求，确保在最短时间内识别并响应潜在的人员缺位情况。

[0101] 通过对历史数据进行统计分析，动态调整初始阈值，使告警规则更加适应实际情况。具体方法可以包括计算历史数据的均值和标准差，根据这些统计量自动调整时间阈值，例如设定新的阈值为历史均值加上两倍标准差。这种动态调整机制可以提高系统的灵活性和适应性，减少误报和漏报，确保告警规则的合理性和有效性。

[0102] 通过结合多个维度的数据，能够更全面和精确地评估营业厅的运行情况，从而提高告警决策的准确性和合理性。整体而言，告警模块15通过规则设定、自适应调整和多维度规则相结合的方式，确保系统能够准确、及时地识别和响应各种异常情况，为管理人员提供可靠的告警信息。

[0103] 可选的，告警模块15，包括：第一通知单元153、第二通知单元154和第三通知单元155；

[0104] 第一通知单元153，用于在满足告警条件后，通过自动化脚本自动登录至少一个相关系统，并发送第一告警信息；

[0105] 第二通知单元154，用于通过至少一种通知通道发送第二告警信息，通知通道为：短信、电话或者内部通信工具；

[0106] 第三通知单元155，用于监控第一告警信息和第二告警信息的发送状态，如果第一告警信息和第二告警信息中的至少一种信息发送失败，切换到备份通道重新发送。

[0107] 在本实施例中，自动化脚本可以是机器人流程自动化脚本，即RPA脚本。第一告警信息和第二告警信息均为用于进行告警的信息。

[0108] 第一通知单元153通过RPA技术，模拟人工操作，在满足告警条件后，通过RPA脚本自动登录相关系统发送通知；RPA是一种软件技术，可以模拟人工操作执行一系列预定的任务。在本系统中，当检测到满足告警条件时，RPA通知单元会触发一个RPA脚本，该脚本自动登录预设的管理系统或平台，如邮件系统、内部通信系统等，然后根据告警信息的内容自动填写相关字段并发送通知。通过这种方式，RPA通知单元可以大大减少人工操作的时间和错误，提高通知的效率和准确性。

[0109] 第二通知单元154通过预先设置的至少一种通知通道发送第二告警信息，进行告警通知。其中，短信是一种直接且可靠的通知方式，能够确保在无网络连接的情况下仍能接收到通知。内部通信工具可以是eLink等，eLink是企业内部的即时通信工具，适用于在企业内部快速传播重要信息。第二通知单元154会根据告警信息的重要性和紧急程度，选择合适的通知通道，并通过预设的API接口或服务平台发送告警信息，确保通知能够覆盖所有相关人员。

[0110] 第三通知单元155实现通知备份功能，监控第一告警信息和第二告警信息的发送状态，如果上述的告警信息发送失败，自动切换到备份通道重新发送。

[0111] 在实际应用中，可能会遇到某些通知通道暂时不可用或失败的情况。为了确保告警信息能够及时送达，第三通知单元155会对每次通知发送的状态进行监控。如果检测到主要通知通道发送失败，通知备份单元会立即启动备份通道重新发送通知。例如，如果通过短信发送通知失败，系统会自动切换到eLink或其他备用通道继续发送，直到确认通知成功送达为止。这种机制不仅提高了通知的可靠性，还确保在紧急情况下信息能够及时传达，不会因为单一通道的故障而延误处理。

[0112] 告警模块15通过RPA技术、多通道机制和通知备份机制相结合，确保告警信息能够快速、准确地传达给相关管理人员，为系统的稳定运行和及时响应提供了重要保障。

[0113] 可选的，监控模块11与图像预处理模块12为网络连接，图像预处理模块12与检测模块13为网络连接，检测模块13与区域判断模块14为网络连接，区域划分模块16与区域判断模块14为电性连接，告警模块15与区域判断模块14为网络连接。

[0114] 本申请提供的营业厅动态监控系统可以基于大数据实现，本申请提供的一种营业厅动态监控系统，具备以下有益效果：

[0115] 1、本申请通过监控模块、图像预处理模块、检测模块、区域判断模块、告警模块的配合能够自动收集并根据预设和自适应调整的多维度规则，灵活判断是否触发告警，确保系统能够在出现异常时及时预警并进行人员调配。

[0116] 2、本申请采用先进的YOLO模型进行人体检测，通过模型加载单元加载预训练的模型，检测单元利用YOLO模型内的卷积神经网络对图像进行处理，精准识别人和物体，硬件加速单元通过GPU加速处理，显著提高了检测速度和实时性，适用于高并发场景，通过这些技术手段，本发明能够在复杂环境中准确识别和检测人员，提高了检测的精度和效率。

[0117] 3、本申请的区域划分模块通过静态区域配置和动态调整相结合，能够适应不同营业厅的布局变化，静态区域配置单元允许用户通过OpenCV的鼠标事件捕捉功能，直观地在图像上定义区域边界，动态调整单元利用K‑means聚类算法，根据实时数据动态调整区域划分，确保区域划分的灵活性和准确性，为后续的区域判断提供了可靠的基础。

[0118] 4、本申请的区域判断模块通过区域判断单元和综合判断单元结合，提高了判断的准确性，区域判断单元利用射线法准确判断人体是否在指定区域内，综合判断单元通过时间窗口综合算法，对多帧图像的检测结果进行统计和多数投票，提高了判断结果的稳定性和准确性，减少了单帧误判的可能性。

[0119] 5、本申请的告警模块通过规则设定、自适应调整和多维度规则相结合，确保告警规则的灵活性和合理性，初始规则设定提供了基本的告警机制，自适应调整单元根据历史数据动态优化规则，多维度规则单元考虑了多个因素(如工作时长、客户等待时间、客户数量等)，综合判断是否触发告警，通过这样的设计，能够有效减少误报和漏报，确保告警的准确性和及时性。

[0120] 6、本申请的告警模块通过RPA技术、多通道机制和通知备份机制相结合，确保告警信息能够快速、准确地传达给相关管理人员，RPA通知单元模拟人工操作，自动化发送通知，减少了人为操作的时间和错误，多通道通知单元通过短信、eLink等多种通道发送告警信息，确保通知的覆盖面，通知备份单元监控通知发送状态，在主要通道发送失败时自动切换到备份通道，确保通知及时送达，提高了系统的可靠性。

[0121] 实施例三

[0122] 图3为本发明实施例三提供的一种营业厅动态监控方法的流程图。如图3所示，该方法由营业厅动态监控系统执行，包括如下步骤：

[0123] S201、获取至少一个图像采集装置所采集的视频流，并对各视频流进行图像截取，得到至少一个时刻的图像数据集，图像数据集中包括从每个视频流中截取的待处理图像，各图像采集装置的位姿信息不同，位姿信息至少包括位置和角度中的一种；

[0124] S202、对每帧待处理图像进行拼接，得到营业厅的整体图像；

[0125] S203、对营业厅的整体图像进行检测，获取目标对象的检测框；

[0126] S204、根据预先划分的工作区域和目标对象的检测框判断每个目标对象的类型，目标对象的类型至少包括工作人员和非工作人员；

[0127] S205、根据各目标对象的类型判断是否满足预先设置的告警条件，若满足，根据预先设置的告警规则进行告警以进行工作人员调配。

[0128] 本发明实施例提供了一种营业厅动态监控方法，通过对不同位姿信息的图像采集装置所采集的视频流进行截取得到图像数据集，通过对图像数据集中的待处理图像进行拼接处理，得到营业厅的整体图像，实现对营业厅的全方位监控，通过对整体图像进行检测，得到目标对象的检测框，并根据预先划分的工作区域对目标对象的类型进行判断，确定目标对象为工作人员还是非工作人员，在满足告警条件时，根据告警规则及时进行告警，并进行人员调配，避免客户办理业务时等待时间过长以及工作人员长时间脱岗的情况发生，提高客户体验，提升客户服务的效率和满意度，提升营业厅的运营管理和服务质量。

[0129] 可选的，获取至少一个图像采集装置所采集的视频流，并对各所述视频流进行图像截取，包括：

[0130] 使用实时流传输协议通过各所述图像采集装置的统一资源定位符获取视频流；

[0131] 在满足图像截取条件时截取各所述视频流中的同一时刻的一帧待处理图像。

[0132] 可选的，对每个所述图像数据集中的所述待处理图像进行拼接，得到营业厅的整体图像，包括：

[0133] 通过高斯滤波对各所述待处理图像进行去噪处理，并采用直方图均衡化对去噪处理后的各图像进行对比度增强，得到增强处理后的图像；

[0134] 对各所述增强处理后的图像根据对应的位姿信息进行边界拼接和去重处理，得到营业厅的整体图像。

[0135] 可选的，对各所述营业厅的整体图像进行检测，获取目标对象的检测框，包括：

[0136] 加载预先训练的对象检测模型的模型权重文件和配置文件，基于所述模型权重文件和配置文件完成所述对象检测模型的构建；

[0137] 通过所述对象检测模型对所述营业厅的整体图像进行处理，将所述营业厅的整体图像划分为至少一个网格，确定每个网格预测的检测框和类别概率，基于所述检测框和类概率确定目标对象的检测框。

[0138] 可选的，该方法还包括：接收用户操作，基于所述用户操作进行区域划分，形成工作区域和客户区域。

[0139] 可选的，接收用户操作，基于所述用户操作进行区域划分，形成工作区域和客户区域，包括：

[0140] 显示待划分图像，所述待划分图像为对营业厅的整体进行拍摄所得到的图像；

[0141] 接收至少三个用户操作，所述用户操作为用户从所述待划分图像中选择一个点所触发的操作；

[0142] 根据各所述用户操作确定区域边界点，连接各所述区域边界点形成多边形区域；

[0143] 基于聚类算法动态调整区域，形成工作区域和客户区域。

[0144] 可选的，根据预先划分的工作区域和所述目标对象的检测框判断每个所述目标对象的类型，包括：

[0145] 通过射线法对各所述目标对象的检测框的位置进行判断，确定所述目标对象是否在工作区域内，若是，确定所述目标对象的类型为工作人员，否则，确定所述目标对象的类型为非工作人员；

[0146] 统计各所述营业厅的整体图像中的目标对象的类型，确定所述目标对象的类型。

[0147] 可选的，根据各所述目标对象的类型判断是否满足预先设置的告警条件，包括：

[0148] 根据所述目标对象的类型确定人员信息，所述人员信息包括如下至少一种：工作人员的数量、非工作人员的数量、工作人员的工作时长、非工作人员的等待时长；

[0149] 判断所述人员信息是否满足相应的告警条件，其中，所述告警条件根据历史数据自动调整更新。

[0150] 可选的，根据预先设置的告警规则进行告警，包括：

[0151] 在满足告警条件后，通过自动化脚本自动登录至少一个相关系统，并发送第一告警信息；

[0152] 通过至少一种通知通道发送第二告警信息，所述通知通道为：短信、电话或者内部通信工具；

[0153] 监控第一告警信息和第二告警信息的发送状态，如果所述第一告警信息和第二告警信息中的至少一种信息发送失败，切换到备份通道重新发送。

[0154] 本发明实施例所提供的营业厅动态监控方法可由本发明任意实施例所提供的营业厅动态监控系统执行，具备相应的有益效果。

[0155] 实施例四

[0156] 图4示出了可以用来实施本发明的实施例的电子设备40的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字助理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。

[0157] 如图4所示，电子设备40包括至少一个处理器41，以及与至少一个处理器41通信连接的存储器，如只读存储器(ROM)42、随机访问存储器(RAM)43等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器41可以根据存储在只读存储器(ROM)42中的计算机程序或者从存储单元48加载到随机访问存储器(RAM)43中的计算机程序，来执行各种适当的动作和处理。在RAM 43中，还可存储电子设备40操作所需的各种程序和数据。处理器41、ROM 42以及RAM 43通过总线44彼此相连。输入/输出(I/O)接口45也连接至总线44。

[0158] 电子设备40中的多个部件连接至I/O接口45，包括：输入单元46，例如键盘、鼠标等；输出单元47，例如各种类型的显示器、扬声器等；存储单元48，例如磁盘、光盘等；以及通信单元49，例如网卡、调制解调器、无线通信收发机等。通信单元49允许电子设备40通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

[0159] 处理器41可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器41的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器41执行上文所描述的各个方法和处理，例如营业厅动态监控方法。

[0160] 在一些实施例中，营业厅动态监控方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元48。在一些实施例中，计算机程序的部分或者全部可以经由ROM 42和/或通信单元49而被载入和/或安装到电子设备40上。当计算机程序加载到RAM 43并由处理器41执行时，可以执行上文描述的营业厅动态监控方法的一个或多个步骤。备选地，在其他实施例中，处理器41可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行营业厅动态监控方法。

[0161] 本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

[0162] 用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

[0163] 本发明实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现本发明任一实施例所述的营业厅动态监控方法。

[0164] 在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD‑ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。

[0165] 为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

[0166] 可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。

[0167] 计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端‑服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。

[0168] 应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

[0169] 上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。