[0001] 本申请涉及电气技术领域，特别是涉及一种电气操作数据处理方法、装置、设备、存储介质和计算机程序产品。

[0002] 电力的安全生产是电力工业发展的前提，为避免事故，保障电网安全和电力系统中设备的正常运行，需要采取一系列安全措施，例如触电防护措施、电气作业安全措施、电气安全装置、电气作业安全用具等。为了进一步保障操作过程的安全，提高操作过程的可追溯性，在电气操作过程中，常常会进行录音和录像等多媒体文件的采集。

[0003] 目前，在操作完成后，通常需要采用人工手段将多媒体文件与操作进行关联，形成的录音和录像文件中包含的信息难以得到高效利用，数据处理效率和与操作相对应的准确性不高。

[0043] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0044] 本申请实施例提供的电气操作数据处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以包括台式终端或移动终端，例如可以是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。图1中示出的应用环境，仅仅是与本申请方案相关的部分场景，并不构成对本申请方案应用环境的限定。

[0045] 在一个实施例中，如图2所示，提供了一种电气操作数据处理方法，以该方法应用于图1中的应用环境为例进行说明，包括以下步骤：

[0046] 步骤202，获取在电气设备执行目标电气操作的用户标识信息和操作票信息，并获取用于表征实际电气操作过程的多媒体文件。

[0047] 其中，目标电气操作可以是电力系统中需要执行的任意电气操作，例如，在发电厂、变电站、高、低压配电室等区域执行的电气操作，具体可以是拉合开关、检查开关状态、切换保护回路及转换开关、检查负荷分配及电压情况等。电气设备是指全部带有电压或一部分带有电压及一经操作即带有电压的电气设备，例如，发电机、变压器、断路器、重合闸装置、配电柜等。执行目标电气操作的用户可以是指与目标电气操作直接相关或间接相关的人员，例如，可以包括操作人员、监护人员和管理人员等。用户标识信息可以是人员的姓名、ID、生物信息等，其中生物信息可以包括指纹、声纹、面部识别特征等。操作票是指在电力系统中进行电气操作的书面依据，是电力系统中防止误操作的重要措施。操作票信息是指操作票上记载的与电气操作相关的信息，可以包括操作票编号、操作任务、操作顺序、发令人、受令人、操作人、监护人、操作时间中的任意一项或多项。

[0048] 用户标识信息、操作票信息和多媒体文件的获取可以由图1中所示的终端设备102执行，该终端设备102可以是进行电气操作的人员携带的手机、工作记录仪等设备。其中，用户标识信息和操作票信息可以由操作人员手动输入，也可以由终端设备102自动获取。例如，终端设备102采集用户的生物信息，与预先存储的用户生物信息相匹配，从而确定进行操作的用户标识信息；终端设备102可以生成操作票信息，或者从其他来源接收操作票信息，例如，从服务器104接收操作票信息。

[0049] 用于表征实际电气操作过程的多媒体文件是指在实际电气操作过程中采集的与实际电气操作过程相关联的多媒体文件，可以包括多种形式或格式的文件。多媒体文件可以通过前述终端设备102采集，或通过其他的录音录像设备进行采集，或通过操作现场的监控设备进行采集等。

[0050] 步骤204，根据用户标识信息和操作票信息得到实际电气操作时的存储标识。

[0051] 其中，实际电气操作时的存储标识用于表征实际电气操作的多媒体文件与用户标识和操作票信息的对应关系，从而能够表征实际电气操作与目标电气操作的对应关系；每个存储标识中可以包含多项信息，例如可以包括用户信息、操作票信息和时间信息等。

[0052] 步骤206，将存储标识与多媒体信息关联，得到更新后的多媒体文件，更新后的多媒体文件确定目标电气操作和实际电气操作的偏差。

[0053] 其中，将存储标识与多媒体信息关联，可以是将多媒体信息与存储标识关联存储；例如，在多媒体信息的文件名或属性信息中增加存储标识包含的信息，以便于使用这些信息进行对应文件的检索，或者建立多媒体文件和存储标识的关系数据库，并建立相应的目录索引文件，目录索引文件是计算机系统中用于组织和管理文件系统的一种数据结构，可以存储目录中文件和子目录的相关信息，以便用户或操作系统能够快速访问和定位这些文件和子目录。例如，可以使用索引节点(inode)来表示文件和目录。目录索引文件可以包含文件名和对应索引节点的映射关系，以便在查找特定文件时快速定位文件的元数据(如文件大小、权限、修改时间等)和数据块的位置。示例性地，关系数据库的建立可以通过MySQL等工具来实现。

[0054] 上述电气操作数据处理方法中，获取在电气设备执行目标电气操作的用户标识信息和操作票信息，将执行电气操作的人员信息、关于目标操作的信息进行高效整合；获取用于表征实际电气操作过程的多媒体文件，获得实际执行操作的过程记录，根据获取的用户标识信息和操作票信息得到的实际电气操作时的存储标识，将存储标识与多媒体信息关联，将多媒体文件与特定的电气操作的准确关联，提升确定哪些多媒体文件与特定的电气操作相关时的准确性和效率。本申请通过对比目标电气操作和实际电气操作所关联的多媒体文件，可以检测操作过程中的差异或偏差，例如实际执行步骤与操作票描述的不一致、操作时间的延迟等，通过对上述操作偏差数据的分析，可以帮助改进电气操作的执行过程，提高数据处理的效率和操作的准确性。

[0055] 在一个实施例中，多媒体文件至少包括音频数据或视频数据中的一种。

[0056] 其中，音频数据可以是录制了操作过程中的语音指令、复述语音指令或现场环境声音的文件；视频数据可以是录制了操作人员在设备上进行操作的过程的文件，或者是操作现场的监控设备所采集的监控视频。多媒体文件还可以包括图像数据，该图像数据可以是操作人员图像、操作过程图像、设备图像或环境图像等。音频数据和视频数据在存储时可以经过编码或压缩等操作，以便于后续的存储、读取或处理。

[0057] 在以上实施例中，可以通过对音频和视频准确地了解每个步骤的执行情况，例如操作人员的动作、声音和环境条件等，有助于确定可能存在的操作偏差或设备故障。对于一些复杂的电力操作，还可以通过音频和视频记录实现远程监控和远程协作。音频和视频还可以在后续的电力操作和事件溯源过程中起到重要的参考作用。

[0058] 在一个实施例中，在多媒体文件包括视频数据的情况下，如图3所示，该方法还包括：步骤208，提取视频数据的目标图像，并根据目标图像在视频数据中的位置确定目标时间点，目标时间点用于根据目标图像定位视频数据的访问时间点。

[0059] 以上实施例中，从视频数据中提取目标图像，能够将复杂的视频信息简化为静态的目标图像，降低了数据的复杂性，有助于将重点放在感兴趣的图像上，更便于后续处理和分析。通过目标图像在视频数据中的位置确定目标时间点，可以迅速准确地定位目标事件的发生时间，可以用于分析电力操作过程中特定事件的发生时间、时序关系和持续时间，例如，可以根据目标时间点追溯特定操作的执行情况，以便检查操作准确性或排查潜在问题。而借助目标时间点，可以准确地定位视频数据的访问时间点，从而在进行故障排查、事故回溯或设备状态监控时可以迅速回放视频数据并观察特定目标图像所在的时间段，从而实现快速定位和查找需要的信息，节省了时间和计算资源。

[0060] 在一个实施例中，如图3所示，该方法还包括：步骤210，根据目标时间点确定目标时间区域，目标时间区域为目标时间点在时序上相邻的若干时间点的集合；目标时间段用于根据目标图像定位视频数据的访问时间区域。

[0061] 其中，目标时间点可以是某一个或多个具体的感兴趣时刻，可以表示视频或图像序列中的某一帧或时间戳。在本申请实施例中，目标时间点可以是某项电气操作开始的时刻或某台设备结束运行的时刻等。相应的，目标时间段可以是对应于目标时间点的时间段或连续的时间范围。

[0062] 由于单纯关注目标时间点可能不足以获取足够的信息，将目标时间点扩展为目标时间范围，将目标时间范围作为视频数据的访问时间区域，可以更有效的获取视频中感兴趣目标的动态变化情况，其中，动态变化情况可以是设备操作范围内人员的进出、动作的变化、设备状态的变化等。因此，在以上实施例中，通过确定目标时间点，可以准确地找到视频数据中需要访问的特定时间点；而将目标时间点扩展为相邻时间点的集合，做可以在目标时间点附近获取更多可能相关的数据，从而提供更全面的信息。例如，如果目标时间点是某个操作步骤开始的时间，那么目标时间区域可以涵盖该操作步骤前后的一段时间，有助于准确且高效地实现操作的回溯；同时可以减少视频数据访问时的搜索时间，从而提高系统的响应速度和性能。

[0063] 在一个实施例中，提取视频数据的目标图像，包括：步骤208b，获取视频数据中的初始图像数据；步骤208c，提取初始图像数据的特征数据，根据特征数据在初始图像数据中，将存在运动状态变化的图像数据作为目标图像。

[0064] 其中，初始图像数据是指来源于视频数据中，用于进行进一步的特征提取、运动检测、目标跟踪等操作的图像数据。初始图像数据的特征数据是指初始图像数据中提取出来的有意义的信息或表征。这些数据可以用来描述图像的内容、结构或特性，可以以数值或向量等形式表示。上述特征数据可以是结构特征，例如，描述图像中的物体边界或几何结构的特征；也可以是内容特征，例如，图像中的对象、颜色、明暗等视觉特征。在本申请实施例中，特征数据可以是描述操作人员的数量、位置、动作的数据，也可以是描述设备状态，例如设备指示灯颜色、元器件位置变化的数据。特征数据的提取可以通过梯度方向直方图法、尺度不变特征变换法或卷积神经网络等方法或工具实现。目标图像可以是符合某些预设条件的感兴趣图像，例如，能够表征电气操作过程中的动作变化或设备状态变化的图像。

[0065] 以上实施例中，将存在运动状态变化的图像数据作为目标图像，可以使得电气操作中的动作与图像的对应关系更为精确，更有利于高效和准确地读取对应的视频片段。还可以对一系列目标图像进行后处理，以便对目标图像进行筛选和分类，从而能够更为准确地获取到与电气操作中重要性较高的视频片段。

[0066] 在一个实施例中，获取视频数据中的初始图像数据，包括：步骤208a，获取视频数据中的原始图像数据，并将原始图像数据进行预处理，得到初始图像数据。

[0067] 其中，原始图像数据是指由图像采集设备，例如终端102、监控摄像头等设备获得的未经处理或未经修改的图像。预处理是指为便于后续的识别等操作，而对图像进行的颜色空间转换、降噪、变换或增强等操作。例如，对原始图像数据进行预处理，可以是首先提取原始图像数据中的亮度分量数据，对亮度分量数据进行降噪处理，再对降噪处理后的数据进行形态学运算，获得增强后的图像数据，将增强后的图像数据作为初始图像数据进行运动检测。

[0068] 以上实施例中，通过对原始图像数据进行预处理，得到初始图像数据，可以提高图像的质量，增强目标的可见性，减少图像中的噪声等干扰因素，从而减少后续的运动检测过程中出现误判，提升运动检测的准确性和可靠性。

[0069] 作为示例，本申请实施例的电气操作数据处理方法可以应用于变电站管理中心以及500kV变电站，由于500kV变电站通常分布在野外，可以建立分布式变电站管理系统，即，在变电站管理中心搭建后端服务器，用于提供数据的统一存储和用户交互功能，在500kV变电站部署前端设备，用于采集电气操作过程的数据。其中，后端服务器可以是包括多台服务器的服务器组，前端设备可以包括多个设备，包括操作相关人员携带的手机、工作记录仪以及布置在变电站的服务器等。该系统可以采用B/S(Browser/Server)，即浏览器和服务器架构来实现用户交互。其中浏览器(Browser)用于展示用户的操作界面和对用户输入数据作简单处理，服务器端(Server)用于进行数据的逻辑处理，建立数据库或文件系统对数据进行统一存储，这种浏览器、事件逻辑处理和数据存储，形成所谓三层结构。三层结构能够简化用户端浏览器的载荷，各层之间职责清晰，从而减轻系统维护与升级的成本和工作量。变电站工作人员通过Internet/Intranet在浏览器上完成系统访问和操作，不同的人员可以从不同的地点，以不同的接入方式接入系统；同时也能有效地保护数据平台和管理访问权限，服务器和数据库也相对比较安全。为保障数据和通信安全，系统还可以包括身份验证模块，电气操作和监护人员、管理人员可以在系统数据库中预存验证信息，如人脸信息、账号、密码等，需要访问系统的人员提供与预存的验证信息相匹配的信息进行身份验证，以获取对系统的访问权限。

[0070] 在上述系统架构的基础上，进行电气操作可以首先由终端设备获取操作人员的验证信息，与数据库中预先存储的人员信息进行匹配，终端设备采集操作人员的用户标识信息并从操作票模块获取操作票信息，生成实际电气操作时的存储标识；响应于电气操作的开始等动作的触发，进行音频文件和视频文件的采集；对采集的音频和视频进行编码压缩，并将存储标识与音频文件和视频文件关联，将更新后的音频文件和视频文件保存在终端设备的存储器中；将音频文件和视频文件通过变电站中的WAPI网络传输至变电站服务器；变电站服务器将接收到的音频和视频解码为预设格式并保存；变电站服务器在每个预设时间周期内对存储器内音频文件和视频文件的生成时间进行检查，将当前时间周期内存储的音频文件和视频文件解码为预设格式。其中，视频文件可以解码为YUV格式，提取YUV格式的视频的Y分量图像序列；对Y分量图像序列进行降噪；使用运动检测算法识别降噪后的图像序列中的运动区域，并对运动区域进行标注，将具有标注的图像编码为JPEG格式并存储。应该理解的是，变电站服务器也可以将编码压缩后的音频文件和视频文件通过网络传输至后端服务器，由后端服务器进行对音频文件和视频文件的解码和处理。

[0071] 应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

[0072] 基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的电气操作数据处理方法的电气操作数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个电气操作数据处理装置实施例中的具体限定可以参见上文中对于电气操作数据处理方法的限定，在此不再赘述。

[0073] 在一个实施例中，如图4所示，提供了一种电气操作数据处理装置400，该装置包括：

[0074] 信息获取模块402，用于获取在电气设备执行目标电气操作的用户标识信息和操作票信息，并获取用于表征实际电气操作过程的多媒体文件；

[0075] 标识生成模块404，用于根据用户标识信息和该票面信息得到实际电气操作时的存储标识；

[0076] 信息处理模块406，用于将存储标识与多媒体信息关联，得到更新后的多媒体文件，更新后的多媒体文件用于确定目标电气操作和实际电气操作的误差。

[0077] 在其中一个实施例中，多媒体文件至少包括音频数据或视频数据中的一种。

[0078] 在其中一个实施例中，在该多媒体文件包括该视频数据的情况下，信息处理模块406还用于：提取该视频数据的目标图像，并根据该目标图像在该视频数据中的位置确定目标时间点，该目标时间点用于根据该目标图像定位该视频数据的访问时间点。

[0079] 在其中一个实施例中，信息处理模块406还用于：根据该目标时间点确定该目标时间区域，该目标时间区域为该目标时间点在时序上相邻的若干时间点的集合；

[0080] 该目标时间段用于根据该目标图像定位该视频数据的访问时间区域。

[0081] 在其中一个实施例中，信息处理模块406还用于：获取该视频数据中的初始图像数据；提取该初始图像数据的特征数据，根据该特征数据在该初始图像数据中，将存在运动状态变化的图像数据作为目标图像。

[0082] 在其中一个实施例中，该获取该视频数据中的初始图像数据，包括：获取该视频数据中的原始图像数据，并将该原始图像数据进行预处理，得到该初始图像数据。

[0083] 上述电气操作数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

[0084] 在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端设备，其内部结构图可以如图5所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种电气操作数据处理方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

[0085] 本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

[0086] 在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

[0087] 在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0088] 在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

[0089] 需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

[0090] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read‑Only Memory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

[0091] 以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

[0092] 以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。