超特高压隔离开关运行状态的确定方法、装置及存储介质

超特高压隔离开关运行状态的确定方法、装置及存储介质有效专利发明

技术领域

[0001] 本申请涉及电力系统技术领域，特别是涉及一种超特高压隔离开关运行状态的确定方法、装置、存储介质及计算机程序产品。

具体实施方式

[0016] 此处参考附图描述本申请的各种方案以及特征。

[0017] 应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

[0018] 包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

[0019] 通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

[0020] 还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式。

[0021] 当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

[0022] 此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

[0023] 本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

[0024] 本申请实施例提供了一种超特高压隔离开关运行状态的确定方法，如图1所示，包括：101、构建目标超特高压隔离开关数据集。

[0025] 在本申请实施例中，执行主体为可以实现超特高压隔离开关运行状态的确定方法的系统，该系统需要首先构建目标超特高压隔离开关数据集，此处的目标超特高压隔离开关数据集包括多个超特高压隔离开关图像以及每个超特高压隔离开关图像标注的描述文本，且所述描述文本包括与开关运行状态有关的场景描述信息、边框坐标信息和目标分割掩码信息。

[0026] 102、确定视觉语言检测模型，利用超特高压隔离开关数据集对视觉语言检测模型进行训练，更新模型参数，得到用于指示图像和语言之间交互关系的目标视觉语言检测模型；在本申请实施例中，获取目标超特高压隔离开关数据集之后，可以确定视觉语言检测模型，示例性地，Grounding‑DINO模型，其为一种新的SOTA零样本物体检测模型，为现有技术，本领域技术人员很容易获得，此处不做具体赘述。利用超特高压隔离开关数据集对视觉语言检测模型进行训练，更新模型参数，使得模型能够学习到开关运行状态的丰富特征，并结合场景信息，将开关运行状态结果描述出来。通过利用超特高压隔离开关数据集对视觉语言检测模型进行训练，更新模型参数，可以得到用于指示图像和语言之间交互关系的目标视觉语言检测模型。

[0027] 示例性地，将目标超特高压隔离开关数据集按照7:3的比例将数据集划分为训练集和验证集，对Grounding‑DINO模型进行初始化，设置学习率为0.001，采用Adam优化器进行参数更新，批量大小（Batch Size）设定为32，并通过He初始化方法为网络权重赋予随机值，将训练集输入Grounding‑DINO模型中，并进行100轮的迭代训练，每轮迭代遍历整个训练集一次，之后利用验证集进行验证，得到验证结果，通过这些步骤，模型能够学习到设备状态的丰富特征，并在实际应用中实现高效准确的设备状态识别。

[0028] 103、获取当前超特高压隔离开关图像，将当前超特高压隔离开关图像输入目标视觉语言检测模型，获得目标视觉语言检测模型输出的目标描述文本。

[0029] 在本申请实施例中，通过步骤102中的模型训练，得到了训练好的目标视觉语言检测模型，将当前超特高压隔离开关图像输入的目标视觉语言检测模型中，目标视觉语言检测模型过其深度学习架构自动提取图像中的关键特征，如隔离开关的分合状态，并识别当前超特高压隔离开关图像中所表示的开关运行状态，示例性地，目标视觉语言检测模型能够区分隔离开关的开启与闭合状态，并结合周围环境情况将结果描述出来，得到目标描述文本。

[0030] 进一步地，在确定目标描述文本之后，可以通过一个直观的可视化界面展示，其中设备的不同状态以不同的颜色图标表示，便于操作人员理解。与此同时，目标描述文本也可以通过标准化的接口输出，使得其能够被其他系统或应用程序直接使用，实现对超特高压变电站设备状态的实时监控和自动化管理。

[0031] 104、基于目标描述文本确定当前超特高压隔离开关的目标运行状态。

[0032] 在本申请实施例中，目标描述文本中描述有用于指示开关运行状态的描述信息，也有用于指示其所在场景的描述信息，所以通过目标描述文本可以确定当前超特高压隔离开关的目标运行状态，示例性地，隔离开关是合闸到位状态以及分闸到位状态，还是分合闸不到位状态。

[0033] 本申请实施例提供的方法，利用图像与语言描述相结合的高质量多模态数据集，即目标超特高压隔离开关数据集，对视觉语言检测模型进行训练，得到最优的目标视觉语言检测模型，由于目标超特高压隔离开关数据集包含了详尽的图像标注和灵活的语言描述，使得训练好的目标视觉语言检测模型能够精准识别隔离开关的各种状态，也就是说，将当前超特高压隔离开关图像输入目标视觉语言检测模型，目标视觉语言检测模型可以精准识别出隔离开关的运行状态，输出目标描述文本，进而基于目标描述文本确定当前超特高压隔离开关的目标运行状态。

[0034] 进一步地，通过提供灵活多样的语言表达样本，数据集能够提升模型在新场景下的适应性，经过数据集训练的目标视觉语言检测模型还可以处理未曾遇到过的复杂描述。

[0035] 进一步的，作为上述实施例具体实施方式的细化和扩展，为了完整说明本实施例的具体实施方式，本发明实施例提供了另一种超特高压隔离开关运行状态的确定方法，如图2所示，包括：201、构建目标超特高压隔离开关数据集。

[0036] 在本申请实施例中，构建目标超特高压隔离开关数据集具体过程为：2011、获取变电站现场的多个超特高压隔离开关图像，每个超特高压隔离开关图像包括超特高压隔离开关以及与超特高压隔离开关相关的组件，且超特高压隔离开关对应一角度和一运行状态。

[0037] 示例性地，收集包含超特高压隔离开关及其组件的多角度、多状态图像。

[0038] 2012、对多个超特高压隔离开关图像进行预处理，得到处理后的多个超特高压隔离开关图像。

[0039] 在本申请实施例中，可以首先对多个超特高压隔离开关图像进行尺寸统一，得到具有目标尺寸的多个第一中间超特高压隔离开关图像；接着对多个第一中间超特高压隔离开关图像进行质量筛选，得到多个第二中间超特高压隔离开关图像；最后对多个第二中间超特高压隔离开关图像进行数据增强，得到处理后的多个超特高压隔离开关图像。

[0040] 示例性地，可以采用图像处理中的几何变换和图像缩放技术统一图像尺寸，即，图像采集：通过现场监控设备以及手持摄像设备，拍摄变电站现场的隔离开关的图像，尽量使采集的图像在包括合闸到位、分闸到位和分合闸不到位三种状态的数量上均匀分布。

[0041] 构建图像集合：设一个有限的角度集合和一个有限的状态集合，那么可以通过一个多维数组或矩阵的形式来表示所有角度和状态组合下
的图像集合：
，
其中，表示在角度下，开关处于状态时拍摄的图像。这里，是一
个维数组或矩阵，每一项都是一个图像向量或矩阵，代表了在特定角度和状态下的图像信息。

[0042] 换句话说，每一个都是一个图像数据，对应于角度和状态的组合。这种方式便于管理和处理不同角度和状态下获取的图像数据。

[0043] 图像尺寸统一处理：通过缩放函数将收集到的每张不同尺寸的超特高压隔离开关图像转换为同一尺寸，该函数负责映射原始坐标到目标坐标，并基于周围像素的值计算新像素的值。

[0044] 假设有一张原始图像，目标是创建一个调整过尺寸的新图像，其中表示水平坐标（列），表示垂直坐标（行）。的范围是从0到，的范围是从0到，这里的和分别是新图像的宽度和高度。图像尺寸变换的过程可以写成：，
这里是一个变换函数，其将原始图像中的像素值映射到新图像中的对应位置。
根据不同的插值方法，可以有不同的形式：
双线性插值：此方法中，通过计算新坐标四个最近邻像素点的加权平均来
获得结果。这四个像素点分别是，以及。

[0045] 最近邻插值：此方法中，通过查找离目标坐标最近的像素点来确定新像素的值。

[0046] 对于任意的目标坐标，其整数部分和小数部分分别为：整数部分：

[0047] 小数部分：

[0048] 这里，表示向下取整操作。这些整数和小数部分用于确定新图像中每个像素的具体值。

[0049] 图像质量筛选：对转换后的图像进行过滤筛选，丢弃不适合标注、有歧义、无法识别状态以及低分辨率的图像。

[0050] 数据增强：对筛选后的图像进行数据增强，以增加训练集的多样性和鲁棒性。数据增强的方法包括但不限于：(a) 空间变换：示例性地，旋转、平移、缩放和翻转等操作，旨在模拟不同视角下的图像变化。

[0051] (b) 颜色变换：调整图像的亮度、对比度和饱和度，以适应不同的光照条件。

[0052] (c) 噪声添加：向图像中添加适量的随机噪声，如高斯噪声，以提高模型对抗现实世界中各种噪声的能力。

[0053] 具体来说，添加的高斯噪声可以用以下公式描述：，
其中，是随机变量，表示噪声值；是高斯分布的标准差，控制着噪声的强度。

[0054] 2013、获取针对超特高压隔离开关的语言描述集。

[0055] 在本申请实施例中，语言描述集包括多个场景描述信息，场景描述信息是通过将开关专业术语和场景信息输入至语言描述函数中得到的，且开关专业术语包括开关型号规格、开关电压等级、开关运行状态、开关操作模式、开关结构类型、附件设备类型、安装位置。

[0056] 需要说明的是，可以通过设计生成一系列针对超特高压隔离开关的语言描述集，涵盖简短类别名称至详细功能特性描述，具体为：专业术语收集与整理：围绕整理好的关于现场超特高压隔离开关的图像数据集，明确超特高压隔离开关的关键组成部分与核心技术，细化各类开关型号的特点与应用场景，对相关领域的专业术语进行全面收集和整理，表示为，如表1所示：
表1

[0057] 描述模板设计：基于已收集的专业术语列表，创建一套灵活且全面的描述模板，确保能够适应不同的场景和需求，其中：简短类别名称模板型超特高压隔离开关正处于状态”,“额
定电压为的型超特高压隔离开关正处于状态”等，这里的
和分别代表待替换的类型、电压等级和结构类型的占位符；
详尽功能特性描述模板：“额定电压为，其结构类型为
，采用的操作模式，适用于环境安装的型号超特高压
隔离开关正处于状态”等，这里的分别代表待替换的专业术语的占位符。

[0058] 描述生成：利用专业术语列表作为参数填充模板，根据不同应用场景和要求，生成多样化的描述。

[0059] 考虑到模板包含个占位符，分别记作，而专业术语列包含个术语，记作。映射函数定义了占位符到术语的对应关系。
值函数，其中是所有可能值的集合，给出了每个术语的实际值。生成最
终描述的数学表达式可以表示为：
，
这里，表示模板中所有占位符被替
换为后的字符串。

[0060] 需要说明的是，若将表示为一个字符串函数，其中是占位符的值，可以生成描述的函数可以写成：
，
其中，表示先应用再应用。

[0061] 为了让上述过程更直观化表达，以一个具体例子进行说明，即确定一简单的模板=“ 型超特高压隔离开关正处于状态”，专业术语列表，映射函数，和值函数
，。则最终生成的描述为：
型超特高压隔离开关正处于分合闸不到位状
态”。

[0062] 进一步地，复杂情景描述示例为：进一步结合实际情况，生成包含复杂属性和特定情景的详细描述：“位于变电站塔架东侧的双柱垂直旋转式超特高压隔离开关，其额定电压为110kV，目前正处于分合闸不到位状态，上方的LED红光警示灯闪烁，表明设备正在响应远方调度中心的指令进行紧急处理，同时其智能诊断系统正实时反馈隔离开关动作的机械性能指标和电气参数。”多样性增强：为了提升描述的多样性，本发明采用了一种基于预训练语言模型的方法。具体地，选择了 Hugging Face 的 Transformers 库中的 BART（Bidirectional and Auto‑Regressive Transformers）模型作为核心组件，以执行同义词替代任务。通过对大量电力工程领域的语料库进行微调，特别是针对超特高压隔离开关的相关术语和描述性语言进行优化，确保模型能够理解并生成该领域的专业表达。在微调过程中，特别强调模型对专业术语的上下文理解和同义表达能力，以保证替换的准确性和自然度。实施同义词替代时，将原始数据集中的开关描述文本输入至微调后的 BART 模型中，通过提示指令引导模型生成每条描述的多种同义表达。这些表达在保留原始意图的同时，利用电力领域内的适当同义词进行替换，从而增加描述的多样性和准确性。示例性地，描述“额定电压为110kV的双柱垂直旋转式超特高压隔离开关正处于分闸状态”，模型可能生成的同义表达包括“电压等级为110kV的双柱式垂直旋转超特高压隔离开关处于断开状态”等。

[0063] 更进一步地，为了保证对超特高压隔离开关设备所生成的文本描述结集Sp与实际图像内容高度一致，采用了人工筛查的方式来进行严格的质量控制。为了确保描述的准确性和专业性，在这一过程中，由具备专业知识背景的人员对模型自动生成的所有描述进行逐一审核。审核的目的是确认每一条描述都能准确反映图像中的设备类型、型号、材质、电压等级、操作模式、安全等级、安装位置及其外观特征、附件设备状态等关键信息。

[0064] 2014、确定每个超特高压隔离开关图像对应的至少一个高相似度场景描述信息。

[0065] 在本申请实施例中，对于每个超特高压隔离开关图像执行以下操作：利用多模态大模型确定超特高压隔离开关图像与多个场景描述信息中每个场景描述信息的相似度分数，得到多个相似度分数，并按照分数从高到底的顺序对多个相似度分数进行排序，得到具有顺序关系的多个相似度分数，从具有顺序关系的多个相似度分数中提取相似度分数满足目标阈值的至少一个相似度分数，并将至少一个相似度分数对应的至少一个场景描述信息作为至少一个高相似度场景描述信息。

[0066] 2015、获取每个超特高压隔离开关图像对应的训练样本对。

[0067] 在本申请实施例中，可以首先确定每个超特高压隔离开关图像的边框坐标信息、目标分割掩码信息，基于每个超特高压隔离开关图像的边框坐标信息、目标分割掩码信息和至少一个高相似度场景描述信息得到每个超特高压隔离开关图像对应的正训练样本。之后获取每个超特高压隔离开关图像对应的至少一个缺失描述信息，基于每个超特高压隔离开关图像的边框坐标信息、目标分割掩码信息和至少一个缺失描述信息得到每个超特高压隔离开关图像对应的负训练样本。最后基于每个超特高压隔离开关图像对应的正训练样本、负训练样本得到每个超特高压隔离开关图像对应的训练样本对。需要说明的是，图像识别算法为现有技术，本领域技术人员很容易获取到，此处不做赘述。

[0068] 需要说明的是，正训练样本可以理解为与描述相符的开关实例，负训练样本可以理解为与描述不相符的开关实例。

[0069] 给定一张超特高压隔离开关图像和一组语言描述，使用CLIP模型计算每对图像与描述之间的相似度分数，其中，表示图像与描述之间的相似度。随后，对于每张图像，计算其与每个描述的相似度，并设定一个阈值，仅保留那些的描述作为候选正样本。为了保证描述的多样性，从每个图像的候选正样本中选择前个（示例性地 4 至 6 个）最高相似度的描述作为正训练样本，记作，其中是与图像匹配的正描述。接着，针对每张图像，基于其描
述设计1‑2个“缺席”描述，这些描述中包含图像中未出现的元素或特征，作为负训练样本的参考。负训练样本集合，其中是与图像不匹配的描述。最终，为每张图像构建正负训练样本对，其中为正样本对，
为负样本对。通过这种方式，平衡正负样本的数量，并确保数据集能够
有效地指导模型学习语言与图像之间的对应关系。最后，将标注完整的正负训练样本及其相关描述整合成对，以供进一步训练使用。

[0070] 2016、基于每个超特高压隔离开关图像对应的训练样本对得到超特高压隔离开关数据集。

[0071] 2017、从超特高压隔离开关数据集中移除图像与描述信息不匹配的至少一个训练样本对，得到中间超特高压隔离开关数据集。

[0072] 在本申请实例中，可以确定超特高压隔离开关数据集包括多个训练样本对，对于每个训练样本对，可以利用目标图像编码器ResNet对训练样本对对应的超特高压隔离开关图像进行特征提取，得到训练样本对对应的图像特征向量，以及利用目标文本编码器BERT将训练样本对对应的高相似度场景描述信息、边框坐标信息、分割掩码信息转化为第一文本嵌入向量，计算图像特征向量与第一文本嵌入向量的第一余弦相似度，若第一余弦相似度低于第一目标阈值，则将训练样本对从多个训练样本对中移除；和，利用目标图像编码器ResNet对训练样本对对应的超特高压隔离开关图像进行特征提取，得到训练样本对对应的图像特征向量，以及利用目标文本编码器BERT将训练样本对对应的缺失场景描述信息、边框坐标信息和分割掩码信息转化为第二文本嵌入向量，计算图像特征向量与第二文本嵌入向量的第二余弦相似度，若第二余弦相似度高于第二目标阈值，则将训练样本对从多个训练样本对中移除。通过上述过程可以进一步对语言描述进行优化，将不准确的语言描述丢弃，进而获得图像和语言描述之间具有准确关联关系的中间超特高压隔离开关数据集，需要说明的是，为了和上述训练样本进行区分，中间超特高压隔离开关数据集包括多个中间训练样本对，每个中间训练样本对包括中间正训练样本和中间负训练样本。

[0073] 2018、基于中间超特高压隔离开关数据集对多模态大模型进行训练，更新模型参数，得到用于量化图像与描述文本之间相似度的目标多模态大模型。

[0074] 在本申请实施例中，多模态大模型为CLIP模型，其具体结构如图3所示，可以同时学习图像和文本的联合表征空间，首先将中间超特高压隔离开关数据集训练集和验证集，在训练集上训练CLIP模型，使其在训练过程中最大化图像和文本对之间的相似度，同时最小化不匹配对的相似度，之后利用验证集对训练后的CLIP模型进行高相似度对检查，也就是说，对于高相似度匹配的图像‑文本对，可进一步检查标签的准确性，如果确定某个文本描述未能准确捕捉图像的关键特征，示例性地，结构、动作、状态等，可以通过手动修改或添加详细描述，若有必要，针对特殊类别或难以识别的情况设计新的标签体系或细化现有标签，通过上述过程可以得到更新中间超特高压隔离开关数据集，之后重新对更新中间超特高压隔离开关数据集进行划分，得到更新训练集和更新验证集，利用更新训练集重新训练CLIP模型，得到更新CLIP模型，利用更新验证集对更新CLIP模型进行验证，再次评估相似度矩阵及模型在验证集上的性能，如果更新CLIP模型性能仍有提升空间，重复上述步骤，直至生成的数据质量能够达到预设数据质量，最终得到最优的目标多模态大模型。

[0075] 需要说明的是，得到更新中间超特高压隔离开关数据集之后，还可以继续从更新中间超特高压隔离开关数据集中移除低质量的标注数据，如误标、漏标等；对于那些关键信息缺失的样本，结合专家知识或其他辅助手段，填充适当的描述信息。

[0076] 2019、从中间超特高压隔离开关数据集中提取多个中间正训练样本，并将多个中间正训练样本输入所述目标多模态大模型，确定每个超特高压隔离开关图像对应的最高相似度的场景描述文本，得到目标超特高压隔离开关数据集。

[0077] 在本申请实施例中，经过训练的目标多模态大模型能够准确捕捉图像的关键特征，示例性地，结构、动作、状态等，可以从中间超特高压隔离开关数据集中提取多个中间正训练样本，将多个中间正训练样本输入目标多模态大模型，可以确定每个超特高压隔离开关图像对应的最高相似度的场景描述文本，进而得到目标超特高压隔离开关数据集，需要说明的是，该最高相似度的场景描述文本包括最高相似度的场景描述信息、边框坐标信息和目标分割掩码信息，需要说明的是，该场景描述信息包括开关运行状态描述信息、环境描述信息、开关结构描述信息、电气参数描述信息、开关安装位置描述信息、开关基本描述信息中的至少一个信息。

[0078] 202、利用超特高压隔离开关数据集对视觉语言检测模型进行训练，更新模型参数，得到用于指示图像和语言之间交互关系的目标视觉语言检测模型。

[0079] 在本申请实施例中，可以将超特高压隔离开关数据集划分为多个不相交的样本子集，从多个样本子集中选取一样本子集作为第一验证子集，将多个样本子集中除第一验证子集外的剩余样本子集作为第一训练子集，利用第一训练子集对视觉语言检测模型进行训练，更新模型参数，得到第一视觉语言检测模型，将第一验证子集输入第一视觉语言检测模型，得到第一描述文本集，从第一验证子集获取第一实际描述文本集，计算第一描述文本集和第一实际描述文本集之间的匹配度，继续从多个样本子集中选取另一样本子集作为第二验证子集，将多个样本子集中除第二验证子集外的剩余样本子集作为第二训练子集，重复执行上述操作，直至多个样本子集中所有样本子集完成交叉验证，得到多个匹配度，在多个匹配度中确定最大匹配度，将最大匹配度对应的视觉语言检测模型作为中间视觉语言检测模型；接着利用超特高压隔离开关数据集对中间视觉语言检测模型进行训练，更新模型参数，得到用于指示图像和语言之间交互关系的目标视觉语言检测模型。通过上述方法对视觉语言检测模型进行训练，可以防止视觉语言检测模型出现过拟合的情况。

[0080] 需要说明的是，第一描述文本集为多个超特高压隔离开关图像对应的第一描述文本组成的集合，而第一实际描述文本集为多个超特高压隔离开关图像对应的第一实际描述文本组成的集合，且第一描述文本集中的一第一描述文本对应第一实际描述文本集中的一第一实际描述文本。因此，计算第一描述文本集和第一实际描述文本集之间的匹配度的具体方法为：对于每个超特高压隔离开关图像，利用文本匹配度算法确定其对应的第一描述文本与其对应的第一实际描述文本之间的匹配度，最终得到所有个超特高压隔离开关图像对应的匹配度。这里的文本匹配度算法为现有技术，可直接使用，此处不做具体赘述。

[0081] 203、将当前超特高压隔离开关图像输入目标视觉语言检测模型，获得目标视觉语言检测模型输出的目标描述文本。

[0082] 204、基于目标描述文本确定当前超特高压隔离开关的目标运行状态。

[0083] 205、对图像检测结果进行检验。

[0084] 在本申请实施例中，还可以验证图像检测结果的可靠性，即首先获取当前超特高压隔离开关的实际运行状态，将实际运行状态与目标运行状态进行比对，得到比对结果；当比对结果指示实际运行状态与目标运行状态一致时，确定图像检测结果可靠；当比对结果指示实际运行状态与目标运行状态不一致时，确定图像检测结果不可靠，并生成用于指示图像检测结果不可靠的预警信息，并将预警信息发送至技术人员所持终端，以使技术人员基于终端在接受到预警信息时进行问题排查。

[0085] 本申请实施例提供的方法，利用图像与语言描述相结合的高质量多模态数据集，即目标超特高压隔离开关数据集，对视觉语言检测模型进行训练，得到最优的目标视觉语言检测模型，由于目标超特高压隔离开关数据集包含了详尽的图像标注和灵活的语言描述，使得训练好的目标视觉语言检测模型能够精准识别隔离开关的各种状态，后续将当前超特高压隔离开关图像输入目标视觉语言检测模型，目标视觉语言检测模型可以精准识别出隔离开关的运行状态，输出目标描述文本，进而基于目标描述文本确定当前超特高压隔离开关的目标运行状态。

[0086] 进一步地，本申请的目标超特高压隔离开关数据集包含了详尽的图像标注和灵活的语言描述，也就是说，该数据集覆盖各种开关工作状态、环境变化以及内部组件细节，同时每个目标都附带详细的文本描述，通过该数据集的训练使得视觉语言检测模型能够理解和关联图像与专业描述之间的联系，也即视觉语言检测模型能够精准识别和理解开关的各种状态，无论是处于何种位置、状态还是具有特定特征的开关，都能被准确识别和定位，提升了设备运行状态检测的精确度和可靠性。通过对正负样本的精细化标注和合理配比，平衡正负样本数量，避免过拟合或欠拟合，保证模型在训练过程中的学习效果和测试时的识别准确率，提升了模型对抽象概念和缺失情境的理解力和应对复杂场景的能力。因此，运用该数据集训练视觉语言检测模型，能够实现对超特高压隔离开关设备及其状态的精准识别和理解，有效提升电力设施智能监控和运维的安全性、可靠性和自动化水平，为构建高效、智能的电力管理系统和未来电力科研工作打下坚实基础。

[0087] 进一步地，作为图1所述方法的具体实现，如图4A所示，本发明实施例提供了一种超特高压隔离开关运行状态的确定装置，包括：构建模块401、训练模块402、检测模块403和确定模块404。

[0088] 该构建模块401，用于构建目标超特高压隔离开关数据集，所述目标超特高压隔离开关数据集包括多个超特高压隔离开关图像以及每个超特高压隔离开关图像标注的描述文本，且所述描述文本包括与开关运行状态有关的场景描述信息、边框坐标信息和目标分割掩码信息；该训练模块402，用于确定视觉语言检测模型，利用所述超特高压隔离开关数据集对所述视觉语言检测模型进行训练，更新模型参数，得到用于指示图像和语言之间交互关系的目标视觉语言检测模型；
该检测模块403，用于获取当前超特高压隔离开关图像，将所述当前超特高压隔离开关图像输入所述目标视觉语言检测模型，获得所述目标视觉语言检测模型输出的目标描述文本；
该404确定模块，用于基于所述目标描述文本确定当前超特高压隔离开关的目标运行状态。

[0089] 在具体的应用场景中，该构建模块401，还用于构建超特高压隔离开关数据集，所述超特高压隔离开关数据集包括多个训练样本对，每个训练样本对包括正训练样本和负训练样本，所述正训练样本由超特高压隔离开关图像以及所述特高压隔离开关图像标注的至少一个高相似度场景描述信息、边框坐标信息和目标分割掩码信息组成，所述负训练样本由所述超特高压隔离开关图像以及所述超特高压隔离开关图像标注的边框坐标信息、目标分割掩码信息和至少一个缺失场景描述信息组成；从所述超特高压隔离开关数据集中移除图像与描述信息不匹配的至少一个训练样本对，得到中间超特高压隔离开关数据集，所述中间超特高压隔离开关数据集包括多个中间训练样本对，每个中间训练样本对包括中间正训练样本和中间负训练样本；确定多模态大模型，并基于所述中间超特高压隔离开关数据集对所述多模态大模型进行训练，更新模型参数，得到用于量化图像与描述文本之间相似度的目标多模态大模型；从所述中间超特高压隔离开关数据集中提取所述多个中间正训练样本，并将所述多个中间正训练样本输入所述目标多模态大模型，确定每个超特高压隔离开关图像对应的最高相似度的场景描述文本，得到所述目标超特高压隔离开关数据集，其中，所述最高相似度的场景描述文本包括最高相似度的所述场景描述信息、所述边框坐标信息和所述目标分割掩码信息。

[0090] 在具体的应用场景中，该构建模块401，还用于获取变电站现场的多个超特高压隔离开关图像，每个超特高压隔离开关图像包括超特高压隔离开关以及与所述超特高压隔离开关相关的组件，且所述超特高压隔离开关对应一角度和一运行状态；对所述多个超特高压隔离开关图像进行预处理，得到处理后的多个超特高压隔离开关图像；获取针对超特高压隔离开关的语言描述集，所述语言描述集包括多个场景描述信息，场景描述信息是通过将开关专业术语和场景信息输入至语言描述函数中得到的，且所述开关专业术语包括开关型号规格、开关电压等级、开关运行状态、开关操作模式、开关结构类型、附件设备类型、安装位置；对于每个超特高压隔离开关图像执行以下操作：利用多模态大模型确定超特高压隔离开关图像与所述多个场景描述信息中每个场景描述信息的相似度分数，得到多个相似度分数，并按照分数从高到底的顺序对所述多个相似度分数进行排序，得到具有顺序关系的多个相似度分数，从所述具有顺序关系的多个相似度分数中提取相似度分数满足目标阈值的至少一个相似度分数，并将所述至少一个相似度分数对应的至少一个场景描述信息作为至少一个高相似度场景描述信息；确定每个超特高压隔离开关图像的边框坐标信息、目标分割掩码信息，基于每个超特高压隔离开关图像的边框坐标信息、目标分割掩码信息和至少一个高相似度场景描述信息得到每个超特高压隔离开关图像对应的正训练样本；获取每个超特高压隔离开关图像对应的至少一个缺失描述信息，基于每个超特高压隔离开关图像的边框坐标信息、目标分割掩码信息和至少一个缺失描述信息得到每个超特高压隔离开关图像对应的负训练样本；基于每个超特高压隔离开关图像对应的正训练样本、负训练样本得到每个超特高压隔离开关图像对应的训练样本对，以及基于每个超特高压隔离开关图像对应的训练样本对得到所述超特高压隔离开关数据集。

[0091] 在具体的应用场景中，该构建模块401，还用于对所述多个超特高压隔离开关图像进行尺寸统一，得到具有目标尺寸的多个第一中间超特高压隔离开关图像；对所述多个第一中间超特高压隔离开关图像进行质量筛选，得到多个第二中间超特高压隔离开关图像；对所述多个第二中间超特高压隔离开关图像进行数据增强，得到处理后的所述多个超特高压隔离开关图像。

[0092] 在具体的应用场景中，该构建模块401，还用于确定所述超特高压隔离开关数据集包括多个训练样本对；利用目标图像编码器ResNet对所述训练样本对对应的超特高压隔离开关图像进行特征提取，得到所述训练样本对对应的图像特征向量，以及利用目标文本编码器BERT将所述训练样本对对应的高相似度场景描述信息、边框坐标信息、分割掩码信息转化为第一文本嵌入向量，计算所述图像特征向量与所述第一文本嵌入向量的第一余弦相似度，若所述第一余弦相似度低于第一目标阈值，则将所述训练样本对从所述多个训练样本对中移除；和，利用所述目标图像编码器ResNet对所述训练样本对对应的超特高压隔离开关图像进行特征提取，得到所述训练样本对对应的图像特征向量，以及利用所述目标文本编码器BERT将所述训练样本对对应的缺失场景描述信息、边框坐标信息和分割掩码信息转化为第二文本嵌入向量，计算所述图像特征向量与所述第二文本嵌入向量的第二余弦相似度，若所述第二余弦相似度高于第二目标阈值，则将所述训练样本对从所述多个训练样本对中移除；获得所述中间超特高压隔离开关数据集。

[0093] 在具体的应用场景中，该训练模块402，还用于将所述超特高压隔离开关数据集划分为多个不相交的样本子集，从多个样本子集中选取一样本子集作为第一验证子集，将所述多个样本子集中除所述第一验证子集外的剩余样本子集作为第一训练子集，利用所述第一训练子集对所述视觉语言检测模型进行训练，更新模型参数，得到第一视觉语言检测模型，将所述第一验证子集输入所述第一视觉语言检测模型，得到第一描述文本集，从所述第一验证子集获取第一实际描述文本集，计算所述第一描述文本集和所述第一实际描述文本集之间的匹配度，继续从所述多个样本子集中选取另一样本子集作为第二验证子集，将所述多个样本子集中除所述第二验证子集外的剩余样本子集作为第二训练子集，重复执行上述操作，直至所述多个样本子集中所有样本子集完成交叉验证，得到多个匹配度，在所述多个匹配度中确定最大匹配度，将最大匹配度对应的视觉语言检测模型作为中间视觉语言检测模型；利用所述超特高压隔离开关数据集对所述中间视觉语言检测模型进行训练，更新模型参数，得到用于指示图像和语言之间交互关系的所述目标视觉语言检测模型。

[0094] 在具体的应用场景中，如图4B所示，该装置还包括：验证模块405。

[0095] 该验证模块405，用于获取所述当前超特高压隔离开关的实际运行状态，将所述实际运行状态与所述目标运行状态进行比对，得到比对结果；当所述比对结果指示所述实际运行状态与所述目标运行状态一致时，确定图像检测结果可靠；当所述比对结果指示所述实际运行状态与所述目标运行状态不一致时，确定所述图像检测结果不可靠，并生成用于指示图像检测结果不可靠的预警信息，并将所述预警信息发送至技术人员所持终端，以使所述技术人员基于所述终端在接受到所述预警信息时进行问题排查。

[0096] 本申请实施例提供的装置，通过构建模块构建图像与语言描述相结合的高质量多模态数据集，即目标超特高压隔离开关数据集，之后通过训练模块利用目标超特高压隔离开关数据集，对视觉语言检测模型进行训练，得到最优的目标视觉语言检测模型，由于目标超特高压隔离开关数据集包含了详尽的图像标注和灵活的语言描述，使得训练好的目标视觉语言检测模型能够精准识别隔离开关的各种状态，随后通过检测模块将当前超特高压隔离开关图像输入目标视觉语言检测模型，目标视觉语言检测模型可以精准识别出隔离开关的运行状态，输出目标描述文本，进而通过确定模块可以基于目标描述文本确定当前超特高压隔离开关的目标运行状态。

[0097] 需要说明的是，本发明实施例提供的一种超特高压隔离开关运行状态的确定装置所涉及各功能单元的其他相应描述，可以参考图1和图4A、4B中的对应描述，此处不再赘述。

[0098] 在示例性实施例中，本申请还提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的超特高压隔离开关运行状态的确定方法的步骤。

[0099] 所述计算机单元集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（ROM，Read‑Only Memory）、随机存取存储器（RAM，Random Access Memory）以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

[0100] 本申请还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的方法的步骤。

[0101] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD‑ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施场景所述的方法。

[0102] 本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本申请所必须的。

[0103] 本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

[0104] 上述本申请序号仅仅为了描述，不代表实施场景的优劣。

[0105] 以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

查看完整全部详细技术资料

当前第1页第1页第2页第3页