[0001] 本发明涉及无人机巡检技术领域，具体涉及一种多模态高仿真作训一体化平台设计与开发方法。

[0002] 随着信息时代的发展，电网电力作为时代运行的基石，其在人们日常生活中的方方面面，都变得越来越重要。变电站是电网电力系统中的核心场所，它的安全稳定运行是保证整个电力系统能够正常运作的依靠。

[0003] 在传统的变电站无人巡检维护中，所用设备多为地面机器人。地面巡检机器人虽然具备自主性，但其巡检的视角主要在地面及低空，对于高空中的设备仪器无法有效进行巡检，存在这视野盲区，无法完成变电站的区域全覆盖巡检。同时，地面机器人在有的场所是无法通过的，故无法及时掌握线路的所有缺陷和隐患。

[0004] 因为无人机巡检不仅具备具有良好的三维空间活动能力、低高空全方位视角，而且可以获取多视角高质量的精细巡检信息，实现对巡检地区的全方位覆盖与细节检查。故现今人们开始利用无人机在变电站协同地面机器人或者直接取代地面机器人进行巡检作业。但目前无人机部署到变电站自动巡检前需要大量的调试工作以达到良好的应用效果，调试工作具有极高的风险性，无法在对安全性要求极高的变电站真实环境中完成。同时，由于变电站的环境复杂性以及高安全性要求，人工操作风险和培训成本均过高。因此，需要开发相应的无人机巡检培训模拟器。但同样存在的问题是，现有无人机培训模拟器与真实变电站环境相比，感知维度缺失，操作人员从模拟器向真实环境做技能迁移时候存在巨大鸿沟。

[0005] 针对以上问题，本发明拟开发的多模态高仿真无人机精细巡检作训一体化平台，运用虚拟现实仿真技术打造出虚拟的变电站环境，根据模拟机的操作部位与虚拟环境开展互动，进而开展培训。模拟驾驶环境几乎完全克隆真实变电站环境，可以消除操作员的害怕心理状态，并且能及时规范操作员的操作。

[0031] 下面结合附图对本发明的一种优选实施方式作详细的说明。

[0032] 如图1所示，本发明具体流程如图1所示，包括如下步骤：

[0033] S1、无人机仿真器设计与人机交互模拟器设计；

[0034] S2、无人机操作员沉浸式培训。

[0035] 1.无人机仿真器设计与人机交互模拟器设计

[0036] 1.1无人机仿真器设计

[0037] 如图2所示，该部分的无人机仿真器设计主要由场景模拟、环境模拟、无人机传感器模拟、无人机动力学模拟四部分组成。

[0038] (1)场景模拟

[0039] 通过实地考察变电站并拍摄照片，建立精确的三维模型。基于高精地图的场景重建技术将高精地图的结构化的矢量图形再次进行3D渲染。其方法是将高精地图的每一种矢量图形建立一一对应的标准模型素材库，然后根据矢量图形的语义调用素材库中不同的资源进行重新渲染，即可完成对变电站场景的建立。

[0040] (2)环境模拟

[0041] 对环境的模拟包括对各种环境因素的模拟：

[0042] 风力模拟：风力是无人机飞行中重要的环境因素之一，风力模拟包括风向、风速和风场的变化等信息，通过在模拟器中引入风场模型，模拟无人机在不同风向和风速条件下的飞行行为以及对无人机的影响。

[0043] 温度模拟：温度对于无人机的性能和电池寿命等方面具有重要影响。温度模拟，可以模拟不同的温度条件，并考虑温度对电子元件、传感器和电池的影响，以更准确地评估无人机的性能和飞行时间。

[0044] 光照模拟：光照条件对于视觉传感器和摄像头的感知能力至关重要。光照模拟可以模拟不同时间和天气条件下的光照变化，以评估无人机在不同光照条件下的感知和导航能力。

[0045] 除了上述因素，还可以考虑其他环境因素的模拟，如湿度、大气压力等。通过在无人机模拟器中模拟环境因素，可以帮助开发者更好地理解无人机在不同环境条件下的行为，测试无人机的性能和鲁棒性，并进行算法和控制系统的优化和验证。

[0046] (3)无人机传感器模拟

[0047] 无人机传感器模拟是在无人机模拟器中模拟和模拟无人机所使用的各种传感器的功能和输出。无人机使用各种传感器来感知其周围环境和获取关键的飞行信息。常见的无人机传感器包括：

[0048] 惯性测量单元：包括加速度计和陀螺仪，用于测量无人机的线性加速度和角速度，以确定无人机的姿态和运动状态。

[0049] 光学传感器：包括摄像头和相机，用于获取图像、视频和视觉信息，进行目标识别、地图构建、避障等任务。

[0050] 距离测量传感器：例如超声波传感器、激光雷达和红外线传感器，用于测量无人机与周围物体的距离和障碍物检测。

[0051] 全球定位系统：用于确定无人机的位置和导航信息。

[0052] 气压传感器：用于测量大气压力，从而估计无人机的高度和海拔。

[0053] 磁力计：用于测量地球磁场，以辅助无人机的导航和定向。

[0054] 温度和湿度传感器：用于测量周围环境的温度和湿度。

[0055] 声纳传感器：用于在水中进行声音导航和测距。

[0056] 在无人机模拟器中，通过模拟这些传感器的工作原理和输出，可以模拟无人机在真实环境中的感知和反应。这使得开发者能够在无需实际飞行的条件下测试和验证无人机的感知算法、导航算法和控制系统。传感器模拟可以提供真实世界的数据，并模拟真实传感器的噪声、误差和不确定性。这对于无人机应用的开发、测试和训练非常有价值。

[0057] (4)无人机动力学模拟

[0058] 无人机动力学建模描述无人机运动行为，根据无人机的物理特性和环境参数来建立数学模型，以预测和控制无人机的运动行为。

[0059] 在无人机动力学建模中，一般包括以下几个方面：1)刚体动力学：考虑无人机作为刚体的运动行为，包括位置、姿态、线速度和角速度等。2)零件模型：考虑无人机的组成部分，如机体、旋翼、电机等的物理特性，以及它们之间的相互作用。3)飞行动力学：描述无人机在不同飞行阶段(如起飞、飞行、降落等)中的动力特性，如升力、阻力、推力等。4)控制系统：建立无人机的控制算法和控制器，以实现期望的运动行为。5)外部环境：考虑无人机在不同环境条件下的外部扰动，如风速、气压等。

[0060] 在进行无人机底层桨叶空气动力学建模时，需要考虑桨叶的几何形状、材料属性、旋转速度等因素，并结合空气动力学理论和实验数据进行分析和计算。通过有效的桨叶空气动力学建模，可以更好地理解无人机的飞行性能和控制特性，从而设计优化的桨叶和提高飞行效率。

[0061] 多旋翼无人机的动力全部来自于桨叶，单桨的受力情况如图4所示。令FT、FD、MR、MD分别代表其所受到的推力、空气阻力、滚转力矩与来自桨叶阻力的力矩。无人机的空气动力学方程公式如下表示：

[0062] FT＝ω2CT·ezB；

[0063]

[0064] MD＝‑∈CM·FT；

[0065] 其中ω、CT、CD、CR、CM分别代表桨叶角速度、推力系数、阻力系数、滚转力矩系数、桨叶力矩系数，均为正数。∈代表转子转向，+1为逆时针，‑1为顺时针。ezB为指向其体坐标系z轴正向的单位向量。 代表矢量vA在转子平面的投影。

[0066] 1.2人机交互模拟器

[0067] 人机交互模拟器旨在提供一个真实的操作体验，使操作员能够在虚拟环境中感受到与实际操作高度一致的反馈。该模拟器集成了多种交互技术，包括触觉反馈、语音交互、虚拟遥控等。触觉反馈装置可以模拟操作员在操控无人机时的手感和反作用力，使其更贴近真实的操作感受。语音交互系统通过自然语言处理技术，实现操作员与仿真系统之间的语音沟通，增强互动性。虚拟遥控器则可以仿真现实中的遥控设备，帮助操作员在虚拟环境中熟悉实际操作。

[0068] 人机交互模拟器还支持多种场景的切换和任务设置，操作员可以在不同的环境下进行训练，提高其适应能力和操作水平。此外，该模块还与无人机传感器模拟和动力学模拟相结合，实时反馈操作员的指令和无人机的响应情况，进一步增强仿真的真实感。这部分内容的引入，显著提升了无人机仿真器的交互性和沉浸感，为操作员提供了更为真实和有效的培训平台。

[0069] 2.无人机操作员沉浸式培训

[0070] 在多模态高仿真无人机精细巡检作训一体化平台对无人机操作员的沉浸式培训中，平台通过眼动追踪设备记录操作员的视觉注意力，并根据平滑性、能量、时间和碰撞代价等指标智能评估表现，提供反馈提升技能。高仿真可视化和考核功能则模拟真实巡检任务，提供实战化的操作体验和监控手段，确保任务的安全性和合规性。这一整合的系统不仅提高了操作员的培训质量，还为管理者提供了有效的监控工具。

[0071] (1)操作员视觉注意力

[0072] 为收集操作员视觉注意力，为操作员配备眼动追踪眼镜和遥控器，并对眼动仪进行校准。操作员在不同的轨道上进行了不用于实验的训练飞行和单独的飞行机动测试，同时在不同训练场景不同的预设任务中参加训练，目标是让飞行体验尽可能接近现实世界的无人机飞行。操作员在同一条轨道上重复操作无人机，并随着时间的推移提高单圈速度。操作员应当在尽可能短的时间内完成尽可能多的圈数，在不发生碰撞的的前提下飞得越快越好。如果操作员的无人机与障碍物发生碰撞，则提前终止此次飞行训练。

[0073] 操作员佩戴眼镜眼动追踪设备，以一定赫兹的频率录制眼部视频和世界视频，使用瞳孔捕获软件捕获原始凝视数据和眼睛校准数据，并保存到眼动追踪笔记本电脑的硬盘驱动器中。主眼运动被认为比非主眼运动更准确，故本方法采用了单眼追踪。由于操作员观看计算机显示器的距离固定，因此不需要来自立体追踪的信息。在培训开始时先进行眼动仪校准，在无人机比赛培训记录时每15分钟进行一次重新校准。校准过程包括两次重复瞳孔捕获软件内置校准程序。在灰色背景上，屏幕上的12个目标位置交替显示一个固定目标(即黑色圆点图案)，持续2秒，刺激间隔1秒。第二次校准运行用于验证第一次运行的校准质量，所有受试者校准运行的中位数验证精度为0.5度的视角。在培训过程中，操作员将头部保持在固定位置，避免触摸面部并保持面部肌肉放松，防止因为眼动仪的小位移导致校准质量下降。

[0074] (2)操作员表现智能打分

[0075] 对无人机操作员打分，在发现短板后给予纠正，辅助其快速提高操作技能。操作员表现智能打分主要从以下四个代价函数进行：

[0076] ①平滑性代价：多模态高仿真无人机精细巡检作训一体化平台中考虑无人机轨迹平滑性的设计，平滑性代价是评估操作员动作或操作无人机流畅度的指标，它可以用于衡量无人机的飞行轨迹或航迹段的变化程度或曲率，从而评估其平滑性。通过分析无人机的加速度变化情况，计算加速度的平方和的积分，能够有效地评估操作员的技能水平和操作效率。平滑性代价的数值越小说明无人机在飞行过程中的位置变化和速度变化越平滑、流畅，反之，数值越大则意味着飞行过程中的位置变化和速度变化越不平滑。平滑性代价公式如下：

[0077]

[0078] 其中x(t)表示无人机在时间t时刻的位置。

[0079] ②能量代价：能量代价是多模态高仿真无人机精细巡检作训一体化平台中的一个重要评估指标，用于度量无人机在执行任务时所消耗的能量。通过将无人机的飞行状态、环境条件和任务要求纳入能量消耗模型中，可以计算出特定飞行过程中的能量消耗量。通过设计合适的能量代价函数和优化算法，可以降低无人机的能量消耗、提高飞行效率和延长续航时间，为操作员提供更好的操作体验和训练效果。能量代价计算公式如下：

[0080] Cenergy＝∫P(t)dt；

[0081] 其中P(t)表示无人机在时间t的功率消耗。

[0082] ③时间代价：它用于衡量无人机在执行任务时所花费的时间。时间效率对于无人机任务来说至关重要，因为它直接关系着任务执行的效率和准时性。时间代价计算公式如下：

[0083] Crime＝Ttotal；

[0084] ④碰撞代价：碰撞代价是指在无人机巡检任务中，无人机与周围环境或物体碰撞的风险和潜在的损失。考虑碰撞代价能够帮助实时调整无人机的飞行路径和速度，以避免与障碍物发生碰撞。确保无人机在巡检过程中保持安全距离，并最大程度地减少碰撞风险。碰撞代价计算公式如下：

[0085]

[0086] 其中di表示无人机与第i个障碍物的距离。

[0087] 在设计过程中，可以将上述代价函数进行加权组合，以综合考虑多个因素的影响。权重的选择可以根据具体任务需求和操作员优先级进行调整。通过对操作员表现的智能打分，可以评估和比较不同操作员的表现，并通过微调代价函数来提高操作员的表现和训练效果。加权代价如下所示：

[0088] Ctotal＝wsmoothCsmooth+wenergyCenergy+wtimeCtime+wcollisionCcollision。

[0089] 其中的w是根据实际情况给定的权重值。

[0090] (3)高仿真可视化、考核与监管

[0091] 通过高仿真可视化和考核与监管功能的结合，用户可以在平台上进行实战化的训练和巡检模拟，同时实时监测和评估任务执行的细节和指标。这将提供一种全面的培训和评估手段，帮助用户提高巡检技能和执行能力。此外，监管部门和管理者也可以借助平台的监测和分析功能，对无人机巡检任务进行有效管理和监督。以下对其分别介绍。

[0092] 高仿真：平台将利用先进的仿真技术，创建一个高度逼真的无人机飞行环境。通过精心设计的场景和细节，模拟真实巡检任务中的各种情境，从而提供用户身临其境的体验。无人机的外观、飞行动力学、传感器数据等都将被精确模拟，使用户能够感受到真实巡检任务的可视化效果。

[0093] 可视化：平台将借助图形处理和数据可视化技术，将无人机的飞行和巡检过程以直观的方式展现给用户。通过逼真的场景渲染、实时数据显示和界面设计，用户可以清晰地观察到无人机的飞行路径、传感器数据、巡检结果等关键信息，从而更好地了解任务执行的情况。

[0094] 考核与监管：平台将提供一系列的考核和监管功能，用于评估和监控无人机巡检任务的执行质量和合规性。用户可以根据预设的标准和指标，对无人机的飞行轨迹、数据采集质量、任务完成情况等进行评估和分析。同时，系统也能够实时监测无人机的飞行状态、传感器数据，以及遵守的规定和措施，以确保任务的安全合规性。

[0095] 综上，本发明的多模态高仿真作训一体化平台相对于现有技术，具有以下优势：

[0096] 高逼真度虚拟环境：通过结合虚拟现实技术和多传感器仿真，创建了一个高度逼真的虚拟变电站环境，能够更真实地模拟实际的巡检场景。

[0097] 综合模拟模块：平台包括场景模拟、环境模拟、无人机传感器模拟和无人机动力学模拟四大核心模块，全面覆盖了无人机飞行和操作的各个方面，显著提升了仿真系统的真实性和可靠性。

[0098] 沉浸式培训系统：集成了操作员视觉注意力检测、智能打分系统和高仿真可视化功能，为操作员提供了一种全面的、沉浸式的培训体验，弥补了传统培训方法中的感知维度缺失和技能迁移鸿沟。

[0099] 对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

[0100] 此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。