[0001] 本实用新型涉及无人机应用技术领域，特别是涉及一种无人机地面全景操控系统。

[0002] 现有的地面全景操作系统大多只是单套操纵系统，缺少权限级别更高的第二套系统，以便于第一套系统的飞手操作失误时或者预测到无人机接下来的动作有危险时，由第
二套系统的飞手接管无人机操控，以持续保证飞行安全。并且，没有双人操控模式，使得在大中型无人机进行较为复杂操作时，飞手既要操控无人机又要进行任务操控，不利于飞行
安全和设备操控。

[0003] 因此，有必要开发一种多套控制系统的无人机地面全景控制系统，提高飞行和任务执行的安全性。
实用新型内容

[0004] 为了解决上述背景技术中提到的至少一个问题，本实用新型提供了一种无人机地面全景操控系统，具备多个控制系统，可以手动或自动进行控制权限的切换。

[0005] 为了达到上述目的，本实用新型的技术方案如下：

[0006] 本申请提供了一种无人机地面全景操控系统，包括：

[0007] 采集单元，所述采集单元采集所述无人机的飞行信息及环境信息；

[0008] 全景显示单元，所述全景显示单元与所述采集单元通信连接，所述全景显示单元接收所述环境信息并显示；

[0009] 多个控制系统，至少包括第一控制系统及第二控制系统，所述第一控制系统及第二控制系统均可控制无人机的飞行，所述第二控制系统根据飞行任务的不同加载有不同的
任务模块，所述第二控制系统的控制权限等级高于所述第一控制系统；

[0010] 切换单元，所述切换单元在所述多个控制系统之间切换控制权限。

[0011] 在其中一个实施例中，所述控制系统还包括控制单元，所述切换单元包括权限获取模块，当多个所述控制系统同时输入控制指令时，所述权限获取模块获取控制权限等级
最高的控制系统，所述控制单元执行所述控制权限等级最高的控制系统的控制指令。

[0012] 在其中一个实施例中，所述采集单元包括多个摄像头及传感器，所述摄像头分别设置在所述无人机的各个方向，所述飞行信息包括无人机飞行的高度、速度、风速、姿态及障碍物距离，所述环境信息包括周围环境的视频图像。

[0013] 在其中一个实施例中，还包括数据传输单元、数据处理单元及告警单元，所述采集单元与所述数据传输单元通信连接，所述数据传输单元与所述数据处理单元通信连接，所述数据处理单元包括判断单元，所述判断单元与所述告警单元通信连接，当超出安全飞行
限制时，所述告警单元发出告警。

[0014] 在其中一个实施例中，所述告警单元包括黄色告警模块及红色告警模块，当采集的所述飞行信息超过预设第一安全范围时，所述黄色告警模块发出告警，当所述飞行信息
超出预设第二安全范围时，所述红色告警模块发出告警。

[0015] 在其中一个实施例中，当黄色告警模块发出告警时，所述权限获取模块获取控制权限等级最高的控制系统，所述控制单元执行所述控制系统的控制指令；当红色告警模块
发出告警时，所述切换单元将无人机切换至自主驾驶模式。

[0016] 在其中一个实施例中，所述全景显示单元包括显示设备及九轴传感器，所述显示设备与所述采集单元通信连接，所述九轴传感器与所述显示设备通信连接，所述九轴传感
器探测头部位置信息输入所述显示设备，进而所述显示设备根据所述头部位置信息显示所
述采集单元采集到的相应方向的视频图像。

[0017] 在其中一个实施例中，还包括飞控单元，所述控制单元与所述数据传输单元输入端通信连接，所述数据传输单元输出端与所述飞控单元通信连接，所述控制单元发送控制
信号输入所述飞控单元，进而所述飞控单元控制无人机的飞行。

[0018] 在其中一个实施例中，所述控制单元包括驾驶杆及油门杆，所述驾驶杆输出信号控制无人机的飞行，所述油门杆输出信号调节无人机的电机输出功率。

[0019] 在其中一个实施例中，所述显示设备包括语音交互模块及信息显示模块，所述语音交互模块及所述信息显示模块分别与所述数据处理单元通信连接。

[0020] 本方案的有益效果：多个控制系统，互为备份，提高了系统可靠性；多个控制系统分别具有不同的控制权限等级，可以由经验丰富的飞手或者教练员担任权限高的控制系统，实时指导第一控制系统的操作，也可以在必要时接管无人机的飞行控制；第二控制系统和其他多个系统都具备单独的任务模块，便于根据不同的任务加载不同的设备操作模块，
也可以同时加载不同的任务模块，由多个操作人员在同一个架次飞行任务中同时执行一个
复杂的任务；将飞行控制操作和任务操作分开，分别由不同的地面全景操控系统执行，提高飞行和任务执行的安全性。

[0023] 为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

[0024] 需要说明的是，本实施例中所提供的图示仅以示意方式说明本实用新型的基本构想，遂图式中仅显示与本实用新型中有关的组件而非按照实际实施时的组件数目、形状及
尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

[0025] 本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本实用新型可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本实用新型所能产生的功效及所能达成的目的下，均应仍落在本实用新型所揭示的技术内容得能涵盖的范围内。

[0026] 本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”、“纵向”、“横向”、“水平”、“内”、“外”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，亦仅为了便于简化叙述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。

[0027] 下面，参照图1和图2，详细描述根据本实用新型的可选实施方式。

[0028] 本实施例提供了一种无人机地面全景操控系统，包括：采集单元，采集单元采集无人机的飞行信息及环境信息；全景显示单元，全景显示单元与采集单元通信连接，全景显示单元接收环境信息并显示；多个控制系统，至少包括第一控制系统及第二控制系统，第一控制系统及第二控制系统均可控制无人机的飞行，第二控制系统根据飞行任务的不同加载有不同的任务模块，第二控制系统的控制权限等级高于第一控制系统；切换单元，切换单元在多个控制系统之间切换控制权限。

[0029] 应说明的是，由于现有的全景系统大多是单人操作，没有双人操控模式，在大中型无人机进行较为复杂操作时，飞手既要操控无人机，又要进行任务操控，不利于飞行安全和设备操控，因此本系统设置有多个控制系统，分别具有不同的控制权限等级，所有控制系统共享无人机的飞行状态数据信息以及和地面站之间的传输数据，并互为备份，以便于在其中一个控制系统出现故障或操作人员认为必要等情况时，切断当前控制系统对无人机的控
制权限，由其他一个或多个控制系统接管控制权限持续提供服务。并且，控制权限在多个控制系统之间的切换可以是手动切换也可以是自动切换。

[0030] 参照图1，示例性地，本系统共有n个控制系统，n为正整数，其中1#系统为第一控制系统，主要负责无人机的飞行控制，2#系统、3#系统……n#系统的控制权限等级均高于1#系统，当n个控制系统同时接入时，2#系统作为第二控制系统的控制权限等级最高，随后依次递减。1#系统以外的其他控制系统主要功能为任务系统，除了具备无人机的飞行控制以外，还可以根据执行的不同任务而加载不同的任务模块，设备操作人员可以通过任务模块输出控制指令，进而操作无人机上的相应设备。例如，教练员可以加载训练系统，用来评价第一控制系统的飞手的飞行质量，以便于对训练结果做出科学评判；电力巡检任务可以加载巡
检设备；航拍测绘挂载航拍测绘相关设备。多个控制系统之间设有通信设备可以互相沟通
交流，以便于教练员与学员之间的指导培训，或者设备操作人员与飞手以及不同设备操作
人员之间的沟通和交流。

[0031] 进一步的，当一个中大型无人机挂载有多个不同的设备，需要在同一个架次飞行中操作多台设备，从而执行一个复杂的任务，这时可以加载不同设备的任务模块，由多个设备操作人员在多个控制系统中操作不同的设备共同完成同一个复杂的任务。

[0032] 基于上述基础方案，本实施例工作原理如下，采集单元采集无人机的飞行信息以及环境信息并传输至地面站进行相应的图像处理、信息交互、通信处理等数据交互、计算、处理的工作，全景显示单元接收处理后的环境信息，对无人机回传的视频进行全景视角的
展示，扩大视野范围，提高了沉浸效果和实战氛围；飞手根据显示的全景视频通过控制单元发出控制指令，控制无人机的飞行动作，有助于飞手熟悉真实环境，提高对无人机控制的准确度，获得良好的人机功效。在无人机飞行过程中，多套控制系统互为备份，第二控制系统和其他多套系统都具备单独的任务模块，便于根据不同的任务加载不同的设备操作模块，
也可以同时加载不同的任务模块，由多个操作人员在同一个架次飞行任务中同时执行一个
复杂的任务，当第一控制系统出现故障或操作人员认为必要等情况时，可以切换至其余控
制系统，提升系统的稳定性。

[0033] 在一些实施例中，控制系统还包括控制单元，切换单元包括权限获取模块，当多个控制系统同时输入控制指令时，权限获取模块获取控制权限等级最高的控制系统，控制单元执行控制权限等级最高的控制系统的控制指令。

[0034] 本实施例中，控制权限等级更高的控制系统具有手动切换的开关。示例性地，作为主动切换控制权限的一种情形，当无人机正常飞行，需要同时操作多台设备以完成复杂任务时，第二控制系统以及其他控制系统分别加载了相应的任务模块，此时第二控制系统以
及其他控制系统和第一控制系统同时具备操控无人机的控制权限，但是由于第二控制系统
的控制权限等级最高，因此在多个控制系统同时输入控制指令时，切换单元将无人机的控
制权限转交给第二控制系统，进而控制单元执行第二控制系统的指令，实现对控制权限的
手动切换。

[0035] 进一步的，多个控制系统之间除了手动切换以外，控制权限还可以实现自动切换。示例性地，当无人机的飞行状态出现极限状态，或者进入危险的环境(例如风切变、冰雨层等)，或者和障碍物相撞等情形时，此时第一控制系统的控制权限自动被取消，其余的控制系统同时拥有无人机的控制权限，如果多个控制系统此时同时进行操作，由于第二控制系
统的控制权限等级最高，因此切换单元将无人机的控制权限转交给第二控制系统，实现控
制权限的自动切换。

[0036] 在一些实施例中，采集单元包括多个摄像头及传感器，摄像头分别设置在无人机本体的各个方向，飞行信息包括无人机飞行的高度、速度、风速、姿态及障碍物距离，环境信息包括周围环境的视频图像。

[0037] 本实施例中，通过采集单元中的摄像头拍摄的全景视角的视频图像，由数据传输单元传输至全景显示单元，由全景显示单元进行全景视角的视频显示，从而使得用户能够
以更大的视野去观测无人机拍摄到的场景，提升用户的沉浸感和真实感，由此，使得用户根据全景视频通过控制单元输出的控制指令更加精准，人机交互效率提高。

[0038] 本实施例中，为了配合显示设备实现全景的视频显示，无人机上携带的摄像头所获取到的视频图像需要是全景视角的视频图像。示例性地，可以在无人机本体的上下左右
前后六个方向分别安装摄像机，用于采集周围环境的场景画面传递至地面站中，然后通过
显示设备显示相应方向的画面，也可以将获得的不同方向的视频图像进行融合处理得到全
景视角的视频图像。或者，也可以在无人机本体上设置360度全景相机(可以是2D相机或3D
相机)，从而可以直接拍摄得到全景视角的视频图像。在获取3D的视频图像后，再通过全景显示单元以融合的三维场景的形式显示出来，进一步地提高沉浸体验。

[0039] 在一些实施例中，还包括数据传输单元、数据处理单元及告警单元，采集单元与数据传输单元通信连接，数据传输单元与数据处理单元通信连接，数据处理单元包括判断单元，判断单元与告警单元通信连接，当超出安全飞行限制时，告警单元发出告警。

[0040] 应说明的是，安全飞行限制包括但不限于无人机飞行的高度、速度、风速、姿态和与障碍物的距离等影响无人机安全驾驶中的至少一种。

[0041] 具体地，告警单元包括黄色告警模块及红色告警模块，当采集的飞行信息超过预设第一安全范围时，黄色告警模块发出告警，当飞行信息超出预设第二安全范围时，红色告警模块发出告警。

[0042] 本实施例中，告警单元内置两套告警模式，分别为黄色告警模式和红色告警模式，两种告警模式的触发由无人机的飞行状态决定，可以触发的因素包括但不限于无人机飞行的高度、速度、风速、姿态和与障碍物的距离等影响无人机安全驾驶中的至少一种，第一安全范围以及第二安全范围的设置可以根据飞行任务的不同，在飞行前由教练员或飞行主管
人员提前设置好。

[0043] 示例性地，可以根据飞行任务的不同，预先设置最佳的飞行状态参数范围，如高度、速度、风速、姿态、障碍物距等飞行参数。例如，完成此次飞行任务需要的高度范围为
50m‑100m，则可以在飞行前将最佳飞行高度范围设置为50m‑100m，或者将距离任务需要高度范围边界值一定差值的范围作为最佳飞行高度范围，例如30m‑120m，当采集单元采集的飞行信息超出此范围时发出黄色告警，使得飞手尽量维持在最佳飞行状态执行飞行任务。
以此类推，在飞行前完成此次飞行任务所需要的最佳速度范围、姿态范围以及最佳障碍物
距离等参数，这些参数共同组成了第一安全范围，在飞行中如果无人机相关飞行数据中的
至少一种超过预设第一安全范围，则黄色告警模块发出告警。

[0044] 类似地，可以根据无人机的性能将无人机的极限飞行参数值作为第二安全范围，如高度、速度、风速、姿态、障碍物距等飞行参数。例如，某无人机飞行高度上限为1000m，超出则会因为失速产生坠机风险，因此可以将飞行极限高度设为1000m，或者将距离飞行高度上限一定差值的范围作为飞行极限高度，例如800m，当采集单元采集的飞行信息超出此范
围时发出红色告警。以此类推，在飞行前完成该无人机飞行极限的速度范围、姿态范围以及最佳障碍物距离等参数，这些参数共同组成了第二安全范围，在飞行中如果无人机相关飞
行数据中的至少一种超过预设第二安全范围，则红色告警模块发出告警，对飞手做出危险
提示，此时应当立即做出相应的应对措施例如降低飞行速度或高度，或者避开障碍物防止
相撞等。

[0045] 在一些实施例中，当黄色告警模块发出告警时，权限获取模块获取控制权限等级最高的控制系统，控制单元执行控制系统的控制指令；当红色告警模块发出告警时，切换单元将无人机切换至自主驾驶模式。

[0046] 具体地，当黄色告警模块发出告警时，第一控制系统的控制权限自动被取消，其余的控制系统同时拥有无人机的控制权限，如果多个控制系统此时同时进行操作，则获取其中控制权限等级最高的控制系统，并执行该控制系统输出的控制指令，如果无人机的飞行
信息回到第一安全范围，脱离黄色告警范围，则恢复第一控制系统的控制权限；当红色告警模块发出告警时，无人机切断所有系统操作权限，采取自主飞行模式，对危险情况进行规避飞行，直至回到第二安全飞行范围内，红色告警消失。

[0047] 在一些实施例中，全景显示单元包括显示设备九轴传感器，显示设备与采集单元通信连接，九轴传感器与显示设备通信连接，九轴传感器探测头部位置信息输入显示设备，进而显示设备根据头部位置信息显示采集单元采集到的相应的视频图像。

[0048] 本实施例中，采用头戴式显示设备(例如VR眼镜)来显示无人机周边环境的视频图像，头戴式显示设备内置九轴传感器等定位设备，用于采集用户的头部位置信息传输至数
据处理单元，并由数据处理单元根据采集单元采集的全景视角的视频图像与用户的头部位
置信息进行匹配，根据用户头部的转向以及角度提供相应视角的无人机视频画面，当头部
面向正前方时，显示无人机正前方外界画面，头部面向左侧时，显示无人机左侧外界画面，依次类推，头戴式显示设备根据头部的转向和角度来显示无人机相应方位和角度的外界画
面。

[0049] 需要注意的是，本实施例中虽然采用的是头戴式显示设备，但也可以采用幕布或显示屏进行全景视角的视频显示。示例性地，可以将多块幕布或显示屏通过拼接形成一个
球体形状，将不同方向的视频图像进行融合处理后得到的全景视频进行投影，从而实现360度的视频显示，为飞手提供无死角的观测视野。

[0050] 在一些实施例中，判断单元与采集单元通信连接，全景显示单元与告警单元输出端通信连接，显示告警单元输出的信息。

[0051] 在一些实施例中，还包括飞控单元，控制单元与数据传输单元输入端通信连接，数据传输单元输出端与飞控单元通信连接，控制单元发送控制信号输入飞控单元，进而飞控单元控制无人机的飞行。

[0052] 在一些实施例中，控制单元包括驾驶杆及油门杆，驾驶杆输出信号控制无人机的飞行，油门杆输出信号调节无人机的电机输出功率。

[0053] 本实施例中，飞手通过操控驾驶杆及油门杆，触发对应的控制指令发送至数据传输单元，由数据传输单元将其发送至无人机，进而控制飞控单元，使无人机根据对应的控制指令进行动作，完成对无人机的远端控制，以提升人机工效。

[0054] 进一步的，还可以设置操纵负荷机构表示用来模拟驾驶员所感觉到的操纵力，通过模拟真实杆力，使得用户在操控对应的驾驶杆及油门杆等设备时，能够感受到在有人机
中进行控制的真实杆力，进一步提高实景模拟水平。

[0055] 在一些实施例中，显示设备包括语音交互模块，语音交互模块与数据处理单元通信连接。

[0056] 示例性地，操作人员说“当前高度多少？”，显示设备采集语音信息并传递至数据处理单元，经由数据处理单元处理分析并得出反馈结果后，将数据传递至显示设备并语音播报出当前高度数值。同样的，操作人员还可以通过语音交互模块输入控制指令，以语音交互的方式要求空速，航向，发动机/电机信息，大气温度，电调功率或者发动机转速，电机温度/滑油温度等无人机飞行数据和状态数据的播报。

[0057] 在一些实施例中，显示设备还包括信息显示模块，信息显示模块与数据处理单元输出端通信连接，显示无人机的飞行信息。当操作人员通过语音交互模块进行相关信息的
播报时，显示设备的画面中也同时显示语音播报内容，几秒钟后播报内容自动消失。

[0058] 本实施例中，采集单元采集的飞行信息经过数据处理单元进行数据处理后可以通过信息显示模块进行显示。示例性地，当头部面向正前方时，头戴式显示设备除了显示无人机正前方外界画面外，还在画面上叠加姿态、高度、空速、航向等飞行数据信息，其中姿态显示用上蓝下黄的天地球的方式显示，高度、空速用垂直带状方式显示，其余飞行数据、发动机/电机/电调等信息用数据直接显示；当头部转向其他方位(非正前方)时，所有信息均通
过数据直接显示在画面的上边缘和下边缘。

[0059] 基于上述方案，采集单元采集无人机的飞行信息以及环境信息并传输至地面站的数据传输单元，全景显示单元接收处理后的环境信息，对无人机回传的视频进行全景视场
角的展示，扩大了视野范围，提高了沉浸效果和实战氛围；飞手根据显示的全景视频通过控制单元发出控制指令，控制无人机的飞行动作，有助于飞手熟悉真实环境，提高对无人机控制的准确度，获得良好的人机功效。同时，本系统具备多个控制系统，多个控制系统之间可以手动或自动进行切换，其中，第一控制系统及第二控制系统均可控制无人机的飞行，第二控制系统以及其他控制系统除了具备无人机的飞行控制外，还可以根据执行的不同任务而
加载不同的任务模块，进而设备操作人员通过任务模块输出控制指令，操作无人机上相应
的设备，多个设备操作人员在多个控制系统中操作不同的设备可以共同完成同一个复杂的
任务。数据处理单元还根据采集单元采集的飞行信息监控无人机的飞行状态，当判断单元
判断超出无人机安全飞行限制时，告警单元发出告警；当发出黄色告警时，比较所有接收到的控制指令，获取控制权限等级最高的控制系统，执行该系统的控制指令；当发出红色告警时，无人机切换至自动驾驶模式进行避障。

[0060] 本实施例基于上述方案具有如下效果：

[0061] 1)有多套控制系统，互为备份，提高系统可靠性；

[0062] 2)系统不同等级的飞行权限的设置，使得可以由经验丰富的飞手或者教练员担任权限高的控制系统，可以实时指导第一套系统的操作，也可以在必要时接管无人机的飞行
控制；

[0063] 3)第二套和其他多套系统都具备单独的任务模块，便于根据不同的任务加载不同的设备操作模块，也可以同时加载不同的任务模块，由多个操作人员在同一个架次飞行任
务中同时执行一个复杂的任务；

[0064] 4)将飞行控制操作和任务操作分开，分别由不同的地面全景操控系统执行，提高飞行和任务执行的安全性；

[0065] 5)全景视角的视频显示极大的提高无人机地面操作人员的飞行代入感，有利于提高注意力，减少人为差错；

[0066] 6)更加全面、准确、及时的掌握无人机飞行前后左右上下6个方位的周边环境，更加科学的判断当前的飞行状态，提高飞行操作的质量；

[0067] 7)语音交互可以进一步的减轻操作人员手动操作的负担，使双手可以更加专注于驾驶杆和油门杆的操作，减少人为差错的可能性。

[0068] 以上详细描述了本实用新型的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本实用新型的构思作出诸多修改和变化。因此，凡本技术领
域中技术人员依本实用新型的构思在现有技术的基础上通过逻辑分析、推理或者有限的实
验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。