具体技术细节
[0009] 本发明提供一种基于多层神经网络的智能避障、目的地降落无人机,以解决无人机在飞行过程中碰撞静态与动态障碍物的问题,提高了导航和操作能力。采用多层神经网络技术,无人机实时感知环境,通过DQN、PPO等算法迅速规避障碍物,提高了避障效率和可靠性。技术使无人机能够准确识别和定位目标地点,实现智能、平稳的降落,降低了误差和风险。此外,无人机的自主性和智能化程度高,减少了人工操控需求,节省了人力资源成本,提高了任务执行经济效益。
[0010] 本发明提出了一种基于多层神经网络的智能无人机方案。通过结合Convolutional Neural Network(CNN)卷积网络、Deep Q‑network(DQN)、Proximal Policy Optimization(PPO)、Faster‑Region based Convolutional Neural Network(Faster‑RCNN)以及You Only Look once(YOLO)、Mask‑Region based Convolutional Neural
Network(Mask‑RCNN)等技术,实现智能避障、目标寻找和精确降落功能。这一创新性的智能化设计将大大提升无人机在复杂环境下的自主飞行能力,为无人机的安全飞行和高效任务执行打下坚实基础。
[0011] 本发明的目的至少通过如下技术方案之一实现。
[0012] 一种基于多层神经网络的智能避障、目的地降落无人机,包括驱动模块、作业模块、控制模块以及框架模块;
[0013] 所述驱动模块包括电池装置、旋翼和马达装置,其中,电池装置提供无人机所需的持续电力支持;旋翼和马达装置用于产生飞行动力,使无人机能够在空中飞行;
[0014] 所述作业模块包括相机云台、相机、图传装置和LED显示屏,其中,相机云台以及相机用于拍摄图像和录制视频;图传装置用于通过无线通信传输相机图像;LED显示屏用于提供状态和信息显示;
[0015] 所述控制模块包括位置传输接口、多媒体接口、内存卡卡槽、电源传输接口和北斗GPS装置,其中,位置传输接口实时接收和传输无人机的定位信息;多媒体接口用于数据交互和存储;内存卡卡槽用于存储数据;电源传输接口连接电池装置,传输电力给各个模块和组件;北斗GPS装置提供定位和导航功能;
[0016] 框架模块包括无人机支脚、无人机底盘和无人机框架,无人机支脚以及无人机底盘作为整个无人机的基础结构,无人机框架结合无人机支脚和无人机底盘,构成飞行平台,用于承载驱动模块、作业模块和控制模块。
[0017] 进一步地,相机云台、相机、多媒体接口、内存卡卡槽、图传装置、位置传输接口和北斗GPS装置构成无人机搭载的深度学习目的地降落系统;
[0018] 深度学习目的地降落系统中,位于相机云台上面的相机获取图像信息,获取的图像信息通过图传装置传递到远程计算机;
[0019] 北斗GPS装置实时获取无人机的位置信息,位置传输接口实时接收无人机的定位信息并传输到远程计算机;
[0020] 内存卡卡槽中安装内存卡,用于存储图像信息和无人机的位置信息;
[0021] 远程计算机根据接收的图像信息和无人机的实时定位信息,进行图像特征分析,实现路径规划和目标定位,并发送控制信息至多媒体接口,多媒体接口连接相机云台、相机、图传装置、LED显示屏和马达装置,传输接收到的控制信息。
[0022] 进一步地,远程计算机通过多媒体接口发送控制信息至马达装置,通过控制和调节马达装置的功率大小,对旋翼进行操控,使无人机相应地调整自身的姿态、位置以及速度;在无人机降落时,调节旋翼的转速来控制无人机的高度和下降速度。
[0023] 进一步地,远程计算机通过多媒体接口发送控制信息至相机云台和相机,在飞行过程中,控制位于相机云台上面的相机实时记录无人机周围的图像信息,图像信息中包括避障所需的深度图信息,在降落过程中,控制相机实时拍摄地面图像信息。
[0024] 进一步地,远程计算机中,构造智能避障、目的地降落无人机的运动模型,所述运动模型包括三层神经网络;
[0025] 第一层神经网络采用实现智能避障能力的算法,实时感知无人机装置飞行过程周围的环境,检测静态物体并实现无人机与周围静态障碍物的避让;
[0026] 第二层神经网络采用实现智能避障能力以及动态物体检测和移动速率计算的算法,实时感知无人机装置飞行过程周围的环境,检测动态物体,判断动态物体的移动路径,进而实现无人机与周围动态障碍物的避让;
[0027] 第三层神经网络采用实现目标寻找和跟踪的算法,结合第一层神经网络和第二层神经网络,实现无人机降落或跟随移动物体的功能。
[0028] 智能避障、目的地降落无人机的运动模型采用的神经网络包括YOLO卷积网络、Faster‑RCNN卷积网络以及DQN神经网络,实现无人机在空中多种动作的选择,通过YOLO和Faster‑RCNN卷积网络感知周围环境,识别目标并检测目标状态,同时通过DQN神经网络做出智能决策。
[0029] 第一层神经网络中,采用用于无人机的静态物体避障算法,首先使用CNN卷积网络进行环境感知,通过对传感器数据或者摄像头图像进行分析,获取关键特征和静态物体的位置信息。随后,这些有价值的信息被传递至DQN神经网络,这个深度强化学习模型能够制定出最合适的避障动作,确保无人机在复杂的环境中安全穿越。随着不断地在仿真环境中进行训练和优化,CNN卷积网络和DQN神经网络逐渐增强了其感知和决策能力,从而使得无人机在真实环境中避障的性能和准确性持续提高。这种持续的学习和优化过程使得无人机能够更加高效地规避静态物体,避免碰撞,保证了飞行过程的安全和可靠性。
[0030] 第二层神经网络中,采用用于无人机的动态物体避障算法,该算法使用CNN卷积网络和PPO神经网络,实现无人机在空中多种动作的选择,以防止碰撞移动中的物体。在该方法中,首先通过CNN卷积网络进行环境感知,它能够接收环境的动态物体移动轨迹及信息,并从中提取关键特征,包括周围动态物体的位置、速度等信息。这样,无人机能够实时感知周围环境中移动的物体,为后续的避障决策提供准确的输入。接着,将环境感知结果传入PPO神经网络中。PPO神经网络是一种用于强化学习的算法,能够学习到最优的动作策略。在这里,PPO网络根据环境感知结果,生成多种动作选择策略,以使无人机能够避开动态物体,确保飞行过程中不会发生碰撞。整个方法的核心是不断地在仿真环境中训练和优化CNN卷积网络和PPO神经网络。通过的模拟飞行实验,无人机逐渐积累经验并优化决策策略,从而在真实环境中具备更好的动态物体避障能力。
[0031] 第三层神经网络中,采用用于无人机的目标寻找算法,该算法使用YOLO卷积网络、Faster‑RCNN卷积网络以及DQN神经网络,实现无人机在空中多种动作的选择,使其能够寻找到自己对应的目标,并且检测目标的状态。此方法中采用YOLO卷积网络和Faster‑RCNN卷积网络进行目标检测和定位。这两种卷积网络能够对无人机周围的环境进行快速而准确的目标检测,包括寻找目标的位置和边界框。通过这种环境感知,无人机能够获得关于目标的重要信息,为后续的目标寻找和动作选择奠定基础。接着,将这些目标检测结果传输至DQN神经网络中。DQN神经网络是一种强化学习模型,用于学习无人机的动作决策。在这里,DQN神经网络能够根据目标检测结果,生成多种动作选择策略,使无人机能够寻找到自己对应的目标,并且根据目标的状态做出相应的动作,以实现更精确的目标定位和跟踪。
[0032] 第三层神经网络中,采用用于无人机的智能降落算法,该算法使用You Only Look Once(YOLO)卷积网络、Mask‑RCNN卷积网络以及Deep Q‑network(DQN)神经网络,实现无人机在空中多种动作的选择,使其能够寻找到自己对应的目标,并且检测目标的状态。同时,该方法还能够检测物体是否在移动的状态,并且计算物体的移动速率和方向,以确保无人机可以降落到指定地点。在该算法中,首先采用YOLO卷积网络和Mask‑RCNN卷积网络进行目标检测和定位。这两种卷积网络能够对无人机周围的环境进行快速而准确的目标检测,包括寻找目标的位置、边界框以及物体的实例分割。通过这种环境感知,无人机能够获得关于目标的重要信息,为后续的目标寻找和动作选择奠定基础。接着,将这些目标检测结果传输至DQN神经网络中。DQN网络是一种强化学习模型,用于学习无人机的动作决策。在这里,DQN网络能够根据目标检测结果和物体的移动状态,生成多种动作选择策略,使无人机能够寻找到自己对应的目标,并且根据目标的状态和移动信息做出相应的动作,以实现更精确的目标定位和跟踪。
[0033] 进一步地,在飞行过程中,远程计算机根据相机实时记录的无人机周围的图像信息以及无人机的实时定位信息,通过《2021UAV Path Planning Based on Multi‑Layer Reinforcement Learning Technique》中所提出的两层RL算法规划无碰撞路径,使所述智能避障、目的地降落无人机在飞行过程中避免与障碍物碰撞。
[0034] 进一步地,图传装置传输深度图信息到远程计算机,远程计算机通过《2021_Vision Based Drone Obstacle Avoidance by Deep Reinforcement Learning》(AI
2021,2(3),366‑380)中所提出的深度图避障算法使得所述智能避障、目的地降落无人机能够在训练环境中仅通过输入深度图来避开障碍物;
[0035] 飞行过程中,远程计算机根据相机实时记录的无人机周围的图像信息以及无人机的实时定位信息,使得所述智能避障、目的地降落无人机实现智能避障、目的地降落的功能。
[0036] 进一步地,框架模块中,无人机支脚设置在无人机底盘两侧,无人机框架覆盖于无人机底盘上方,与无人机底盘和无人机支脚连接并固定,构成飞行平台;
[0037] 电池装置、马达装置、图传装置、位置传输接口、多媒体接口、内存卡卡槽、电源传输接口和北斗GPS装置均设置在无人机底盘上;
[0038] 相机云台和旋翼设置于无人机框架上,LED显示屏设置于无人机框架中,相机设置于相机云台上。
[0039] 进一步地,图传装置通过电缆连接到相机,确保数据传输的稳定和可靠性;
[0040] 同时,图传装置还通过多媒体接口与内存卡卡槽相连,将图像信息写入内存卡中进行存储。
[0041] 进一步地,在降落过程中,无人机支脚和无人机底盘与地面紧密接触,为无人机提供稳定的支撑。
[0042] 相比于现有技术,本发明的优点在于:
[0043] 智能避障能力:本发明通过应用YOLO和Faster‑RCNN卷积网络,该无人机装置能够在飞行过程中实时感知环境,准确检测静态和动态物体,并基于检测结果做出智能决策,以避免与障碍物发生碰撞,确保无人机在复杂环境中安全飞行;
[0044] 目标寻找和跟踪:本发明利用YOLO和Faster‑RCNN卷积网络的目标检测能力,该装置能够准确寻找和定位无人机所需的目标。同时,通过DQN神经网络进行强化学习,使无人机能够智能地跟踪目标,根据目标的状态做出相应动作,实现目标的精确定位和追踪;
[0045] 动态物体检测和移动速率计算:本发明利用YOLO和Faster‑RCNN卷积网络检测环境中的动态物体,并通过计算物体的移动速率和方向,有效判断目标是否在移动,进一步优化无人机的避障和跟踪策略,对飞行进行矫正;
[0046] 智能降落功能:结合上述智能避障、目标寻找和跟踪技术,该无人机装置能够实现智能降落功能。在复杂环境下还是目标追踪过程中,无人机都能精确地降落到指定地点,提高降落准确性和安全性。
法律保护范围
涉及权利要求数量10:其中独权1项,从权-1项
1.一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,包括驱动模块、作业模块、控制模块以及框架模块;
所述驱动模块包括电池装置(3)、旋翼(4)和马达装置(5),其中,电池装置(3)提供无人机所需的持续电力支持;旋翼(4)和马达装置(5)用于产生飞行动力,使无人机能够在空中飞行;
所述作业模块包括相机云台(1)、相机(2)、图传装置(9)和LED显示屏(13),其中,相机云台(1)以及相机(2)用于拍摄图像和录制视频;图传装置(9)用于通过无线通信传输相机图像;LED显示屏(13)用于提供状态和信息显示;
所述控制模块包括位置传输接口(6)、多媒体接口(7)、内存卡卡槽(8)、电源传输接口(14)和北斗GPS装置(15),其中,位置传输接口(6)实时接收和传输无人机的定位信息;多媒体接口(7)用于数据交互和存储;内存卡卡槽(8)用于存储数据;电源传输接口(14)连接电池装置(3),传输电力给各个模块和组件;北斗GPS装置(15)提供定位和导航功能;
框架模块包括无人机支脚(10)、无人机底盘(11)和无人机框架(12),无人机支脚(10)以及无人机底盘(11)作为整个无人机的基础结构,无人机框架(12)结合无人机支脚(10)和无人机底盘(11),构成飞行平台,用于承载驱动模块、作业模块和控制模块。
2.根据权利要求1所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,相机云台(1)、相机(2)、多媒体接口(7)、内存卡卡槽(8)、图传装置(9)、位置传输接口(6)和北斗GPS装置(15)构成无人机搭载的深度学习目的地降落系统;
深度学习目的地降落系统中,位于相机云台(1)上面的相机(2)获取图像信息,获取的图像信息通过图传装置(9)传递到远程计算机;
北斗GPS装置(15)实时获取无人机的位置信息,位置传输接口(6)实时接收无人机的定位信息并传输到远程计算机;
内存卡卡槽(8)中安装内存卡,用于存储图像信息和无人机的位置信息;
远程计算机根据接收的图像信息和无人机的实时定位信息,进行图像特征分析,实现路径规划和目标定位,并发送控制信息至多媒体接口(7),多媒体接口(7)连接相机云台(1)、相机(2)、图传装置(9)、LED显示屏(13)和马达装置(5),传输接收到的控制信息。
3.根据权利要求2所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,远程计算机通过多媒体接口(7)发送控制信息至马达装置(5),通过控制和调节马达装置(5)的功率大小,对旋翼(4)进行操控,使无人机相应地调整自身的姿态、位置以及速度;在无人机降落时,调节旋翼(4)的转速来控制无人机的高度和下降速度。
4.根据权利要求2所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,远程计算机通过多媒体接口(7)发送控制信息至相机云台(1)和相机(2),在飞行过程中,控制位于相机云台(1)上面的相机(2)实时记录无人机周围的图像信息,图像信息中包括避障所需的深度图信息,在降落过程中,控制相机(2)实时拍摄地面图像信息。
5.根据权利要求4所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,远程计算机中,构造智能避障、目的地降落无人机的运动模型,所述运动模型包括三层神经网络;
第一层神经网络采用实现智能避障能力的算法,实时感知无人机装置飞行过程周围的环境,检测静态物体并实现无人机与周围静态障碍物的避让;
第二层神经网络采用实现智能避障能力以及动态物体检测和移动速率计算的算法,实时感知无人机装置飞行过程周围的环境,检测动态物体,判断动态物体的移动路径,进而实现无人机与周围动态障碍物的避让;
第三层神经网络采用实现目标寻找和跟踪的算法,结合第一层神经网络和第二层神经网络,实现无人机降落或跟随移动物体的功能。
6.根据权利要求5所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,在飞行过程中,远程计算机根据相机(2)实时记录的无人机周围的图像信息以及无人机的实时定位信息,通过《2021UAV Path Planning Based on Multi‑Layer Reinforcement Learning Technique》中所提出的两层RL算法规划无碰撞路径,使所述智能避障、目的地降落无人机在飞行过程中避免与障碍物碰撞。
7.根据权利要求5所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,图传装置(9)传输深度图信息到远程计算机,远程计算机通过《2021_Vision Based Drone Obstacle Avoidance by Deep Reinforcement Learning》中所提出的深度图避障算法使得所述智能避障、目的地降落无人机能够在训练环境中仅通过输入深度图来避开障碍物;
飞行过程中,远程计算机根据相机(2)实时记录的无人机周围的图像信息以及无人机的实时定位信息,使得所述智能避障、目的地降落无人机实现智能避障、目的地降落的功能。
8.根据权利要求1所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,框架模块中,无人机支脚(10)设置在无人机底盘(11)两侧,无人机框架(12)覆盖于无人机底盘(11)上方,与无人机底盘(11)和无人机支脚(10)连接并固定,构成飞行平台;
电池装置(3)、马达装置(5)、图传装置(9)、位置传输接口(6)、多媒体接口(7)、内存卡卡槽(8)、电源传输接口(14)和北斗GPS装置(15)均设置在无人机底盘(11)上;
相机云台(1)和旋翼(4)设置于无人机框架(12)上,LED显示屏(13)设置于无人机框架(12)中,相机(2)设置于相机云台(1)上。
9.根据权利要求1所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,图传装置(9)通过电缆连接到相机(2),确保数据传输的稳定和可靠性;
同时,图传装置(9)还通过多媒体接口(7)与内存卡卡槽(8)相连,将图像信息写入内存卡中进行存储。
10.根据权利要求8所述的一种基于多层神经网络的智能避障、目的地降落无人机,其特征在于,在降落过程中,无人机支脚(10)和无人机底盘(11)与地面紧密接触,为无人机提供支撑。