技术领域
[0001] 本公开涉及设备控制技术领域,具体而言,涉及一种设备移动控制方法、车辆、计算机设备及存储介质。
相关背景技术
[0002] 随着智能化技术水平的提升,出现了各种自主移动的设备,比如物流机器人、人形机器人、机器狗、扫地机器人,以及具有自动驾驶功能的智能车辆等。这些设备从产线下线后,需要进行各种场景的测试,由于设备的自主定位功能,可以在测试场景下进行一定的自主移动。例如,自动驾驶车辆依靠自带的传感器,可以实现在封闭道路测试场景、城区道路测试场景、停车场测试场景、工厂测试场景等多种场景中运行。
[0003] 由于在一些测试场景下环境复杂,上述设备的自主移动能力通常无法满足这些复杂环境下对于移动安全性、灵活性等的需求,比如,目前车辆的自动驾驶技术通常无法满足工厂测试场景下对自动驾驶级别的要求,尤其无法很好地应对车辆在工厂内运行时发生的异常情况。
[0004] 因此,如何控制自动移动设备在复杂测试场景下的正常运行是值得关注的问题。
具体实施方式
[0067] 为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
[0068] 经研究发现,对于一些自主移动设备在从产线下线后,需要进行各种场景的测试。但是,由于某些测试场景环境复杂,设备的自主移动能力通常无法满足这些复杂环境下对于设备移动安全性、灵活性等的需求。
[0069] 比如,自动驾驶车辆中的传感器以及车辆中的域控设备支持的驾驶级别通常为L2辅助驾驶级别(Level 2Driving Assistance)或者L2+辅助驾驶级别,未达到工厂测试场景要求的L4辅助驾驶级别。另外,工厂环境与其他环境差异较大,目前的自动驾驶车辆无法很好地应对在工厂内运行时发生的异常情况。
[0070] 基于此,本公开提供了一种设备移动控制方法,一方面,能够自主移动的设备(例如自动驾驶车辆)可以根据云端下发的行为描述信息以及自身感知的周围环境信息,实现自主控制;另一方面,在设备的移动过程中,设备可以对云端下发的紧急控制指令响应,实现依据云端的场景感知和监控,对异常情况给出行为决策和规划,本公开通过设备的自主控制和云端远程制动结合的方式,提高了设备在其所在环境内正常运行的能力;另外,行为描述信息和紧急控制指令是云端基于部署在设备所在环境的各个感知设备采集的环境数据生成的,如此,形成了设备所在环境端、设备端、云端三方协同配合的控制方式,从而在设备在其所在环境内移动的过程中,设备能够及时应对异常情况的发生,保障了设备在其所在环境内的正常运行。
[0071] 针对以上方案所存在的缺陷以及所提出的解决方案,均是发明人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案,都应该是发明人在本公开过程中对本公开做出的贡献。
[0072] 应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
[0073] 为便于对本实施例进行理解,首先对本公开实施例所公开的一种设备移动控制方法进行详细介绍,本公开实施例所提供的设备移动控制方法的执行主体一般为具有一定计算能力的计算机设备。
[0074] 本公开实施例提供的设备移动控制方法可以应用于能够自主移动的设备、设备所在环境、云服务器三端协同控制设备在其所在环境中移动的场景,例如,可以应用于能够自主移动的设备(例如自动驾驶车辆)、工厂、云服务器三端协同控制设备在工厂环境中移动的场景(例如工厂测试场景)。上述设备可以包括车辆、物流机器人、机器狗、扫地机器人等任何可以实现自主移动的设备。以下实施例中,主要以设备为具备自动驾驶能力能够自主移动的车辆为例进行介绍。
[0075] 参见图1所示,为本公开实施例提供的一种设备移动控制方法的流程图,所述方法应用于能够自主移动的设备,如车辆,具体可以包括S101~S103,其中:
[0076] S101:获取云端下发的行为描述信息;所述行为描述信息用于描述所述设备需要到达的至少一个目标地点的信息;
[0077] S102:基于所述行为描述信息,以及所述设备感知的周围环境信息,控制所述设备移动至所述至少一个目标地点;
[0078] S103:在所述设备的移动过程中,接收云端下发的紧急控制指令,并对所述紧急控制指令进行响应;所述行为描述信息和所述紧急控制指令为所述云端基于部署在所述设备所在环境中的各个感知设备采集的环境数据生成的。
[0079] 在本公开实施例中,上述设备中部署有感知设备以及处理器。
[0080] 上述感知设备,例如可以包括激光雷达、摄像头、毫米波雷达和超声波雷达等。在本公开实施例中,对设备中部署的感知设备的数量和类型可以不做具体限制。设备中部署的感知设备能够感知周围环境信息。
[0081] 上述处理器能够基于感知设备感知的周围环境信息可以生成移动指令,实现在其所在环境内的自主移动。处理器还能够接收云服务器下发的紧急控制指令,并对设备进行制动。处理器还能够接收云服务器的其它指令,例如前进、后退、靠边停车、左轮转预设角度后前进、右轮转预设角度后前进、停止等待等指令。
[0082] 上述设备所在环境中也部署有感知设备,例如常规的高清摄像机、有深度信息的双目相机、红外相机、激光雷达、毫米波雷达等传感器设备。在本公开实施例中,对设备所在环境中部署的感知设备的数量和类型可以不做具体限制。
[0083] 上述感知设备,可以采集设备所在环境中的环境数据,并将采集到的环境数据上传至云端。环境数据可以包括各个设备的移动数据、设备所在环境中的障碍物信息等。环境数据可以用于云端对各个设备的移动状态进行监控,以及对设备进行紧急制动等。
[0084] 云端能够接收设备所在环境中的感知设备上传的环境数据,也能够接收设备上传的移动数据。云端根据设备上传的移动数据和设备所在环境中的感知设备上传的环境数据,可以对各个设备的移动状态、设备的质量状况等进行监控。云端还可以根据设备所在环境中的感知设备上传的环境数据,生成用于描述设备需要到达的至少一个目标地点的信息,也可以生成用于对设备进行制动的紧急控制指令,还可以生成用于控制设备的其它指令。
[0085] 在本公开实施例中,行为描述信息可以包括设备需要到达的至少一个目标地点的地点标识信息、地点位置、如何到达目标地点需要执行的行为的描述信息、到达目标地点后需要执行的目标行为的描述信息等信息中的至少一种。其中,地点标识信息可以包括设备所在环境中的工位标识、测试环节标识、驳运入库的位置标识等。地点位置可以是世界坐标系中的位置信息,具体可以用经纬度表示,也可以用长度单位表示。
[0086] 在一种实施方式中,行为描述信息采用自然语言描述。基于行为描述信息,以及设备感知的周围环境信息,控制设备移动至至少一个目标地点,包括:对行为描述信息进行自然语言理解,将行为描述信息解析为可执行的控制指令;根据控制指令和设备感知的周围环境信息,控制设备移动。
[0087] 在上述实施方式中,如何到达目标地点需要执行的行为的描述信息,可以是采用自然语言描述的。例如在限速XX公里/小时情况下,直行约XX米,右前方存在YY对象位于XX米距离的情况下,停止前行,移动过程中不允许自主避障;在限速XX公里/小时情况下,直行约XX米,当右前方的操作人员的手势检测为预定义的停止手势时,在XX秒停止,移动过程中不允许自主避障,如果遇到障碍物请停车等待并提醒,如果长时间等待超过XX秒,向云端发送通知消息;在限速XX公里/小时情况下,直行约XX米,当右前方的操作人员的语音识别结果为停止时,在XX秒停止。这里需要理解的是:XX为根据实际情况设置的具体数值。
[0088] 到达目标地点后需要执行的目标行为的描述信息,也可以是采用自然语言描述的。例如,停止XX秒,等待触发运行;又如,请根据操作人员的语音要求进行操作。
[0089] 在获取到云端下发的行为描述信息之后,设备需要对行为描述信息进行解析。这里,可以采用传统的自然语言理解的方法,即根据预定义的规则集对行为描述信息进行解析和处理,也可以是基于大语言模型的方法解析行为描述信息。在本公开实施例中,对行为描述信息进行自然语言理解的方法可以不做具体限定。
[0090] 通过对行为描述信息进行自然语言理解,可以得到可执行的控制指令。
[0091] 在上述实施方式中,通过采用自然语言描述行为描述信息,不仅便于对行为描述信息进行解析,而且便于后续对行为描述信息进行扩展和修改,即不需要每次增加或者修改行为描述信息时,要在云端侧和设备侧进行指令名称的约定。
[0092] 在一种实施方式中,行为描述信息中包括到达目标地点后需要执行的目标行为的描述信息的情况下,所述方法还包括:在到达目标地点后,基于目标行为的描述信息,执行目标行为。这里,目标行为与目标地点对应的要求相关。
[0093] 设备对行为描述信息进行解析,可以确定出行为描述信息中包括的到达目标地点后需要执行的目标行为。在到达目标地点后,可以执行与目标地点对应的目标行为。设备对上述行为描述信息的解析过程可以发生在设备到达目标地点之前,也可以发生在设备到达目标地点之后。
[0094] 通过上述实施方式,可以实现设备在到达目标地点后,在自主控制的方式下执行目标行为。
[0095] 在本公开实施例中,设备可以通过下载的方式获取云端下发的行为描述信息。在一种实施方式中,设备可以从云端下载导航地图。导航地图中可以包括行为描述信息。
[0096] 在一种实施方式中,导航地图中的行为描述信息可以是多条并行的。比如从一条路段的A点到B点,可能包含室外场景、测试场景、维修场景等。导航地图中的行为描述信息可以包含不同场景下的移动策略。设备在进行周围环境感知、路径规划和移动控制的过程中,可以根据不同的感知场景,选择对应的移动策略。
[0097] 在一种实施方式中,行为描述信息中可以包括针对多种感知场景分别对应的移动策略;不同的感知场景对应的移动策略不同。
[0098] 也即,基于行为描述信息,以及设备感知的周围环境信息,控制设备移动至至少一个目标地点,包括:基于设备感知的周围环境信息,确定当前所处的目标感知场景;目标感知场景属于多种感知场景中的一种;根据行为描述信息指示的针对目标感知场景的目标移动策略,控制设备移动。
[0099] 在上述实施方式中,感知场景的类型可以是根据设备所在环境中的障碍物信息等确定的。设备所在环境中可能存在障碍物,障碍物可以包括不同的类型,例如动态障碍物、静态障碍物等。感知场景的类型可以是根据障碍物的类型确定的。示例性的,比如在障碍物为动态障碍物的情况下,感知场景的类型可以为动态障碍物感知场景;在障碍物为静态障碍物的情况下,感知场景的类型可以为静态障碍物感知场景。
[0100] 设备可以根据感知的周围环境信息中是否包含障碍物以及障碍物的类型,确定目标感知场景。设备可以对行为描述信息进行解析,进而确定出与目标感知场景的类型对应的目标移动策略。
[0101] 比如,确定的目标感知场景为动态障碍物感知场景的情况下,可以确定与该感知场景的类型对应的目标移动策略为:前方存在动态障碍物位于XX米距离的情况下,停止前行,移动过程中不允许自主避障。
[0102] 又如,确定的目标感知场景为静态障碍物感知场景的情况下,可以确定与该感知场景的类型对应的目标移动策略为:遇到障碍物请停车等待并提醒,如果长时间等待超过XX秒,向云端发送通知消息。
[0103] 感知场景的类型也可以是根据设备所在环境的环境类型确定的。环境类型例如可以包括室外场景、测试场景等。示例性的,环境类型为室外场景的情况下,感知场景的类型可以为室外感知场景;环境类型为测试场景的情况下,感知场景的类型可以为测试感知场景。
[0104] 设备可以根据感知的周围环境信息,确定设备所在环境的目标环境类型,然后确定与目标环境类型对应的目标感知场景。设备可以对行为描述信息进行解析,进而确定出与目标感知场景的类型对应的目标移动策略。
[0105] 比如,确定的目标感知场景为室外感知场景的情况下,可以确定与该感知场景的类型对应的目标移动策略为:在限速XX公里/小时情况下,按照XX公里/小时的速度移动,移动过程中不允许自主避障,如果遇到障碍物请停车等待并提醒,如果长时间等待超过XX秒,向云端发送通知消息。
[0106] 又如,确定的目标感知场景为测试场景的情况下,可以确定与该感知场景的类型对应的目标移动策略为:在限速XX公里/小时情况下,直行约XX米,当右前方的操作人员的手势检测为预定义的停止手势时,在XX秒停止,当右前方的操作人员的手势检测为预定义的启动手势时,在XX秒启动并继续移动。
[0107] 感知场景的类型还可以是根据设备所在环境的其他特征确定的,这里可以不做具体限定。
[0108] 通过上述实施方式,设备在进行周围环境感知、路径规划和移动控制的过程中,可以根据不同的感知场景,选择对应的移动策略,实现设备的自主控制。
[0109] 在一种实施方式中,所述方法还包括:在设备到达目标地点之后,执行目标地点的工作人员的操作指令;其中,操作指令为语音指令、手势指令或者利用遥控设备发出的遥控指令中的至少一种。
[0110] 在设备到达目标地点之后,可以根据行为描述信息,开启工作人员的手势识别或语音识别。
[0111] 例如,行为描述信息中包括:根据操作人员的手势来停止车辆运行或者启动车辆运行,此时可以开启工作人员的手势识别。开启工作人员的手势识别之后,设备可以执行接收到的工作人员的手势指令。
[0112] 又如,行为描述信息中包括:根据语音识别结果来停止车辆运行或者启动车辆运行,此时可以开启工作人员的语音识别。开启工作人员的语言识别之后,设备可以执行接收到的工作人员的语言指令。
[0113] 在设备到达目标地点之后,设备还可以接收并执行目标地点的工作人员的利用遥控设备发出的遥控指令。
[0114] 通过上述实施方式,在设备到达目标地点之后,实现了可以在人为控制与自主控制结合的方式下执行相应的动作。
[0115] 在其他实施方式中,在操作指令为语音指令的情况下,在接收到语音指令之后,可以识别语音指令的目标声纹信息;根据目标声纹信息,以及预先存储的各操作工位的工作人员声纹信息,确定语音指令是否来自目标地点对应的工位工作人员;若是,则执行该语音指令。
[0116] 在具体实施中,可以定义如下语音指令:请停车、请启动离开工位、请缓慢向前移动XX米,请缓慢向后移动XX米,请调整角度XX度等。
[0117] 在其他实施方式中,在操作指令为手势指令的情况下,确定识别到的目标手势类型;目标手势类型属于预先定义的多种手势类型中的一种,不同手势类型对应不同的手势指令;执行目标手势类型对应的手势指令。
[0118] 在具体实施中,可以根据实际需求定义手势指令。
[0119] 在进一步的实施方式中,不同类型的操作指令可以结合使用。例如简单的操作可以采用手势指令,复杂的操作可以采用语音指令。
[0120] 在具体实施中,如果工作人员的操作指令超过了预定义的指令范畴后,可以向工作人员发出提醒消息或者由设备上报云端。
[0121] 通过上述实施方式,在一定程度上提高了设备在人为控制过程中的安全性。
[0122] 设备在移动过程中,可能会遇到障碍物。针对遇到障碍物的情况,可以结合云端的远程制动方式,对设备采取相应的避障措施,或者,设备也可以自主避障。
[0123] 针对遇到障碍物的情况,可以结合云端的远程制动方式,对设备采取相应的避障措施,具体的:
[0124] 在一种实施方式中,在基于周围环境信息,确定设备的移动方向上存在障碍物的情况下,控制设备停止移动并等待;响应于到达设定等待时长后障碍物未被移除,向云端发送障碍提醒信息;接收云端基于障碍提醒信息下发的第一指令;第一指令用于控制设备继续等待直至障碍物被移除,或者用于控制设备按照云端重新规划的路线移动,或者用于控制设备移动至云端重新规划的目标地点。
[0125] 在上述实施方式中,设备的移动方向上存在障碍物的情况下,设备不进行自主避障,而是停车等待。
[0126] 这里可以设置等待时长,如果到达设定等待时长后,障碍物未被移除,设备可以向云端发送障碍提醒信息。障碍提醒信息中可以包括障碍物信息。障碍提醒信息可以用于提醒云端向设备发送进行避障的指令。
[0127] 云端基于障碍提醒信息下发的第一指令可以用于控制设备继续等待直至障碍物被移除。在接收到该第一指令后,设备可以继续等待直至障碍物被移除。
[0128] 或者,云端基于障碍提醒信息下发的第一指令用于控制设备按照云端重新规划的路线移动。这种情况下,第一指令中可以包括云端重新规划的其它路线。在接收到该第一指令后,设备将按照云端重新规划的其它路线移动。
[0129] 或者,云端基于障碍提醒信息下发的第一指令用于控制设备移动至云端重新规划的目标地点。这种情况下,第一指令中可以包括云端重新规划的目标地点。在接收到该第一指令后,设备将按照云端重新规划的目标地点移动至目标地点。
[0130] 在一种实施方式中,行为描述信息可以包括目标地点的到达顺序。在第一指令用于控制设备移动至云端重新规划的目标地点的情况下,方法还包括:在设备到达云端重新规划的目标地点后,控制设备按照行为描述信息中包括的多个目标地点的到达顺序依次到达剩余未到达的目标地点;或者,在设备到达云端重新规划的目标地点后,控制设备按照第一指令指示的重新规划的到达顺序依次到达剩余未到达的目标地点。
[0131] 在上述实施方式中,正常情况下,设备可以按照行为描述信息包括的目标地点的到达顺序到达各个目标地点。而在云端重新规划的目标地点的情况下,设备到达云端重新规划的目标地点后,原来各个目标地点的到达顺序被打乱。这种情况下,在一种方式中,可以控制设备按照行为描述信息中包括的多个目标地点的到达顺序依次到达剩余未到达的目标地点。即,对于剩余未到达的目标地点,可以控制设备按照行为描述信息中包括的多个目标地点的到达顺序依次到达。在一种方式中,可以控制设备按照第一指令指示的重新规划的到达顺序依次到达剩余未到达的目标地点。即第一指令中可以包括云端重新规划的到达顺序,设备可以不再按照原来各个目标地点的到达顺序移动,而是可以按照第一指令指示的重新规划的到达顺序依次到达剩余未到达的目标地点。
[0132] 通过上述实施方式,在设备遇到障碍物的情况,通过云端的远程制动的方式,控制设备采取相应的避障措施,提高了设备在其所在环境内正常运行的能力。
[0133] 针对遇到障碍物的情况,设备可以自主避障,具体的:
[0134] 在一种实施方式中,在设备的移动过程中,所述方法还包括:在基于周围环境信息,确定设备的移动方向上存在障碍物的情况下,控制设备自主避障;若设备基于避障需求重新规划了移动路线,则向云端发送该重新规划的移动路线;在接收到云端针对重新规划的移动路线的确认信息后,控制设备按照重新规划的移动路线移动。
[0135] 在上述实施方式中,在移动方向上存在障碍物的情况下,设备可以重新规划移动路线,重新规划的移动路线可以发送至云端。在云端确认后,可以控制设备按照重新规划的移动路线移动。
[0136] 通过上述实施方式,在设备遇到障碍物的情况,设备重新规划了移动路线,保障了设备在自主控制的方式下,在其所在环境内的正常运行。
[0137] 参见图2所示,为本公开实施例提供的另一种设备移动控制方法的流程图,所述方法应用于云服务器,具体可以包括S201~S203,其中:
[0138] S201:获取部署在设备所在环境内的各个感知设备采集的环境数据。
[0139] S202:基于所述环境数据,为所述设备生成行为描述信息,并将所述行为描述信息下发给所述设备。
[0140] S203:在所述设备移动的过程中,根据获取的所述环境数据确定是否需要对所述设备进行紧急控制,并在确定需要对设备进行紧急控制时,向所述设备下发紧急控制指令。
[0141] 在本公开实施例中,部署在设备所在环境内的各个感知设备可以实时采集设备所在环境内的全场景环境数据。
[0142] 部署在设备所在环境内的各个感知设备可以将采集的环境数据发送给云端。云服务器在获取环境数据时,还可以获取各个感知设备的内参信息和外参信息。
[0143] 云服务器获取到各个感知设备采集的环境数据后,接下来可以根据环境数据,为设备生成行为描述信息。
[0144] 在本公开实施例中,可以先基于单个感知设备采集的场景数据,对设备进行检测和跟踪得到检测结果,然后对单个感知设备对应的检测结果进行融合,最后基于融合后的检测结果,为设备生成行为描述信息;也可以先对各个感知设备采集的场景数据进行融合得到融合特征,然后基于融合特征对设备进行检测和跟踪得到检测结果,最后基于得到的检测结果,为设备生成行为描述信息。
[0145] 具体的,在一种实施方式中,获取部署在设备所在环境内的各个感知设备采集的环境数据,包括:获取部署在设备所在环境内的各个感知设备分别采集的场景数据,将各个感知设备分别采集的场景数据的合集作为环境数据。
[0146] 基于环境数据,为设备生成行为描述信息,包括:基于各个感知设备分别采集的场景数据,确定单个感知设备检测结果;单个感知设备检测结果指示采用单个感知设备采集的场景数据,对设备所在环境内的移动对象进行跟踪和轨迹预测的结果;将各个感知设备分别对应的单个感知设备检测结果进行融合,确定设备所在环境内的检测结果;检测结果指示对设备所在环境内各个移动对象进行跟踪和轨迹预测的结果;基于检测结果和设备所在环境的静态环境数据,为设备生成行为描述信息。
[0147] 即,在上述实施方式中,可以采用单个感知设备采集的场景数据,对设备所在环境内的移动对象进行跟踪和轨迹预测,得到单个感知设备检测结果。然后,对各个感知设备分别对应的单个感知设备检测结果进行融合,得到融合后的检测结果,即设备所在环境内的检测结果。
[0148] 其中,移动对象可以包括该设备、其它设备、以及其他动态对象(例如工作人员)等。比如以设备为车辆为例,移动对象可以包括当前车辆、其他车辆、行人等。
[0149] 在一种实施方式中,获取部署在设备所在环境内的各个感知设备采集的环境数据,包括:获取部署在设备所在环境内的各个感知设备分别采集的场景数据,对各个感知设备分别采集的场景数据进行特征融合,得到融合后的鸟瞰视图特征,将鸟瞰视图特征作为环境数据。
[0150] 基于环境数据,为设备生成行为描述信息,包括:基于鸟瞰视图特征,确定设备所在环境内的检测结果;检测结果指示对设备所在环境内各个移动对象进行跟踪和轨迹预测的结果;基于检测结果和设备所在环境的静态环境数据,为设备生成行为描述信息。
[0151] 即,在上述实施方式中,可以对各个感知设备分别采集的场景数据进行特征融合,得到融合后的鸟瞰视图特征。然后,对鸟瞰视图特征进行检测,得到对设备所在环境内各个移动对象进行跟踪和轨迹预测的结果。
[0152] 在具体实施中,可以对各个感知设备分别采集的场景数据进行特征提取,得到各个感知设备对应的特征。然后对各个感知设备对应的特征进行特征融合,得到融合后的鸟瞰视图特征。
[0153] 可以使用交叉注意力机制将鸟瞰视图特征与透视视角(Perspective View,PV)下的相机图像特征、激光雷达特征或者毫米波雷达特征进行关联,得到待解码的全场景鸟瞰视图特征。对待解码的全场景鸟瞰视图特征解码后,可以得到设备所在环境内各个移动对象的跟踪和轨迹预测结果。
[0154] 在前述两种实施方式中,设备所在环境内的检测结果中可以包括设备所在环境内各个移动对象进行跟踪和轨迹预测的结果,具体可以包括各个移动对象的跟踪结果和轨迹预测结果。各个移动对象的跟踪结果可以用于确定各个时刻下各个移动对象的速度、加速度等信息。结合各个移动对象的跟踪结果和轨迹预测结果,可以生成避免碰撞的轨迹路线。
[0155] 各个移动对象的轨迹预测结果可以用于进行碰撞测试,以确定各个移动对象的轨迹有无重合或者交叉。
[0156] 当各个移动对象的预测轨迹发生碰撞时,云服务器可以进行预警。同时,可以根据各个移动对象的预测轨迹,判断各个设备的轨迹中是否存在异常轨迹路段。异常轨迹路段可以为重合轨迹路段或交叉轨迹路段。
[0157] 若存在,可以对异常轨迹路段进行调整,得到各个设备对应的调整后轨迹。并根据各个移动对象的预测轨迹,判断各个设备的调整后轨迹中是否仍然存在异常轨迹路段。若仍然存在,则可以对发生碰撞的设备中速度最大或者异常轨迹路段最长的目标设备,下发紧急制动指令。
[0158] 在一种实施方式中,还可以基于其他设备上传的感知数据,为设备生成行为描述信息。基于环境数据,为设备生成行为描述信息,包括:基于环境数据,以及位于设备所在环境内的各个其他设备上传的感知数据,为设备生成行为描述信息。
[0159] 其他设备上传的感知数据即其他设备通过其自带的感知设备采集到的环境数据。
[0160] 在本公开实施例中,可以采用异常检测模型的方式监测设备所在环境中是否存在影响设备移动的异常情况,进而确定是否需要对设备进行紧急控制。
[0161] 通过上述实施方式,结合部署在设备所在环境内的各个感知设备采集的环境数据,以及位于设备所在环境内的各个其他设备上传的感知数据,可以生成更加准确的行为描述信息。
[0162] 在一种实施方式中,在设备移动的过程中,根据获取的环境数据确定是否需要对设备进行紧急控制,并在确定需要对设备进行紧急控制时,向设备下发紧急控制指令,包括:在设备移动的过程中,将获取的环境数据输入异常检测模型,预测是否存在影响设备移动的异常情况,以及存在的异常情况对应的异常类型和异常位置;在预测存在异常情况时,根据异常类型和异常位置,生成紧急控制指令,并向设备下发紧急控制指令。
[0163] 在上述实施方式中,可以利用设备中的感知设备采集到的包含异常情况的环境数据,以及设备所在环境中部署的感知设备采集到的包含异常情况的环境数据,训练异常检测模型。训练好的异常检测模型可以用于对设备所在环境中移动的设备进行异常情况的检测,确定存在的异常情况对应的异常类型和异常位置。
[0164] 其中,异常情况对应的异常类型可以包括设备发生拥堵、即将发生碰撞等。
[0165] 根据所述异常类型和异常位置生成的紧急控制指令,可以包括用于控制设备提速、停车等待、绕路等的指令。这里对紧急控制指令的具体内容可以不做具体限定。
[0166] 通过上述实施方式,利用异常检测模型对设备进行异常情况的检测,可以得到更加准确的异常类型和异常位置,从而可以针对异常情况及时生成更加准确的紧急控制指令,从而在设备在其所在环境内移动的过程中,设备能够及时应对异常情况的发生,保障了设备在其所在环境内的正常运行。
[0167] 在本公开实施例中,云服务器向设备下发紧急控制指令可以采用自然语言的方式描述。
[0168] 在一种实施方式中,云服务器可以获取各个设备发送的移动控制信息。云服务器可以根据各个设备发送的移动控制信息、以及基于设备所在环境中的各个感知设备采集的环境数据确定的各个设备的移动状态信息。云服务器可以比较各个设备的移动控制信息,以及移动状态信息,确定各个设备的控制能力信息。根据各个设备的控制能力信息,可以确定异常设备。
[0169] 上述移动控制信息可以包括设备的规划路径、移动策略等信息。移动控制信息可以是设备基于行为描述信息和感知的周围环境信息确定的。
[0170] 移动状态信息中可以包括设备的移动轨迹和加减速信息。
[0171] 控制能力信息中可以包括响应速度、加减速的波动性。控制能力信息用于表征设备的自动控制实施能力。
[0172] 设备的环境感知能力和自动控制实施能力,具体可以是通过端端感知模型与传统的规划控制(Planning and Control,PNC)结合的方式实现的,或者通过感知模型与PNC模型结合的方式实现的,或者通过端端到规划模型与车辆控制方法结合的方式实现的,或者通过端端模型与视觉语言大模型结合的方式实现的,这里可以不做具体限定。
[0173] 在一种实施方式中,云服务器可以获取各检测工位对设备的检测结果以及设备在各检测工位的状态信息。根据各检测工位对设备的检测结果以及设备在各检测工位的状态信息,确定异常设备。
[0174] 各检测工位对设备的检测结果用于表征设备的质量状况信息。设备在各检测工位的状态信息,例如档位信息、位姿信息、噪声信息、异响、急加速信息和紧急制动信息等。
[0175] 根据各检测工位对设备的检测结果以及设备在各检测工位的状态信息,可以确定各检测工位对应的检测结果的均值和方差。其中,均值与各检测工位提供的预定义均值的差值,可以反映各个检测结果的偏差情况。方差也可以反映设备的质量一致性和稳定性。根据各检测工位对应的检测结果的均值和方差,可以确定异常设备。
[0176] 本公开实施例提供的又一种设备移动控制方法的流程图,如图3所示。本公开实施例提供的设备移动控制方法应用于车辆、工厂、云服务器三端协同控制车辆在工厂环境中运行的工厂测试场景。
[0177] 在本公开实施例中,车辆获取到云端下发的行为描述信息后,可以基于行为描述信息,以及车辆感知的周围环境信息,控制车辆行驶到至少一个目标地点。工厂可以将部署在工厂内的各个感知设备采集的环境数据上传至云端。云端可以基于工厂内的各个感知设备采集的环境数据生成行为描述信息和紧急控制指令,并将行为描述信息发送至车辆,以实现车辆的自主控制,以及在车辆移动的过程中,在确定需要对车辆进行紧急控制时,向车辆下发紧急控制指令。同时可以基于车辆感知的周围环境数据,对车辆状态进行检测。
[0178] 上述实施方式的具体过程可以参照前文的描述,这里不再赘述。
[0179] 本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0180] 本公开实施例还提供一种车辆,该车辆包括:控制器,控制器可以包括:存储器,用于存储机器可读指令;处理器,用于调用并执行所述存储器存储的所述机器可读指令,以实现上述设备移动控制方法的步骤。
[0181] 基于同一技术构思,本公开实施例还提供了一种计算机设备。参照图4所示,为本公开实施例提供的计算机设备400的结构示意图,包括处理器401、存储器402、和总线403。其中,存储器402用于存储执行指令,包括内存4021和外部存储器4022;这里的内存4021也称内存储器,用于暂时存放处理器401中的运算数据,以及与硬盘等外部存储器4022交换的数据,处理器401通过内存4021与外部存储器4022进行数据交换,当计算机设备400运行时,处理器401与存储器402之间通过总线403通信,使得处理器401在执行以下指令:
[0182] 获取云端下发的行为描述信息;所述行为描述信息用于描述所述设备需要到达的至少一个目标地点的信息;
[0183] 基于所述行为描述信息,以及所述设备感知的周围环境信息,控制所述设备移动至所述至少一个目标地点;
[0184] 其中,在所述设备的移动过程中,接收云端下发的紧急控制指令,并对所述紧急控制指令进行响应;所述行为描述信息和所述紧急控制指令为所述云端基于部署在所述设备所在环境中的各个感知设备采集的环境数据生成的。
[0185] 或者,当计算机设备400运行时,处理器401与存储器402之间通过总线403通信,使得处理器401在执行以下指令:
[0186] 获取部署在设备所在环境内的各个感知设备采集的环境数据;
[0187] 基于所述环境数据,为所述设备生成行为描述信息,并将所述行为描述信息下发给所述设备;
[0188] 在所述设备移动的过程中,根据获取的所述环境数据确定是否需要对所述设备进行紧急控制,并在确定需要对设备进行紧急控制时,向所述设备下发紧急控制指令。
[0189] 本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的设备移动控制方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0190] 本公开实施例还提供一种计算机程序产品,该计算机产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的设备移动控制方法的步骤,具体可参见上述方法实施例,在此不再赘述。
[0191] 其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
[0192] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
[0193] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0194] 另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
[0195] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read‑Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0196] 最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以所述权利要求的保护范围为准。