技术领域
[0001] 本发明涉及模拟驾驶培训领域,特别是涉及一种模拟驾驶培训方法、装置、电子设备及存储介质。
相关背景技术
[0002] 模拟驾驶培训可以应用于一些特种设备的驾驶培训,例如:飞机、旋挖钻机、矿卡、塔吊等,此类的培训驾驶内容市场上都是通过定制化开发设计,在这种常规的定制化开发当中均是程序员以3D场景搭建,代码编辑的方式来开发训练内容,门槛较高。需要专业的3D开发人员进行长时间的学习,以及全程开发。并且这种定制化开发维护困难,如修改训练内容某部分内容,需要进行代码调整,容易占用不必要的长时间的开发测试时间,并且复用性不是很高,工作量大成本较高,后续的更新维护依旧存在周期长,难度高的问题,无法快速实现训练内容制作、版本迭代。
具体实施方式
[0052] 为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
[0053] 下面结合图1‑图11描述本发明的模拟驾驶培训方法、装置、电子设备及存储介质。
[0054] 如图1所示,在一个实施例中,一种模拟驾驶培训方法,包括以下步骤:
[0055] 步骤S100,识别模拟驾驶设备的基本机理功能,并绑定模拟驾驶设备的关节。
[0056] 模拟驾驶设备的基本机理功能包括开机、油门、行走、机身旋转、大臂和小臂的移动等。
[0057] 步骤S200,基于培训任务内容,创建孪生体。
[0058] 孪生体主要是将虚拟的驾驶设备进行转化为数据模型,将其抽象成不同的属性,例如大臂角度、小臂角度、机身旋转速度等等。
[0059] 通过编辑器孪生体,可以自定义创建符合业务需求的训练内容场景,无需具备复杂的技术知识和编程经验,且训练内容制作具有扩展性,通过客户端进行训练内容编辑,关联相关设备机理数据,与训练内容进行联动,实现数据驱动和设备运转逻辑联动,达到数字孪生仿真培训沉浸式教学的目标。
[0060] 步骤S300,加载并渲染模拟驾驶设备的虚拟场景模型。
[0061] 步骤S400,响应于用户模拟驾驶动作信息与基本机理功能一致,输出培训任务完成结果。
[0062] 该模拟驾驶培训方法,通过创建孪生体,以零代码的方式进行训练内容编辑、绑定场景以及相关展示内容的编写,以更快速、简单的方式进行训练内容编辑,使该部分学习成本相对较低,无需进行专业的代码编写,相对于制作成本与维护成本也会大大降低,可以快速、低成本的完成训练内容的编辑,适应新的施工环境和流程,大大提高了新手驾驶员的培训效率并有效地降低了成本,同时有效的解决了训练内容更新或新增训练内容周期长、工作量大的问题。
[0063] 在本实施例中,参见图2,识别模拟驾驶设备的基本机理功能,并绑定模拟驾驶设备的关节,包括:
[0064] 步骤S110,获取模拟驾驶设备的三维模型数据。
[0065] 步骤S120,将三维模型数据输入设备机理模型,输出模拟驾驶设备的基本机理功能数据结果,设备机理模型是基于深度神经网络,以三维设备数据样本与基本机理功能数据样本为训练数据训练得到的。
[0066] 步骤S130,基于模拟驾驶设备的基本机理功能数据结果,绑定模拟驾驶设备的关节。
[0067] 通过将美术制作好的3D模型导入到工程中,并进行关节绑定,确保模型的各个部分能够正确运动,然后通过代码编写实现模拟驾驶设备的基本机理功能,如开机、油门、行走、机身旋转、大臂和小臂的移动等,确保每个功能都能在虚拟环境中准确模拟,最后将一些关键性的属性(如移动速度、旋转速度、角度等)与训练内容中的属性进行对应,确保这些属性能够驱动训练内容的流程和互动,从而方便专业的3D开发人员将模拟驾驶设备的机理部分实现,并协定与训练内容的交互属性,为后续编写训练内容做准备。
[0068] 在本实施例中,参见图3,基于培训任务内容,创建孪生体,包括:
[0069] 步骤S210,获取培训任务需求信息。
[0070] 步骤S220,创建孪生体场景。
[0071] 步骤S230,基于教学要求信息,调整孪生体场景内各元素的运转逻辑。
[0072] 通过编辑器的行为树和内置工具以拖拉拽的方式设计、控制、调整场景内各元素的运转逻辑,进行训练内容流程和逻辑编写,且在其基础上可以进行二次创作,从而方便提高训练内容编辑效率,减少新增训练内容的更新周期,同时方便教员自定义角色,给不同学员分配不同的机型,扩展性强,比如塔吊、旋挖钻机等,通过培训组管理进行组别设置,教员根据教学要求进行自由模式、任务模式分配,不同组别根据相关需求关联对应的训练内容,从而方便根据教学要求,实现训练内容的增删改查,使学员的学习方式更有针对性、灵活性,提高培训效率,有效解决维护难、维护成本高的问题。
[0073] 在本实施例中,参见图4,加载并渲染模拟驾驶设备的虚拟场景模型,包括:
[0074] 步骤S310,接收用户操作模拟驾驶设备的动作数据。
[0075] 步骤S320,基于数字孪生体场景,将动作数据渲染成虚拟场景。
[0076] 步骤S330,加载并显示虚拟场景模型。
[0077] 具体的,参见图5,基于数字孪生体场景,将动作数据渲染成虚拟场景,包括:
[0078] 步骤S321,将用户操作模拟驾驶设备的动作数据进行运算或逻辑判断,并输出运算结果。
[0079] 步骤S322,基于运算结果,渲染虚拟场景。
[0080] 方便以三维开发为主,进行场景搭建,硬件绑定,负责制作展示、交互相关内容模版。
[0081] 在本实施例中,参见图6和图7,响应于用户模拟驾驶动作信息与基本机理功能一致,输出培训任务完成结果,包括:
[0082] 步骤S410,获取用户模拟驾驶任务信息,并关联与用户模拟驾驶任务信息对应的基本机理功能信息。
[0083] 步骤S420,识别用户模拟驾驶动作数据。
[0084] 步骤S430,比对用户模拟驾驶动作数据与任务信息,确定激励分数。
[0085] 步骤S440,响应于激励分数满足模拟任务分数,输出培训任务完成结果。
[0086] 具体的,参见图9和图10,识别用户模拟驾驶动作数据,包括:
[0087] 步骤S421,接收用户模拟驾驶的初始动作信息。
[0088] 步骤S422,响应于初始动作信息满足培训任务触发条件,输出完成任务条件结果。
[0089] 通过创建出模拟驾驶设备的模板并将之前拟定好的属性创建出来,例如:挖掘机行走速度、上机身旋转速度、土量等等,这些属性是驱动训练内容流程的基础;当模版创建好后,以模版为基础创建出孪生体,通过训练内容编辑器创建出,能够运行训练内容整体流程的场景,通过这些属性的数字化和抽象化,可以在虚拟环境模拟真实设备的行为;进入到场景中打开任务系统,将训练内容的每一步抽象成一个任务来进行编辑,例如:启动挖掘机、打开先导、行驶前鸣笛等,任务系统通过编写不同的任务,并关联上下关系实现训练内容的整体串联;任务与任务之间有着关联关系,会串联起整个训练内容的流程,当所有任务编写好后,即训练内容的整个流程编写完毕。
[0090] 当训练内容编写完毕,可在训练内容编辑器中进行训练内容快速调试,测试。
[0091] 场景预览与任务调试:在播放场景预览时,通过修改孪生体上的属性,可以触发相关的任务。例如,开启机器的任务条件是模拟驾驶设备孪生体中的“是否开启机器”属性,如果该属性为true(符合事实的),则表示开启机器的任务已经完成,系统会继续执行下一个任务,直到整个流程跑完。
[0092] 如果在预览过程中发现某个任务存在问题,可以随时停止播放,修改有问题的任务。这样,调试和测试变得非常轻松,确保每个任务都能准确执行,整个训练内容流程顺畅无误,如果需要增加新训练内容或版本迭代亦可快速实现。
[0093] 需要补充说明的是,该模拟驾驶培训方法适用于汽车、飞机、旋挖钻机、矿卡、塔吊、挖掘机等设备的培训场景中。
[0094] 下面对本发明提供的模拟驾驶培训装置进行描述,下文描述的模拟驾驶培训装置与上文描述的模拟驾驶培训方法可相互对应参照。
[0095] 如图8所示,在一个实施例中,一种模拟驾驶培训装置,包括绑定模块810、创建模块820、渲染模块830和输出模块840。
[0096] 绑定模块810,用于识别模拟驾驶设备的基本机理功能,并绑定模拟驾驶设备的关节。
[0097] 创建模块820,用于基于培训任务内容,创建孪生体。
[0098] 渲染模块830,用于加载并渲染模拟驾驶设备的虚拟场景模型。
[0099] 输出模块840,响应于用户模拟驾驶动作信息与基本机理功能一致,输出培训任务完成结果。
[0100] 在本实施例中,绑定模块810具体用于:
[0101] 获取模拟驾驶设备的三维模型数据;
[0102] 将三维模型数据输入设备机理模型,输出模拟驾驶设备的基本机理功能数据结果,设备机理模型是基于深度神经网络,以三维设备数据样本与基本机理功能数据样本为训练数据训练得到的;
[0103] 基于模拟驾驶设备的基本机理功能数据结果,绑定模拟驾驶设备的关节。
[0104] 在本实施例中,创建模块820具体用于:
[0105] 获取培训任务需求信息;
[0106] 创建孪生体场景;
[0107] 基于教学要求信息,调整孪生体场景内各元素的运转逻辑。
[0108] 在本实施例中,渲染模块830具体用于:
[0109] 接收用户操作模拟驾驶设备的动作数据;
[0110] 基于数字孪生体场景,将动作数据渲染成虚拟场景;
[0111] 加载并显示虚拟场景模型。
[0112] 需要补充说明的是,基于数字孪生体场景,将动作数据渲染成虚拟场景,具体用于:
[0113] 将用户操作模拟驾驶设备的动作数据进行运算或逻辑判断,并输出运算结果;
[0114] 基于运算结果,渲染虚拟场景。
[0115] 在本实施例中,输出模块840具体用于:
[0116] 获取用户模拟驾驶任务信息,并关联与用户模拟驾驶任务信息对应的基本机理功能信息;
[0117] 识别用户模拟驾驶动作数据;
[0118] 比对用户模拟驾驶动作数据与任务信息,确定激励分数;
[0119] 响应于激励分数满足模拟任务分数,输出培训任务完成结果。
[0120] 需要补充说明的是,识别用户模拟驾驶动作数据,具体用于:
[0121] 接收用户模拟驾驶的初始动作信息;
[0122] 响应于初始动作信息满足培训任务触发条件,输出完成任务条件结果。
[0123] 该模拟驾驶培训装置,通过创建孪生体,以零代码的方式进行训练内容编辑、绑定场景以及相关展示内容的编写,以更快速、简单的方式进行训练内容编辑,使该部分学习成本相对较低,无需进行专业的代码编写,相对于制作成本与维护成本也会大大降低,可以快速、低成本的完成训练内容的编辑,适应新的施工环境和流程,大大提高了新手驾驶员的培训效率并有效地降低了成本,同时有效的解决了训练内容更新或新增训练内容周期长、工作量大的问题。
[0124] 图11示例了一种电子设备的实体结构示意图,该电子设备可以是智能终端,其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现模拟驾驶培训方法,该方法包括:
[0125] 识别模拟驾驶设备的基本机理功能,并绑定模拟驾驶设备的关节;
[0126] 基于培训任务内容,创建孪生体;
[0127] 加载并渲染模拟驾驶设备的虚拟场景模型;
[0128] 响应于用户模拟驾驶动作信息与基本机理功能一致,输出培训任务完成结果。
[0129] 本领域技术人员可以理解,图11中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0130] 另一方面,本发明还提供了一种计算机存储介质,存储有计算机程序,计算机程序被处理器执行时实现模拟驾驶培训方法,该方法包括:
[0131] 识别模拟驾驶设备的基本机理功能,并绑定模拟驾驶设备的关节;
[0132] 基于培训任务内容,创建孪生体;
[0133] 加载并渲染模拟驾驶设备的虚拟场景模型;
[0134] 响应于用户模拟驾驶动作信息与基本机理功能一致,输出培训任务完成结果。
[0135] 又一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令时实现模拟驾驶培训方法,该方法包括:
[0136] 识别模拟驾驶设备的基本机理功能,并绑定模拟驾驶设备的关节;
[0137] 基于培训任务内容,创建孪生体;
[0138] 加载并渲染模拟驾驶设备的虚拟场景模型;
[0139] 响应于用户模拟驾驶动作信息与基本机理功能一致,输出培训任务完成结果。
[0140] 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。
[0141] 作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
[0142] 以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
[0143] 以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以作出若干变形和改进,这些都属于本发明的保护范围。因此,本发明的保护范围应以所附权利要求为准。