技术领域
[0001] 本申请涉及设备检修领域，尤其涉及一种检修方法及检修设备。
相关背景技术
[0002] 增强现实(Augmented Reality，AR)技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，可以将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，将虚拟信息内容叠加在真实世界中，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。而且，真实环境和虚拟物体通过AR技术重叠之后，能够在同一个画面以及空间中同时存在。
[0003] 目前大多数企业在对设备进行检修时，仅依靠人工进行检修，然而检修人员在进行检修时有时候会出现操作错误的情况，此时若没有及时发现错误，则会导致后续操作也出现错误。如此，则导致设备检修的效率低。
具体实施方式
[0035] 为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036] 针对上述如何解决相关技术中设备检修的效率低的问题，本申请提出一种解决方案，旨在提供一种可以提高设备检修的效率的方法。
[0037] 以下结合附图，详细说明本申请各实施例提供的技术方案。
[0038] 图1为本申请实施例提供的检修系统的实施环境的示意图。
[0039] 如图1所示，本申请实施例提供的检修系统可包括：检修设备500以及终端600。检修设备500可以为服务器或其他具备数据处理功能的设备。终端600可以为AR设备，例如AR眼镜；也可以为其他具有输入输出功能及显示功能的设备，例如手机或平板电脑。终端600可以具备图像采集元件(例如摄像头)和语音采集元件(例如麦克风)。检修设备500可以与终端600通过网络连接。下面以检修设备为服务器，终端为AR设备为例进行说明。
[0040] 在服务器500与AR设备600进行交互的过程中，AR设备600可获取检修人员在检修时的检修操作图像，然后将所述检修操作图像发往所述服务器500；服务器500接收到所述检修操作图像后，判断该检修操作图像对应的检修操作是否正确；若所述检修操作错误，服务器500则获取第一提示信息，然后将所述第一提示信息发往AR设备600；AR设备接收到所述第一提示信息后，将所述第一提示信息显示出来。当检修人员看到AR设备600显示的第一提示信息，则会及时知道该检修操作是错误的，及时进行改正。如此，则可以提高设备检修的效率。
[0041] 需了解的是，本申请实施例中提供的终端(例如，AR设备)还可以是具备存储功能、数据处理功能等多种功能的终端。此时，本申请实施例提供的检修系统可以仅包括终端，不包括服务器。
[0042] 图2是本申请实施例提供的一种检修方法的流程图。此检修方法可由服务器执行。如图2所示，本申请实施例提供的检修方法可包括：
[0043] 步骤210，获取检修操作图像。
[0044] 步骤220，基于所述检修操作图像，判断所述检修操作图像对应的检修操作是否正确。
[0045] 步骤230，若所述检修操作错误，则获取第一提示信息，并使终端显示所述第一提示信息。
[0046] 需说明的是，图2所示的方法可以由服务器执行，也可以由其他检修设备执行。当本申请实施例提供的检修系统不包括服务器时，图2所示的方法也可以由AR设备执行。
[0047] 当终端为AR眼镜时，检修人员佩戴AR眼镜后，所述AR眼镜可以将所述第一提示信息显示在检修人员眼前；当终端为手机或平板电脑等具有显示屏的设备时，终端可以将所述第一显示信息显示在终端的显示屏上。
[0048] 所述检修操作图像可以通过所述AR设备获取后，发往服务器。所述AR设备上可以设置有摄像头和麦克风，所述AR设备可以通过摄像头获取检修人员在检修过程中的检修操作图像，通过麦克风获取检修人员的语音指令。所述AR设备可以实时获取所述检修操作图像，也可以定时或按照预定时间间隔获取所述检修操作图像，还可以在获取到指示获取检修操作图像的语音指令后获取所述检修操作图像。
[0049] 如此，当检修人员对待检修设备进行检修时，可以获取检修人员在进行检修操作时的检修操作图像；基于所述检修操作图像，判断所述检修操作图像对应的检修操作是否正确；若所述检修操作错误，则获取第一提示信息，并使AR设备显示所述第一提示信息。从而，当检修人员操作错误时可以及时发现错误，并进行提示，避免造成后续操作的错误，提高了设备检修的效率。
[0050] 为了使设备检修的效率更高，所述AR设备可以实时获取所述检修操作图像，一旦发现所述检修操作图像对应的检修操作错误，则马上通过所述第一提示信息对检修人员进行提示。
[0051] 所述第一提示信息可以包括用于提示操作错误的文字信息，例如，“操作错误”或“操作错误！请重新操作！”等文字。同时，AR设备上的麦克风也可以将所述第一提示信息用语音的方式进行播放。
[0052] 可选地，步骤220，所述基于所述检修操作图像，判断所述检修操作图像对应的检修操作是否正确具体可以包括以下步骤：
[0053] 对所述检修操作图像进行特征提取，得到第一特征向量；
[0054] 计算所述第一特征向量与预先确定的特征向量组合中的每个特征向量的相似度；
[0055] 基于所述第一特征向量与所述特征向量组合中的每个特征向量的相似度，判断所述检修操作图像对应的检修操作是否正确；
[0056] 其中，所述特征向量组合包括第二特征向量和第三特征向量，所述第二特征向量为针对所述检修操作对应的正确操作图像的特征向量，所述第三特征向量为针对所述检修操作对应的错误操作图像的特征向量。
[0057] 可以理解的是，所述预先确定的特征向量组合可以包括以往大量检修视频中的检修操作图像，经过特征提取得到的特征向量。在得到所述特征向量后，还可以通过人工判定该检修操作图像正确或错误，然后分别将所述特征向量放入正确操作特征向量库和错误操作特征向量库。此时，所述特征向量组合则包括所述正确操作特征向量库中的特征向量(即第二特征向量)和所述错误操作特征向量库中的特征向量(即第三特征向量)。
[0058] 可选地，所述对所述检修操作图像进行特征提取，得到第一特征向量可以包括：
[0059] 利用预先构建的卷积神经网络模型对所述检修操作图像进行特征提取，得到第一特征向量。
[0060] 可以理解的是，卷积神经网络可以对图像进行卷积运算，然后将图像表示为一定长度的特征向量。
[0061] 同时，在计算所述第一特征向量与预先确定的特征向量组合中的每个特征向量的相似度时，可以使用余弦相似度算法进行计算。
[0062] 余弦相似度，又称为余弦相似性，通过测量两个向量的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1；并且其最小值是‑1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为‑1。这结果是与向量的长度无关的，仅仅与向量的指向方向相关。余弦相似度通常用于正空间，因此给出的值为‑1到1之间。
[0063] 给定两个特征向量A和B，其余弦相似度公式如下所示：
[0064]
[0065] Ai、Bi分别代表向量A和B的各分量，余弦值越接近于1，就表明夹角越接近0度，向量A和B也就越相似。
[0066] 如上所述，余弦相似度越接近于1，就表明夹角越接近0度，向量A和B也就越相似，而任何角度的余弦值都不大于1。因此，两个向量的余弦相似度越大就说明两个向量越相似。
[0067] 在得到所述第一特征向量与预先确定的特征向量组合中的每个特征向量的相似度后，所述基于所述第一特征向量与特征向量组合中的每个特征向量的相似度，判断所述检修操作图像对应的检修操作是否正确可以包括：
[0068] 按照所述特征向量组合中的每个特征向量与所述第一特征向量的相似度的大小的降序顺序，选取所述特征向量组合中预设数目的特征向量作为目标特征向量集；
[0069] 若所述目标特征向量集中第二目标特征向量的数目大于第三目标特征向量的数目，则所述检修操作图像对应的检修操作正确；
[0070] 若所述目标特征向量集中所述第二目标特征向量的数目小于所述第三目标特征向量的数目，则所述检修操作图像对应的检修操作错误；
[0071] 其中，所述目标特征向量集中包括第二目标特征向量和/或第三目标特征向量；所述第二目标特征向量为所述目标特征向量集中针对所述检修操作对应的正确操作图像的特征向量，所述第三目标特征向量为所述目标特征向量集中针对所述检修操作对应的错误操作图像的特征向量。
[0072] 所述第二目标特征向量为所述目标特征向量集中针对所述检修操作对应的正确操作图像的特征向量，可以理解为，所述第二目标特征向量为来自正确操作特征向量库的特征向量；所述第三目标特征向量为所述目标特征向量集中针对所述检修操作对应的错误操作图像的特征向量，可以理解为，所述第三目标特征向量为来自错误操作特征向量库的特征向量。
[0073] 为了便于理解，在此对上述基于所述第一特征向量与特征向量组合中的每个特征向量的相似度，判断所述检修操作图像对应的检修操作是否正确的方法进行举例说明：
[0074] 例如，按照所述特征向量组合中的每个特征向量与所述第一特征向量的相似度的大小的降序顺序，选取所述特征向量组合中的九个特征向量，作为目标特征向量集。所述目标特征向量集中可以同时包括来自正确操作特征向量库中的特征向量(即第二目标特征向量)和来自于错误操作特征向量库中的特征向量(即第三目标特征向量)，也可以仅包括来自正确操作特征向量库中的特征向量(即第二目标特征向量)或来自于错误操作特征向量库中的特征向量(即第三目标特征向量)。
[0075] 若所述目标特征向量集中的9个特征向量中，有3个特征向量来自正确操作特征向量库(即为第二目标特征向量)，有6个特征向量来自错误操作特征向量库(即为第三目标特征向量)。由于所述第二目标特征向量的数目(即3)小于所述第三目标特征向量的数目(即6)，则该检修操作错误。
[0076] 可选地，所述第一提示信息包括目标正确操作图像，所述获取检修操作图像包括：
[0077] 接收来自于所述AR设备的检修操作图像；
[0078] 所述若所述检修操作错误，则获取第一提示信息，并使AR设备显示所述第一提示信息包括：
[0079] 若所述检修操作错误，则获取所述目标特征向量集中与所述第一特征向量的相似度最高的第三目标特征向量，作为目标错误操作特征向量；
[0080] 基于所述目标错误操作特征向量，获取与所述目标错误操作特征向量关联的目标正确操作图像；
[0081] 将所述目标正确操作图像发往所述AR设备，使得所述AR设备显示所述目标正确操作图像。
[0082] 可以理解的是，所述错误操作特征向量库中的每一个特征向量都关联着一个正确的检修操作图像，即目标正确操作图像。所述目标正确操作图像可以预先存储在本地数据库中。因此，可以基于所述目标错误操作特征向量，获取与所述目标错误操作特征向量关联的目标正确操作图像。
[0083] 如上述示例，在判断出所述检修操作错误后，从所述目标特征向量集中的6个来自错误操作特征向量库的特征向量(即为第三目标特征向量)中选取与所述第一特征向量相似度最高的特征向量，作为目标错误操作特征向量。然后，获取与所述目标错误操作特征向量关联的目标正确操作图像，将所述目标正确操作图像发往AR设备，使得所述AR设备显示所述目标正确操作图像。
[0084] 可选地，在所述接收来自于AR设备的检修操作图像之前，本申请实施例提供的检修方法还可以包括：
[0085] 接收来自于所述AR设备的，指示开始检修流程的语音指令；
[0086] 响应于所述指示开始检修流程的语音指令，获取待确认信息，并将所述待确认信息发往所述AR设备，使得所述AR设备显示所述待确认信息；
[0087] 接收来自于所述AR设备的，指示确认所述待确认信息的确认语音指令；
[0088] 响应于所述确认语音指令，获取第二提示信息并将所述第二提示信息发往所述AR设备，使得所述AR设备显示所述第二提示信息；
[0089] 其中，所述待确认信息包括检修所需要的工具列表与安全注意要点，所述第二提示信息包括与检修相关的文字提示信息、语音提示信息和动画提示信息中的至少一种。
[0090] 所述AR设备可以通过设置于所述AR设备上的麦克风获取检修人员的语音指令，然后将所述语音指令发往服务器；所述语音指令可以是指示开始检修流程的语音指令，也可以是指示确认所述待确认信息的语音指令，也可以是指示进行其他操作的语音指令。
[0091] 可以理解的是，在开始检修流程后，需先让检修人员确认检修所需要的工具列表与安全注意要点，才可进行检修。如此，所述检修所需要的工具列表可以提醒检修人员做好检修前的准备，所述安全注意要点可以提醒检修人员在检修的过程中注意安全。
[0092] 所述文字提示信息为检修过程中每个检修步骤的详细说明，所述语音提示信息为所述文字提示信息对应的语音，所述动画提示信息为设备的关键零部件的拆装动画展示。
[0093] 同时，在检修过程中，服务器还可以获取与待检修设备对应的三维模型，所述三维模型可以包括整体设备的三维模型和设备的核心部件的三维模型，所述三维模型可以预先存储在服务器的本地数据库中。然后将所述三维模型发往所述AR设备，AR设备可以利用运动追踪技术将三维模型叠加在待检修设备的对应位置上显示。所述与所述待检修设备相关联的三维模型，可以为与所述待检修设备的设备名称、设备型号和设备类型都相同的三维模型。
[0094] 可选地，本地数据库中还可以保存有检修流程中各个步骤的演示视频，当检修人员需要时，可以通过语音指令播放所述演示视频。即，AR设备获取到指示播放演示视频的语音指令时，将所述指示播放演示视频的语音指令发往服务器；服务器接收到所述指示播放演示视频的语音指令后，从本地数据库中获取所述演示视频并发往AR设备；AR设备接收所述演示视频后，将所述演示视频进行显示。
[0095] 并且，所述文字提示信息、语音提示信息和动画提示信息都可以通过语音指令选择性开启或关闭。
[0096] 所述AR设备上的摄像头除获取图像外，还可以拍摄视频。所述AR设备可以对整个检修过程进行录像，得到检修操作视频。
[0097] 可选地，在所述检修流程结束后，本申请实施例提供的检修方法还可以包括：
[0098] 获取检修记录表，将所述检修记录表发往所述AR设备，使得所述AR设备显示所述检修记录表；
[0099] 接收来自于AR设备的，与所述检修记录表相关的语音录入指令，所述语音录入指令包括与待录入信息对应的指令；
[0100] 基于所述语音录入指令，获取所述待录入信息；
[0101] 将所述待录入信息录入所述检修记录表，所述待录入信息包括检修人员姓名、检修内容和检修完成时间中的至少一种。
[0102] 可选地，在检修过程中，在进行某些比较重要的检修步骤时，可能需要记录关键部件检测数据。此时，服务器可以在所述比较重要的检修结束后，获取关键部件检测记录表，并将所述关键部件检测记录表发往AR设备。AR设备接收所述关键部件检测记录表后，将所述关键部件检测记录表进行显示后；然后获取与所述关键部件检测记录表相关的语音录入指令，所述语音录入指令中包括关键部件的检测数据，将所述语音录入指令发送给服务器；服务器接收到所述语音录入指令后，将所述语音录入指令中的关键部件的检测数据录入所述关键部件检测记录表中。
[0103] 最后，将所述检修记录表与所述检修操作视频对应存储在本地数据库中，该检修操作视频文件的名称可以为检修记录表中录入的信息，例如检修人员姓名、检修内容和检修完成时间中的至少一种，还可以将所述关键部件检测记录表存储在本地数据库中。
[0104] 可选地，当服务器连接网络时，还可以将所述关键部件检测记录表、所述检修记录表与所述检修操作视频从本地数据库发送至后台数据中心，用于资料存档。
[0105] 可选地，在检修流程开始之前，本申请实施例提供的检修方法还可以包括检修前的准备步骤：
[0106] 接收来自AR设备的指示准备检修的语音指令和待检修设备的图像；
[0107] 基于所述语音指令选择待检修设备模板库，并将所述待检修设备的图像与所述待检修设备模板库中的图像进行匹配；
[0108] 若匹配成功，则根据与所述待检修设备的图像匹配成功的模板图像获取设备信息，并将所述设备信息发往AR设备，所述设备信息包括：设备名称、设备型号、设备类型、设备出厂日期、设备保养周期中的至少一种；
[0109] 若匹配失败，则获取第三提示信息并将所述第三提示信息发往AR设备，，所述第三提示信息包括用于提示重新进行匹配的语音信息或文字信息。
[0110] 可以理解的是，所述设备信息可以预先存储在服务器的本地数据库中。所述基于所述语音指令选择待检修设备模板库，可以理解为基于所述语音指令选择检修对象，或基于所述语音指令选择待检修功能。
[0111] 本申请实施例中提供的待检修设备可以是各种机械设备，也可以是各种机械设备的某个部件；例如，所述待检修设备可以是压裂设备，也可以是压裂设备中的柱塞泵。本申请实施例提供的检修方法既可以对某个设备进行检修，也可以对某个设备的某个部件进行检修，还可以对某个设备的某个部件的某一个组件。所述待检修设备模板库中可以包括设备的模板，也可以包括设备的各个部件的模板，还可以包括设备的各个部件的各个组件。
[0112] 当所述待检修设备为压裂设备的柱塞泵时，待检修设备模板库可以包括柱塞泵液力端图像、柱塞泵动力端图像和压裂车图像。此时，所述基于所述语音指令选择待检修设备模板库，可以理解为基于所述语音指令选择液力端检修、柱塞泵动力端检修、柱塞泵总成拆装中的任意一种检修功能。
[0113] 在AR设备获取所述待检修设备的图像时，AR设备上会显示所述待检修设备对应的边框提示线，检修人员需使所述边框提示线对准所述待检修设备的轮廓。当匹配失败时，AR设备会通过文字或语音的方式提醒检修人员将所述边框提示线对准所述待检修设备的轮廓，然后重新进行匹配。
[0114] 可选地，在所述待检修设备的图像与所述待检修设备模板图像匹配成功后，还可以通过语音指令查看检修记录。即，本申请实施例提供的检修方法还可以包括：
[0115] 接收来自AR设备的指示查看检修记录的语音指令；
[0116] 获取所述待检修设备的检修记录；
[0117] 将所述检修记录发往所述AR设备，使得所述AR设备显示所述检修记录。
[0118] 如此，检修人员可以通过语音指令的方式查看检修记录。在查看完所述检修记录后，检修人员还可以通过语音指令的方式使AR设备的显示画面切换回设备信息界面。
[0119] 图3是本申请实施例提供的另一种检修方法的流程图。此检修方法可由AR设备执行。如图3所示，本申请实施例提供的检修方法可包括：
[0120] 步骤310，AR设备获取检修操作图像。
[0121] 步骤320，AR设备向服务器发送所述检修操作图像。
[0122] 步骤330，AR设备接收服务器发送的第一提示信息。
[0123] 步骤340，AR设备显示所述第一提示信息。
[0124] 所述第一提示信息可以包括目标正确操作图像，即检修操作对应正确操作图像。
[0125] 在步骤310，AR设备获取检修操作图像之前，本申请实施例提供的检修方法还可以包括：
[0126] AR设备获取指示开始检修流程的语音指令，并向服务器发送所述指示开始检修流程的语音指令；
[0127] AR设备接收服务器发送的待确认信息，并显示所述待确认信息；
[0128] AR设备获取指示确认所述待确认信息的语音指令，并向服务器发送所述指示确认所述待确认信息的语音指令；
[0129] AR设备接收服务器发送的第二提示信息，并显示所述第二提示信息；
[0130] 其中，所述待确认信息包括检修所需要的工具列表与安全注意要点，所述第二提示信息包括与检修相关的文字提示信息、语音提示信息和动画提示信息中的至少一种。
[0131] 可选地，在检修流程开始之前，本申请实施例提供的检修方法还可以包括检修前的准备步骤：
[0132] AR设备获取指示准备检修的语音指令和待检修设备的图像；
[0133] AR设备所述指示准备检修的语音指令和待检修设备的图像发送给服务器；
[0134] AR设备接收服务器发送的设备信息，所述设备信息包括：设备名称、设备型号、设备类型、设备出厂日期、设备保养周期中的至少一种；并将所述设备信息进行显示；
[0135] 或，AR设备接收服务器发送的第三提示信息，所述第三提示信息包括用于提示重新进行匹配的语音信息或文字信息；并根据所述第三提示信息进行提示。
[0136] 所述根据所述第三提示信息进行提示包括以文字的方式提示重新进行匹配，或以语音的方式提示重新进行匹配。
[0137] 可选地，在检修过程中，本申请实施例提供的检修方法还可以包括：
[0138] AR设备获取指示查看检修记录的语音指令；
[0139] AR设备接收服务器发送的检修记录；
[0140] AR设备将所述检修记录进行显示。
[0141] 可选地，在检修流程结束后，本申请实施例提供的检修方法还可以包括：
[0142] AR设备接收服务器发送的检修记录表，将所述检修记录表进行显示；
[0143] AR设备获取与所述检修记录表相关的语音录入指令，所述语音录入指令包括与待录入信息对应的指令；并将所述与所述检修记录表相关的语音录入指令发送给服务器。
[0144] 本申请实施例提供的检修方法可以通过AR设备获取检修人员的语音指令、待检修设备的图像和检修操作图像，还可以通过AR设备将各种提示信息显示给检修人员观看。如此，在检修过程中，所述提示信息可以帮助检修人员进行检修，从而提高检修效率。
[0145] 图4是本申请实施例提供的又一种检修方法的流程图。如图4所示，本申请实施例提供检修方法可以包括：
[0146] 步骤401，AR设备获取指示准备检修的语音指令和待检修设备的图像，并向服务器发送所述指示准备检修的语音指令和所述待检修设备的图像。
[0147] 步骤402，服务器接收所述指示准备检修的语音指令和所述待检修设备的图像后，基于所述指示准备检修的语音指令选择待检修设备模板库，并将所述待检修设备的图像与所述待检修设备模板库中的图像进行匹配。
[0148] 步骤403，若匹配成功，服务器则根据与所述待检修设备的图像匹配成功的模板图像获取设备信息并发往AR设备；AR设备接收所述设备信息后，将所述设备信息进行显示。
[0149] 步骤404，若匹配失败，服务器则获取用于提示重新进行匹配的第三提示信息并发往AR设备；AR设备接收所述第三提示信息后，根据所述第三提示信息进行提示。
[0150] 步骤405，AR设备获取指示查看检修记录的语音指令并发往服务器；服务器接收指示查看检修记录的语音指令后，获取待检修设备的检修记录并发往AR设备；AR设备接收检修记录后，将检修记录进行显示。
[0151] 步骤406，AR设备获取指示开始检修流程的语音指令并发往服务器；服务器接收所述指示开始检修流程的语音指令后，获取待确认信息并发往AR设备；AR设备接收所述待确认信息后，将所述待确认信息进行显示。
[0152] 步骤407，AR设备获取指示确认所述待确认信息的确认语音指令并发往服务器；服务器接收所述确认语音指令后，获取第二提示信息并发往AR设备；AR设备接收所述第二提示信息后，将所述第二提示信息进行显示。
[0153] 步骤408，AR设备获取检修操作图像并发往服务器；服务器接收所述检修操作图像后，基于所述检修操作图像判断所述检修操作图像对应的检修操作是否正确。
[0154] 步骤409，若所述检修操作错误，服务器则获取第一提示信息并发往AR设备；AR设备接收所述第一提示信息后，将所述第一提示信息进行显示。
[0155] 步骤410，AR设备获取指示检修结束的语音指令并发往服务器；服务器接收所述指示检修结束的语音指令后，获取检修记录表并发往所述AR设备；AR设备接收所述检修记录表后，将所述检修记录表进行显示。
[0156] 步骤411，AR设备获取与所述检修记录表相关的语音录入指令并发往服务器；服务器接收所述语音录入指令后，将所述语音录入指令中的待录入信息录入所述检修记录表。
[0157] 步骤412，AR设备获取检修操作视频并发往服务器，服务器将所述检修记录表与所述检修操作视频对应存储在本地数据库中。
[0158] 需说明的是，本申请实施例提供的检修方法中的所述AR设备与所述服务器之间的交互过程可以通过无线网络、移动网络或有线网络实现。
[0159] 本申请实施例提供的检修方法，当检修人员对待检修设备进行检修时，可以接收来自于AR设备的检修操作图像；基于所述检修操作图像判断所述检修操作图像对应的检修操作是否正确；若所述检修操作错误，则获取第一提示信息并将所述第一提示信息发往所述AR设备，使得所述AR设备显示所述第一提示信息。从而，当检修人员操作错误时可以及时发现错误，并进行提示，避免造成后续操作的错误，提高了设备检修的效率。
[0160] 图5是本申请实施例提供的一种检修设备的结构框图。如图5所示，本申请实施例提供一种检修设备500。所述检修设备500包括获取模块510、判断模块520、和控制模块530。
[0161] 在本申请实施例中，所述检修设备500可以是服务器，也可以是终端(例如，AR设备)。
[0162] 所述获取模块510，用于获取检修操作图像。
[0163] 所述判断模块520，用于基于所述检修操作图像，判断所述检修操作图像对应的检修操作是否正确。
[0164] 所述获取模块510，还用于若所述检修操作错误，则获取第一提示信息；
[0165] 所述控制模块530，用于使终端显示所述第一提示信息。
[0166] 可选地，所述判断模块520还可以包括特征提取单元、计算单元和判断单元；所述特征提取单元用于对所述检修操作图像进行特征提取，得到第一特征向量；所述计算单元用于计算所述第一特征向量与预先确定的特征向量组合中的每个特征向量的相似度；所述判断单元用于基于所述第一特征向量与所述特征向量组合中的每个特征向量的相似度判断所述检修操作图像对应的检修操作是否正确；其中，所述特征向量组合包括第二特征向量和第三特征向量，所述第二特征向量为针对所述检修操作对应的正确操作图像的特征向量，所述第三特征向量为针对所述检修操作对应的错误操作图像的特征向量。
[0167] 可选地，所述特征提取单元具体用于利用预先构建的卷积神经网络模型对所述检修操作图像进行特征提取，得到第一特征向量；所述判断单元具体用于按照所述特征向量组合中的每个特征向量与所述第一特征向量的相似度的大小的降序顺序，选取所述特征向量组合中预设数目的特征向量作为目标特征向量集；若所述目标特征向量集中第二目标特征向量的数目大于第三目标特征向量的数目，则所述检修操作图像对应的检修操作正确；若所述目标特征向量集中所述第二目标特征向量的数目小于所述第三目标特征向量的数目，则所述检修操作图像对应的检修操作错误；其中，所述目标特征向量集中包括第二目标特征向量和/或第三目标特征向量；所述第二目标特征向量为所述目标特征向量集中针对所述检修操作对应的正确操作图像的特征向量，所述第三目标特征向量为所述目标特征向量集中针对所述检修操作对应的错误操作图像的特征向量。
[0168] 可选地，所述第一提示信息包括目标正确操作图像；所述获取模块510在获取检修操作图像时具体用于，接收来自于所述终端的检修操作图像，还用于若所述检修操作错误，则获取所述目标特征向量集中与所述第一特征向量的相似度最高的第三目标特征向量，作为目标错误操作特征向量；基于所述目标错误操作特征向量，获取与所述目标错误操作特征向量关联的目标正确操作图像；所述控制模块530具体用于将所述目标正确操作图像发往终端，使得所述终端显示所述目标正确操作图像。
[0169] 可选地，所述获取模块510，还用于接收来自于所述终端的，指示开始检修流程的语音指令；响应于所述指示开始检修流程的语音指令，获取待确认信息。所述控制模块530还用于将所述待确认信息发往所述终端，使得所述终端显示所述待确认信息。在所述终端显示所述待确认信息之后，所述获取模块510还用于接收来自于所述终端的，指示确认所述待确认信息的语音指令，响应于所述指示确认所述待确认信息的语音指令，获取第二提示信息。所述控制模块530用于将所述第二提示信息发往所述终端，使得所述终端显示所述第二提示信息；其中，所述待确认信息包括检修所需要的工具列表与安全注意要点，所述第二提示信息包括与检修相关的文字提示信息、语音提示信息和动画提示信息中的至少一种。
[0170] 可选地，在所述检修流程结束后，所述获取模块510还用于获取检修记录表；所述控制模块530还用于将所述检修记录表发往所述终端，使得所述终端显示所述检修记录表；所述获取模块510还用于获取与所述检修记录表相关的语音录入指令，所述语音录入指令包括待录入信息；基于所述语音录入指令，将所述待录入信息录入所述检修记录表，所述待录入信息包括检修人员姓名、检修内容和检修完成时间中的至少一种。
[0171] 需了解的是，上文描述的针对服务器的检修方法可应用于本申请实施例提供的服务器，故而这里针对服务器的内容可参照上文方法部分的描述。
[0172] 图6是本申请实施例提供的一种AR设备的结构框图。如图6所示，本申请实施例提供一种AR设备600。所述AR设备600包括获取模块610、发送模块620、接收模块630和显示模块640。
[0173] 所述获取模块610，用于获取检修操作图像。
[0174] 所述发送模块620，用于向所述服务器发送所述检修操作图像。
[0175] 所述接收模块630，用于接收所述服务器发送的第一提示信息。
[0176] 所述显示模块640，用于显示所述第一提示信息。
[0177] 可选地，在所述获取模块610获取检修操作图像之前，所述获取模块610还用于获取指示开始检修流程的语音指令；所述发送模块620用于向所述服务器发送所述指示开始检修流程的语音指令；所述接收模块630用于接收所述服务器发送的待确认信息；所述显示模块640用于显示所述待确认信息。所述获取模块610还用于获取指示确认所述待确认信息的语音指令；所述发送模块620还用于向所述服务器发送所述指示确认所述待确认信息的语音指令；所述接收模块630还用于接收所述服务器发送的第二提示信息；所述显示模块640还用于显示所述第二提示信息；其中，所述待确认信息包括检修所需要的工具列表与安全注意要点，所述第二提示信息包括与检修相关的文字提示信息、语音提示信息和动画提示信息中的至少一种。
[0178] 需了解的是，上文描述的针对AR设备的检修方法可应用于本申请实施例提供的AR设备，故而这里针对AR设备的内容可参照上文方法部分的描述。
[0179] 图7是本申请实施例提供的一种检修系统的结构框图。如图7所示，本申请实施例提供一种检修系统700；检修系统700可以仅包括终端600，也可以包括检修设备500和终端600；当检修系统700包括检修设备500和终端600时，检修设备500可以是服务器，终端600可以是AR设备。
[0180] 需了解的是，上文描述的检修方法可应用于本申请实施例提供的检修系统，故而这里针对检修系统的内容可参照上文方法部分的描述。
[0181] 本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文针对服务器的检修方法中的任一种方法。
[0182] 本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文针对AR设备的检修方法中的任一种方法。
[0183] 本申请实施例还提供了一种网络设备，所述网络设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上文针对服务器的检修方法中的任一种方法。
[0184] 本申请实施例还提供了一种网络设备，所述网络设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上文针对AR设备的检修方法中的任一种方法。
[0185] 通过以上的实施方式的描述，本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD‑ROM、光学存储器等)上实施的计算机程序产品的形式。
[0186] 本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0187] 这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0188] 这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0189] 在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
[0190] 内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
[0191] 计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD‑ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0192] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0193] 上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。
