[0001] 本发明涉及虚拟仿真教学技术领域，具体涉及一种虚拟仿真教学方法、系统以及计算机设备。

[0002] 在高校教学中，特别是工科专业的教学中，除了对学生的理论知识进行教学外，还需要对学生的实践能力进行教学，才能够培训出具有较强综合素质的创新型人才。

[0003] 受限于实验、课程设计、实习等实践教学内容和设备更新速度难以跟上理论课程教学内容的更新，导致可进行的实践教学内容与最新的理论知识之间可能存在一定的差距；以及部分实践教学场所和配套设备所需的技术含量较高，不便于在校园内进行设置和维护；导致部分实践教学内容在校园内难以即时开展。

[0004] 近年来虚拟现实技术高速发展，将虚拟现实技术应用到实践教学中，能够有效的解决上述问题。现有的虚拟现实技术与实践教学的结合，通常是通过虚拟设备进行实践教学场景的模拟，再由学生借助模拟场景进行相应的仿真操作，从而实现虚拟仿真的实践教学。

[0005] 但现有的虚拟仿真的实践教学与学生的交互性不佳，大量的仿真操作步骤是采用点击、按压、拖动等操作实现，与实际场景下的操作存在较大差异；例如，在进行器件拾取操作时，通常是由学生通过操控设备点击相应的器件完成拾取，与实际场景下的器件拾取操作存在差异，对于拾取时的位置、力度、角度等信息难以真实反馈；导致虚拟仿真的实践教学对学生的教学效果不佳。

[0028] 下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0029] 下面通过具体实施方式进一步详细说明：实施例1：一种虚拟仿真教学方法，如图1所示，包括如下步骤：
首先，生成不受位置限定的虚拟教学场景，该不受位置限定的虚拟教学场景通常根据教学需求进行选择，其不受位置的限制（能够在用户可视空间内不受位置限制的显示），可以包括机械工程、医疗、建筑、计算机、通信等各种领域的虚拟教学场景。这些教学场景可根据所教学的理论知识实时构建，其可有效的解决实践教学内容和设备更新速度难以跟上理论课程教学内容的更新的问题。

[0030] 同时，基于所生成不受位置限定的虚拟教学场景生成其对应的虚拟映射，该虚拟映射与虚拟教学场景中的内容对应，即呈现的教学场景为纯虚拟教学场景，虚拟对象存在于虚拟坐标系中，在本实施例中虚拟映射主要用于后续的仿真教学场景构建。

[0031] 并获取虚拟教学场景中的虚拟对象的操控数据，操控数据至少包括操控位置数据和操控手势数据，其中操控位置数据为所有能够操控对应虚拟对象的用户位置，操控手势数据则为所有能够操控对应虚拟对象的用户手势，本实施例的操控位置数据和操控手势数据可根据实际教学需求进行预设，例如，要求教学难度较大且较严格时，能够预设更加标准的操控位置数据和操控手势数据，相应的还可由用户根据实际教学情况增加其他的操控数据。操控位置数据和操控手势数据主要用于验证用户的位置和手势是对哪一虚拟对象进行操控以及操控的类型。

[0032] 然后，生成与虚拟教学场景对应但受位置限定的现实验证场景，其受到位置的限制（仅能够在预设的空间范围内进行显示），现实验证场景与虚拟教学场景内容相同，但其适配于所呈现现实验证场景的设备，本实施例采用触控显示设备进行现实验证场景的显示，本实施例的触控显示设备由多个显示器组成，结合图4所示，其环绕设置在用户的周围，能够基于用户的可视角区域切换不同角度。

[0033] 同时，基于现实验证场景生成其对应的现实映射，该现实映射中的虚拟对象与虚拟教学场景中的虚拟对象相同，但其适配于触控显示设备，呈现的教学场景结合了触控显示设备的实际参数，即呈现的教学场景为非纯虚拟教学场景，现实映射中的虚拟对象存在于真实的坐标系中有真实的坐标，该坐标基于触控显示设备的不同而变化，由触控显示设备为其赋予坐标，即现实映射中的虚拟对象带有其在触控显示设备中的位置信息。在本实施例中现实映射同样主要用于后续的仿真教学场景构建。

[0034] 并通过触控显示设备以及集成于触控显示设备上的图像采集设备采集用户位置数据和用户手部数据；其中，用户位置数据通过图像采集设备直接采集，图像采集设备可以是红外摄像头或在多个集成在触控显示器2上的普通摄像头（通过多机位图像采集的方式获取用户的所在位置）。其中，触控显示设备用于初步判断用户触控位置（可作为调用对应图像采集设备的控制依据），将其转化为对应的操控位置，再基于图像采集设备采集的用户手部图像生成准确的用户手部数据以及操控位置。

[0035] 其中，用户位置数据和用户手部数据对应操控位置数据和操控手势数据，用户位置数据和用户手部数据跟随用户实时产生，而操控位置数据和操控手势数据则用于判断实时产生的用户位置数据和用户手部数据具体是对哪一虚拟对象进行操控以及操控的类型。

[0036] 同时，生成用户手部数据对应的手部映射，该手部映射与用户实时产生的用户位置数据和用户手部数据同步，在本实施例中其主要用于同步加载至后续构建的仿真教学场景中，从而实现对虚拟对象的操控。

[0037] 此外，由于触控显示设备为多个触控显示器2同时为了节约虚拟仿真教学时的成本，应将用户暂时不涉及的触控显示器2处于待机状态，因此，通过图像采集设备同步采集用户的可视角信息（用户正面朝向范围内可以看到的区域），同时结合用户的位置信息在设置的多个触控显示器2中切换现实验证场景位置，确保现实验证场景能够跟随用户操控而切换。在其他实施例中，也可采用单个触控显示器2，但配备有触控显示器2位置和角度切换的结构，根据用户的位置信息和可视角信息控制单个触控显示器2在限定的位置范围内切换位置和角度，以达到设置多个触控显示器2相似的效果。

[0038] 然后，将虚拟映射划分为若干个第一单位区域，将现实映射划分为若干个第二单位区域，其中第一单位区域和第二单位区域的尺寸可根据实际情况进行调整，由于第一单位区域和第二单位区域的尺寸越小，后续具有的用于检测用户操作的验证点位也就越多，因此，二者的尺寸与操控的精度需求成反比，即对于操控精度需求较高的虚拟仿真实践教学，则应当将第一单位区域和第二单位区域的尺寸设置得相对较小。且需确保第一单位区域与第二单位区域数量相同，在本实施例中则是虚拟映射被划分为的第一单位区域的数量与多个触控显示器2内可呈现的现实验证场景的现实映射被划分为的第二单位区域的数量相等。

[0039] 在虚拟教学场景和现实验证场景中分别提取若干子虚拟映射（子虚拟映射为一个和多个第一单位区域）和子现实映射（子现实映射为一个和多个第二单位区域）。且子虚拟映射包含的第一单位区域与子现实映射包含的第二单位区域所覆盖的区域不应有重叠，且二者的总数量应该与第一单位区域数量相等，即正好能够组合构建一个与虚拟教学场景相同的仿真教学场景。

[0040] 将子虚拟映射和子现实映射组合构建仿真教学场景，该仿真教学场景结合了虚拟教学场景中所需呈现的虚拟对象和现实验证场景中的验证点位，验证点位用于对用户的操作进行验证，以提供更加接近实际操作的反馈。为了确保每个虚拟对象均具备验证能力，在子现实映射包含的各第二单位区域内应均至少包含有虚拟教学场景中的虚拟对象的部分，以确保用户操控任意虚拟对象时均能够得到操作验证。

[0041] 然后，将手部映射同步加载至仿真教学场景，在本实施例中仿真教学场景最终通过头部穿戴设备1呈现给用户，用户的手部数据则随仿真教学场景一同在头部穿戴设备1呈现。对于手部数据中的操控手势则通过穿戴设备采集，具体则是VR手套；操控手势包括手部形态和施加力度，施加力度则主要通过VR手套进行采集，手部形态则可以通过触控显示设备和图像采集设备辅助检测。

[0042] 具体地，显示设备接收到用户在现实验证场景上的触控信号后，判断用户与现实验证场景之间的第一触控方式，并结合图像采集设备对第一触控方式进行验证，获取最终的第二触控方式，通过第二触控方式生成对应的操控验证手势，将穿戴设备采集的用户的操控手势与操控验证手势对比，获取用户的操控手势。例如：用户按压虚拟对象中器件的开关，由于用户对虚拟对象进行操控时均会与触控显示设备产生交互（触控），按压开关则可能是手指尖与触控显示设备产生交互，从而判断用户与现实验证场景之间的第一触控方式（按压或推动某部件）；结合图像采集设备采集用户手部图像，验证判断第一触控方式获取第二触控方式（若同样为按压或推动动作，则判断其为按压或推动某部件）。最后与穿戴设备采集的用户的手部形态对比判断，再结合施加力度生成其拟执行的操控手势。

[0043] 最后，基于用户位置数据和用户的手部映射在仿真教学场景中的操控手势，控制虚拟教学场景中的虚拟对象执行相应的响应。

[0044] 具体地，结合图4所示，假设具有了一个由六个触控显示设备组成的场景，通过上述步骤构建出一个仿真教学场景并通过头部穿戴设备1呈现给用户，教学过程中涉及的现实验证教学场景在各触控显示器2中进行呈现。因此，用户在仿真教学场景中进行操作时，除用户外的其他人员可在触控显示器2中获取用户的操作情况。

[0045] 如图4中（4a）所示，用户在仿真教学场景下进行某项操控，由于用户操控的虚拟对象均属于某一子现实映射，因此用户在操控虚拟对象时，手部需与触控显示器2交互（触控），从而仿真教学场景中相应的虚拟对象会执行相应的响应。具体的虚拟对象以及执行的响应则由用户的操控位置和手部映射在仿真教学场景中的操控手势决定，图4中（4a）的用户所处位置则为用户位置数据，箭头指示位置则为用户的操控位置，手部映射在仿真教学场景中的操控手势则与用户在现实中的手势对应，具体则是通过穿戴设备、触控显示器2和图像采集设备协同获取，此处不再赘述。如图4中（4b）所示，用户在在仿真教学场景下进行某项操控但操控位置较图4中（4a）发生了改变，且用户的可视角信息发生了变化，因此，切换可视角信息对应区域内的触控显示器2呈现现实验证教学场景，优选的，可视角信息正向以及左右两侧触控显示器2保持开启状态，其余触控显示器2切换为待机状态，从而使用户在该场景下完成完整的虚拟仿真教学。

[0046] 此外，结合图2所示，本实施例还提供了一种虚拟仿真教学系统，其主要包括虚拟模块、验证模块和处理模块。

[0047] 虚拟模块用于生成不受位置限定的虚拟教学场景及其对应的虚拟映射，并获取虚拟教学场景中的虚拟对象的操控数据，操控数据至少包括操控位置数据和操控手势数据。

[0048] 验证模块用于生成与虚拟教学场景对应但受位置限定的现实验证场景及其对应的现实映射；并采集用户位置数据和用户手部数据，生成用户手部数据对应的手部映射。

[0049] 处理模块用于在虚拟教学场景和现实验证场景中分别提取若干子虚拟映射和子现实映射，将子虚拟映射和子现实映射组合构建仿真教学场景，将手部映射同步投影至仿真教学场景；基于用户位置数据和用户的手部映射在仿真教学场景中的操控手势，控制虚拟教学场景中的虚拟对象执行相应的响应。该系统具体的操控逻辑与上述的虚拟仿真教学方法对应，此处不再赘述。

[0050] 此外，结合图3所示，本实施例还提供了一种虚拟仿真教学计算机设备，包括一个或多个处理器和存储器；存储器内储存有与上述的虚拟仿真教学方法对应的控制指令；处理器用于接收用户控制信号，执行储存器内储存的控制指令。该虚拟仿真教学计算机设备具体的操控逻辑同样与上述的虚拟仿真教学方法对应，此处不再赘述。

[0051] 实施例2：与实施例1的不同之处在于，根据操控位置数据和用户位置数据同步放大或缩小虚拟映射和现实映射，从而使最终构建的虚拟仿真场景中的虚拟对象可随用户的移动而放大或缩小，使虚拟仿真场景中的虚拟对象更加接近实际情况。

[0052] 在将手部映射同步加载至仿真教学场景前，检测虚拟映射与现实映射的重合度，在虚拟映射与现实映射的重合度大于阈值时，再将手部映射同步加载至仿真教学场景，确保构建的虚拟仿真场景准确稳定，并在具备可操作性时再将用户的手部映射同步加载至仿真教学场景，使用户可进行相应的操控。

[0053] 对于虚拟映射与现实映射的重合度，通过如下方式获取：获取虚拟映射的第一边界和现实映射的第二边界，构建虚拟空间坐标系，虚拟空间坐标系为三维坐标系，赋予第一边界和第二边界在虚拟空间坐标系内的坐标。

[0054] 基于第一边界和第二边界在虚拟空间坐标系内的坐标，计算第一边界与第二边界间距，当各第一边界与各第二边界间距均小于阈值时，则判断虚拟映射与现实映射的重合度大于阈值。

[0055] 此外，还获取现实对象（教学开展场景下的现实对象）的第三边界，赋予第三边界在虚拟空间坐标系内的坐标，并检测第三边界是否位于虚拟映射内，当第三边界位于虚拟映射内时，发出提示信号（文字提示、语音提示等），避免用户与其产生接触干扰虚拟仿真教学。

[0056] 实施例3：与实施例2的不同之处在于，构建操控数据库和识别模型（基于用户信息和用户的多种操控手势完成预先训练）；操控数据库用于储存虚拟教学场景中的虚拟对象的操控数据，实时获取手部映射在仿真教学场景中的操控手势，检索与手部映射在仿真教学场景中的操控手势对应的操控手势数据。并根据检索结果执行以下操控：若在操控数据库中检索到与手部映射在仿真教学场景中的操控手势对应的操控手势数据，则直接控制虚拟教学场景中的虚拟对象执行相应的响应。

[0057] 若在操控数据库中未检索到与手部映射在仿真教学场景中的操控手势对应的操控手势数据，则获取用户信息，并将用户信息随手部映射在仿真教学场景中的操控手势输入到已训练的识别模型（识别模型基于卷积神经网络构建，其训练方式为较成熟的现有技术，此处不再赘述），识别模型输出与在操控数据库中未检索到的手部映射在仿真教学场景中的操控手势对应的操控手势数据，再控制虚拟教学场景中的虚拟对象执行相应的响应。通过获取用户信息，识别模型可自主识别用户的操作习惯，在进行某些操作时允许用户采用适合个人且被行业规范所允许的操控动作。

[0058] 显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。