[0001] 本申请涉及一种基于虚拟现实的人机互动技术领域，特别是涉及一种基于虚拟现实的眼眶手术训练系统。

[0002] 肿瘤、炎症和外伤可引起眼眶结构破坏，导致眼球位移、复视、视力下降，甚至失明，手术是眼眶病的主要治疗手段。然而眼眶解剖结构复杂、空间狭小，眶内重要结构云集，手术视野差、暴露困难、手术风险高、难度大、精确性低。当前眼眶医生术中使用的最先进的内镜导航技术仅能解决眼眶深部无法直视和定位的难题，然而如何实现术前设计方案向术中操作精准、稳定、安全的转移是目前临床亟待解决的难题。手术经验的积累是当前提高手术路径选择准确性、术中切割、截骨、复位、固定、打磨和钻孔等操作精确性的唯一方法，以此来提高眼眶手术的精确性和安全性。但眼眶手术的高风险和对手术技巧的高要求使得眼眶外科医生的成长曲线非常陡峭，在临床中的缓慢经验积累严重限制了眼眶外科医生的成长，进而严重限制了眼眶病的治疗水平，造成巨大的社会负担。现有培训系统普遍具有针对性不足、规范性缺失、仿真程度低、交互性差、触觉反馈缺失、警报机制缺失、实时引导缺失、特殊病例个性化培训缺失、造价高昂等一方面或几方面的缺陷，限制了其应用价值和可推广性。其研发因临床专业性不足、技术深度广度不足和合作失效导致多停留于简单的图形展示层面，可用性差。因此，一套可复制、可评价的眼眶外科医生培训设备被行业所亟需。实用新型内容

[0003] 鉴于以上所述现有技术的缺点，本申请要解决的技术问题在于提供一种基于虚拟现实的眼眶手术训练系统，用于解决现有技术问题。

[0004] 为实现上述目的及其他相关目的，本申请提供一种基于虚拟现实的眼眶手术训练系统，所述系统包括：三维模型库，用于存储一或多个三维组织器官模型；VR穿戴单元，用于依据选择的所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；包含力反馈单元与定位单元的操作单元，用于在所述虚拟现实环境中对所述三维组织器官模型进行操作；所述定位单元获得的实时的三维定位信息作为令所述力反馈单元产生相应力反馈感知的基础；所述定位单元包括感应传感器；依据所述定位单元实时追踪所述操作单元的精确位置并得到整个手术训练过程的操作轨迹，以供引导提示或进行评价/打分。

[0005] 于本申请明的一实施例中，所述操作单元为力反馈操作杆或力反馈手套。

[0006] 于本申请明的一实施例中，所述力反馈单元包括受动器，通过产生相应力度的震动以表示相应力反馈感知。

[0007] 于本申请明的一实施例中，所述三维模型库中所存储的所述三维组织器官模型上预设有对应手术路径中每一步骤的位置标注，以作为供引导提示或进行评价/打分的参考。

[0008] 于本申请明的一实施例中，感应传感器为红外感应器或磁感应器。

[0009] 于本申请明的一实施例中，所述操作单元还包括通信单元，用于传输所述三维定位信息和/或控制所述力反馈单元产生相应力反馈感知的控制信号。

[0010] 于本申请明的一实施例中，所述通信单元的通信方式包括：WIFI、NFC、蓝牙、以太网、 GSM、4G、及GPRS中任意一种或多种组合。

[0011] 于本申请明的一实施例中，所述VR穿戴单元为VR眼镜或VR头盔。

[0012] 于本申请明的一实施例中，所述三维模型库还用于存储手术环境模型及手术器械模型。

[0013] 如上所述，本申请提供的一种虚拟现实的眼眶手术训练系统和存储介质。所述系统包括：三维模型库，用于存储一或多个三维组织器官模型；VR穿戴单元，用于依据选择的所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；包含力反馈单元与定位单元的操作单元，用于在所述虚拟现实环境中对所述三维组织器官模型进行操作，并依据所述定位单元获得的实时的三维定位信息令所述力反馈单元产生相应力反馈感知。

[0014] 达到了以下有益效果：

[0015] 本申请能够规范手术训练，仿真程度高，交互效果好，并且相应基础设备成本适中，便于大规模的推广和应用，同时还可以进一步为真实临床方案提供更多的可行性建议。

[0018] 以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

[0019] 下面以附图为参考，针对本申请的实施例进行详细说明，以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现，并不限定于此处说明的实施例。

[0020] 为了明确说明本申请，省略与说明无关的部件，对于通篇说明书中相同或类似的构成要素，赋予了相同的参照符号。

[0021] 在通篇说明书中，当说某部件与另一部件“连接”时，这不仅包括“直接连接”的情形，也包括在其中间把其它元件置于其间而“间接连接”的情形。另外，当说某种部件“包括”某种构成要素时，只要没有特别相反的记载，则并非将其它构成要素排除在外，而是意味着可以还包括其它构成要素。

[0022] 当说某部件在另一部件“之上”时，这可以是直接在另一部件之上，但也可以在其之间伴随着其它部件。当对照地说某部件“直接”在另一部件“之上”时，其之间不伴随其它部件。

[0023] 虽然在一些实例中术语第一、第二等在本文中用来描述各种元件，但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如，第一接口及第二接口等描述。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“A、B 或C”或者“A、B和/或C”意味着“以下任一个：A；B；C；A和B；A和C；B和C；A、 B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。

[0024] 此处使用的专业术语只用于言及特定实施例，并非意在限定本申请。此处使用的单数形态，只要语句未明确表示出与之相反的意义，那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成分具体化，并非排除其它特性、区域、整数、步骤、作业、要素及/或成分的存在或附加。

[0025] 表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一部件相对于另一部件的关系而使用。这种术语是指，不仅是在附图中所指的意义，还包括使用中的装置的其它意义或作业。例如，如果翻转附图中的装置，曾说明为在其它部件“下”的某部件则说明为在其它部件“上”。因此，所谓“下”的示例性术语，全部包括上与下方。装置可以旋转90°或其它角度，代表相对空间的术语也据此来解释。

[0026] 虽然未不同地定义，但包括此处使用的技术术语及科学术语，所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的内容相符的意义，只要未进行定义，不得过度解释为理想的或非常公式性的意义。

[0027] 对住院医生和医学生而言，实践操作是最理想的培训形式。然而参与手术的机会较少，无法满足大量的需求。在虚拟现实出现前，台式模拟器、视频训练器等是学员提高手术技能的最佳工具。虚拟现实技术的优势在于，可以提供沉浸式体验，让学员在“近现实”的人工环境下进行学习。目前已经针对机器人手术推出了几款VR模拟器，如外科教育平台，机器人手术系统，达芬奇技能模拟器，以及最近推出的RobotiXMentor。这些模拟器在泌尿外科、心血管外科、神经外科等都已逐渐投入使用。

[0028] 然而，眼科由于其特殊性，要求眼科手术机器人必须在解剖学上受限的环境中提供高精度。传统的手术机器人在眼科的应用受限，且现有对于眼科机器人的研究仅限于眼表、内眼手术，还没有手术机器人被应用于眼眶病，也没有相应的培训系统；而眼眶外科医生培养困难、耗时长，这对于专科人才的建设有极大的限制。因此，迫切需要针对眼眶手术的培训系统来克服这一难题。

[0029] 承上所述，因眼眶手术操作复杂，操作机会少，医生成长困难，经验积累缓慢。另外，仿真模型价格动辄几十万，无法用于日常联系。为便于医生和医学院学生的临床经验的迅速培养，本申请提供一种基于虚拟现实的眼眶手术训练系统。

[0030] 为便于理解，如图1所示，展示为本申请于一实施例中的基于虚拟现实的眼眶手术训练系统的场景示意图。如图所示，该系统主要包括：计算机1、虚拟现实(VR)穿戴设备2、及力反馈操作装置3。

[0031] 简单来说，主要通过计算机1存储组织器官三维模型，而所述组织器官三维模型可以通过针对眼眶的CT或MRI等扫描数据来构建。

[0032] 举例来说，可以根据采集的实际患者情况，构建出包含不同病例或病情的三维组织器官模型。

[0033] 另外，同时还可以存储手术环境模型，如包含手术室、手术台、病床等，还可以存储包含不同的手术器械模型(虚拟的)，如手术刀、锯、钳子、缝针等，需说明的是，这里的手术器械模型还可以是真实的手术工具或实体模具，通过在手术工具上设置感应传感器以实时获取其相应位置。

[0034] 这里需要说明的是，所述计算机1主要的任务是存在各种模型，而并非构建各种模型，即所述计算机1存储的是已构建好的各种模型。

[0035] 所述虚拟现实(VR)穿戴设备2，可以是VR头盔或VR眼镜，将计算机1构建并存储的三维组织器官模型(或连同手术环境模型、手术工具模型)，导入虚拟现实(VR)穿戴设备2，以通过所述虚拟现实(VR)穿戴设备2提供虚拟显示，通过虚拟现实(VR)穿戴设备 2可以从任意角度观察病灶处(眼眶)。

[0036] 所述力反馈操作装置3可以是如图所示的力反馈操作杆，还可以是力反馈操作手套。在力反馈操作装置3上设置有力反馈单元和通过感应传感器进行定位的定位单元，操作者通过操作力反馈操作装置3能够在虚拟环境呈现相应操作。

[0037] 再通过计算机1获取力反馈操作装置3的实时三维位置，并结合虚拟场景，在当力反馈操作装置3的三维位置(或虚拟手术器械或真实手术器械的三维位置)与虚拟场景中的三维组织器官模型发生碰撞时，相应计算出实际可能受到的力，以及实际所述三维组织器官模型相应的形变，并且通过力反馈操作装置3传动出相应的力反馈感知，增强操作者的实际触感，并且通过所述三维组织器官模型相应的形变带来“近现实”的视觉感受。从而极大提高沉浸式的体验。

[0038] 具体来说，力反馈操作装置3融合到虚拟现实(VR)穿戴设备2提供的虚拟现实场景中，可由计算机1依据现有技术场景三维模型的碰撞检测技术，计算相应的形变计算和力计算，而对应的力计算结果传输给力反馈操作装置3相应指令信号，以使所述力反馈操作装置3产生相应的力反馈感知。

[0039] 目前的虚拟现实场景中的碰撞检测主要采用的是两种效率较高的方法即空间分解法和层次包围盒法，需声明的是，本申请所述的碰撞检测技术采用现有技术。

[0040] 本申请所强调的是各设备或结构的功能所协作出来的技术效果，而并非强调具体交互处理过程，各交互处理过程均采用的现有技术。

[0041] 如图2所示，展示为本申请于一实施例中的基于虚拟现实的眼眶手术训练系统的结构示意图。如图所示，所述系统200包括：

[0042] 三维模型库210，用于依据眼眶扫描数据构建并存储一或多个三维组织器官模型；

[0043] VR穿戴单元220，用于依据选择的所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；

[0044] 包含力反馈单元231与立体定位单元232的操作单元230，包含力反馈单元231与定位单元的操作单元232，用于在所述虚拟现实环境中对所述三维组织器官模型进行操作；所述定位单元232获得的实时的三维定位信息作为令所述力反馈单元231产生相应力反馈感知的基础。

[0045] 所述操作单元230优选为力反馈操作杆(如图1中所述的力反馈操作装置3)或力反馈手套；所述VR穿戴单元220(如图1中所述的虚拟现实穿戴设备2)优选为VR眼镜或VR 头盔。

[0046] 于本申请的一实施例中，所述力反馈单元231包括受动器，通过产生相应力度的震动以表示相应力反馈感知。

[0047] 举例来说，可以由计算机或处理器依据所述定位单元232获得的实时的三维定位信息，判断在VR穿戴单元220中与所述三维组织器官模型是否发生碰撞，该判断方法可采用现有技术场景三维模型的碰撞检测技术，计算相应的形变计算和力计算，而对应的力计算结果对应的指令信息传输给所述力反馈单元231的受动器，以使其产生相应程度的震动，从而使操作者感受到相应的力反馈感知，加深真实感受。

[0048] 需声明的是，本申请所强调的是各设备或结构的功能所协作出来的技术效果，而并非强调具体交互处理过程，各交互处理过程均采用的现有技术。

[0049] 于本申请的一实施例中，所述定位单元232包括感应传感器；依据所述定位单元232实时追踪所述操作单元430的精确位置并得到整个手术训练过程的操作轨迹，以供引导提示或进行评价/打分。

[0050] 于本申请的一实施例中，感应传感器优选为红外感应器或磁感应器。

[0051] 另外，所述感应传感器可以包括多功能传感器，或者，还可以是红外光发射接收组件，通过在所述操作单元230(操作杆或手套)上设置易于红外光感应的标记物，以实时接收到感应信号，从而检测到所述操作单元230的实时三维位置坐标。

[0052] 于本实施例中，依据所述定位单元232能够实时追踪所述操作单元230的精确位置，通过对这些数据整合分析，可以得到整个手术训练过程中的操作轨迹。

[0053] 于本申请的一实施例中，所述三维模型库210中所存储的所述三维组织器官模型上预设有对应手术路径中每一步骤的位置标注，以作为供引导提示或进行评价/打分的参考。

[0054] 即通过对存入所述三维模型库210中的所述三维组织器官模型上预设对应手术路径中每一步骤的位置标注，则可形成多种手术规划训练，以作为供引导提示或进行评价/打分的参考。

[0055] 举例来说，基于所述三维组织器官模型预先进行手术路径精确标注(详细到每一刀的具体行进路径)提供了训练、评判和错误操作报警的准绳。通过操作单元230的定位单元232 获取到实时三维位置信息，依此来判断操作者是否规范，并给予及时的引导提示或进行评价/ 打分的参考。

[0056] 例如经典的手术规划训练可以包括：前路开眶术、外侧开眶术、经筛窦内侧开眶术、外侧结合内侧开眶术、经颅开眶术，以及具体手术情况下的眼眶前上部病变手术入路，中上部病变的手术入路、下部病变的手术入路、中后部病变的手术入路、视神经及其附近病变的手术入路、眼眶内侧病变的手术入路、眶上裂附近病变的手术入路、充满眼眶及眼球周围病变的手术入路等，能够极大丰富手术训练的内容，提升医生或学生的实操经验。

[0057] 需说明的是，力触觉人机交互技术是虚拟现实中人机交互的重要组成部分，精密的力反馈元件可以模拟各种触觉现象，精密磨合后有望复制眼眶手术当中各类操作的真实反馈，切实起到实训的作用。

[0058] 于本实施例中，所述操作单元230满足眼眶模拟手术的具体需求：平移直径不小于 100mm，各向旋转不小于180°，持续力12N，抓取力±8N；直线位移分辨率小于0.01mm，旋转位移分辨率小于0.09°，抓取位移小于0.006mm。

[0059] 于本实施例中，为提高传输所述三维定位信息(由所述定位单元232提供的三维位置信息)和/或控制所述力反馈单元产生相应力反馈感知的控制信号(向所述力反馈单元231发送的控制受动器震动的信号)的精准性和稳定性，所述操作单元230还可以包括通信单元。

[0060] 具体来说，所述通信单元的通信方式包括：WIFI、NFC、蓝牙、以太网、GSM、4G、及 GPRS中任意一种或多种组合。

[0061] 于本实施例中，所述通信方式的网络通信方式包括：互联网、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。

[0062] 于本申请的一实施例中，所述三维模型库210还用于存储手术环境模型及手术器械模型.

[0063] 于本实施例中，为使虚拟训练环境更加真实，在提供所述三维组织器官模型的同时，还可以提供手术环境模型，以及手术工具模型。

[0064] 例如，手术环境模型包含手术室、手术台、病床等。

[0065] 再例如，所述手术器械工具可以包括：牵引器械、牵开器、剥离子、骨凿、刮匙、鼻窦钳、骨钳、Stryker锯、动力系统、骨锤、手术显微镜及放大镜、脑膜剪、电刀、电凝、电钻、吸引器、眼科剪、眼科镊、斜视钩、脑压板、血管钳、持针器、眼睑拉钩、甲状腺拉钩、咬骨钳、骨蜡、刀柄、刀片等。

[0066] 需说明的是，这里的手术器械工具可以是虚拟构建出的三维模型，还可以是由实际的手术器械或实体手术器械模具，通过在其上设置感应传感器以获取在操作过程中的三维位置信息。

[0067] 于本实施例中 ，所述三维模型库210可以包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

[0068] 综上所述，本申请提供的一种基于虚拟现实的眼眶手术训练系统。所述系统包括：三维模型库，用于存储一或多个三维组织器官模型；VR穿戴单元，用于依据选择的所述三维组织器官模型构建虚拟现实环境并提供相应的虚拟显示；包含力反馈单元与定位单元的操作单元，用于在所述虚拟现实环境中对所述三维组织器官模型进行操作；所述定位单元获得的实时的三维定位信息作为令所述力反馈单元产生相应力反馈感知的基础。

[0069] 综上所述，本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。

[0070] 上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。