[0001] 本发明属于医疗考核技术领域，具体涉及一种基于人工智能的内镜情景模拟教学考核自动评分方法及系统。

[0002] 内镜模拟教学是借助模拟系统对医学生或医生进行内镜相关知识与技能教学的一种方式。传统的内镜教学直接在患者身上进行操作练习存在风险，而模拟教学能让学员在安全的环境下反复练习内镜的操作技巧，如内镜的插入、移动、观察等基本操作，像在泌尿内镜模拟教学中，学员可以练习硬性膀胱镜、硬性输尿管镜等的使用操作，熟悉泌尿系统的解剖结构和操作手感。学员可以通过模拟系统更直观地了解内镜的构造、原理，以及内镜检查的适应症、禁忌症等理论知识。例如在消化内镜模拟教学系统中，学员可以更好地理解内镜在消化道疾病诊断和治疗中的应用原理等相关知识。在临床实际操作内镜前，学员通过模拟系统进行大量的练习，减少在真实患者身上操作时可能出现的失误，从而保障患者的安全，提高医疗质量。

[0003] 目前，模拟教学考核以纳入多家医院考核体系，但对于其评分仍多采用人工评分法，效率低且较为主观，同时需要更多人力资源，且对于考核内容的划定较为单一。

[0053] 为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

[0054] 本发明的工作原理及使用流程：

[0055] 请参阅图1，一种基于人工智能的内镜情景模拟教学考核自动评分方法，包括：

[0056] S1：获取内镜模拟情景，所述内镜模拟场景为包含有病灶的患病器官内部模拟场景，所述患病器官内部包括但不限于胃部、小肠内部、结肠内部，获取所述内镜模拟情景中的标准病灶信息，所述标准病灶信息包括标准病灶位置、标准病灶尺寸、标准病灶类型；

[0057] S2：考生通过虚拟现实设备在所述内镜模拟情景中进行模拟教学考核，所述模拟教学考核包括持镜姿态考核、内镜操作考核、病灶判断考核；

[0058] 所述持镜姿态考核为考生握持内镜姿势标准程度的考核，所述内镜操作考核为考生使用模拟内镜在所述内镜模拟情景寻找病灶过程中对于持镜力度、持镜平稳性、病患感知的考核，所述病灶判断考核为考生对于病灶位置、病灶尺寸、病灶类型判断的准确程度的考核；

[0059] S3：获取教学考核数据，所述教学考核数据包括持镜姿态相似度、内镜操作考核数据、病灶判断吻合度，所述内镜操作考核数据包括持镜力度适中度、持镜平稳度、病患模拟疼痛度；

[0060] S4：根据所述教学考核数据计算教学考核评分，计算公式为J＝C+F+U+A‑W其中，J为教学考核评分，C为持镜姿态相似度，F为持镜力度适中度，U为持镜平稳度，A为病灶判断吻合度，W为病患模拟疼痛度。

[0061] 在本实施例中，获取教学考核数据，所述教学考核数据包括持镜姿态相似度、内镜操作考核数据、病灶判断吻合度，具体可通过以下步骤实施：

[0062] S301：通过构建三维手部骨架模型获取所述持镜姿态相似度；

[0063] S302：根据传感器获取所述内镜操作考核数据；

[0064] S303：根据所述标准病灶信息获取所述病灶判断吻合度；

[0065] 获取考生作答病灶信息，所述考生作答病灶信息包括考生作答病灶位置、考生作答病灶尺寸、考生作答病灶类型，通过对比所述考生作答病灶信息和所述标准病灶信息获取所述病灶判断吻合度，所述病灶判断吻合度为所述考生作答病灶信息和所述标准病灶信息的相似程度，单位为％。

[0066] 在本实施例中，通过构建三维手部骨架模型获取所述持镜姿态相似度，具体可通过以下步骤实施：

[0067] S301‑1：构建所述三维手部骨架模型；

[0068] S301‑2：根据所述三维手部骨架模型获取所述持镜姿态相似度。

[0069] 在本实施例中，构建所述三维手部骨架模型，具体可通过以下步骤实施：

[0070] 通过相机捕捉手部姿态视频并分帧处理，所述相机跟随考生手部运动，确保考生手部始终处于相机捕捉画面内部，随机选取手部特征点，获取手部特征点相机坐标，所述手部特征点相机坐标包括第一手部特征点相机坐标、第二手部特征点相机坐标、…、第n手部特征点相机坐标，n为手部姿态视频总帧数，所述第一手部特征点相机坐标为第一帧时所述手部特征点在相机上的成像平面坐标，所述第二手部特征点相机坐标为第二帧时所述手部特征点在相机上的成像平面坐标，所述第n手部特征点相机坐标为第n帧时所述手部特征点在相机上的成像平面坐标；

[0071] 获取姿态捕捉位置，所述姿态捕捉位置包括第一姿态捕捉位置、第二姿态捕捉位置、…、第n姿态捕捉位置，所述第一姿态捕捉位置为第一帧时相机所处位置，所述第二姿态捕捉位置为第二帧时相机所处位置，所述第n姿态捕捉位置为第n帧时相机所处位置；

[0072] 获取位姿变换公式，所述位姿变换公式的表达式为其中， 为第i姿态捕捉位置指向第j姿态捕捉位置的
向量，Rij为姿态转换参数，Pi为第i手部特征点相机坐标，Pj为第j手部特征点相机坐标，n为手部姿态视频总帧数；

[0073] 根据所述位姿变换公式获取所述姿态转换参数，根据所述姿态转换参数获取位姿转换矩阵，所述位姿转换矩阵的表达式为 其中，Tij为手部特征点从第i姿态捕捉位置到第j姿态捕捉位置的位姿转换矩阵；

[0074] 以第一帧相机原点作为世界坐标系的原点，根据所述位姿转换矩阵计算所述手部特征点在世界坐标系下的手部特征点世界坐标，计算公式为 其中， 为第i帧的手部特征点世界坐标，T12为手部特征点从第一姿态捕捉位置到第二姿态捕捉位置的位姿转换矩阵，T23为手部特征点从第二姿态捕捉位置到第三姿态捕捉位置的位姿转换矩阵，Ti(i‑1)为手部特征点从第i姿态捕捉位置到第i‑1姿态捕捉位置的位姿转换矩阵，Pi为第i手部特征点相机坐标；

[0075] 类推得到所有手部特征点的所述手部特征点世界坐标并构建所述三维手部骨架模型，充分利用了人体特征点和动作间的空间关系，通过时空叠加得到骨架，消除个体差异，所述三维手部骨架模型包括第一帧三维手部骨架模型、第二帧三维手部骨架模型、…、第n帧三维手部骨架模型。

[0076] 在本实施例中，根据所述三维手部骨架模型获取所述持镜姿态相似度，具体可通过以下步骤实施：

[0077] 获取标准姿态三维手部骨架模型，所述标准姿态三维手部骨架模型包括第一帧标准姿态三维手部骨架模型、第二帧标准姿态三维手部骨架模型、…、第n帧标准姿态三维手部骨架模型，获取手部骨连结，所述手部骨连结包括第一手部骨连结、第二手部骨连结、…、第M手部骨连结；

[0078] 基于所述标准姿态三维手部骨架模型获取标准姿态向量，所述标准姿态向量包括第一标准姿态向量、第二标准姿态向量、…第M‑1标准姿态向量，所述标准姿态向量为所述标准姿态三维手部骨架模型中第m手部骨连结指向第m+1手部骨连结的向量，m∈M‑1；

[0079] 基于所述三维手部骨架模型获取姿态向量，所述姿态向量包括第一姿态向量、第二姿态向量、…第M‑1姿态向量，所述姿态向量为所述三维手部骨架模型中第m手部骨连结指向第m+1手部骨连结的向量，m∈M‑1；

[0080] 基于所述标准姿态向量和所述姿态向量计算所述持镜姿态相似度，计算公式为其中，C为持镜姿态相似度，n为手部姿态视频总帧数，M为手部骨连结总数，(xαm,yαm,zαm)为第i帧的第m标准姿态向量的坐标，(xβm,yβm,zβm)为第i帧的第m姿态向量的坐标。

[0081] 在本实施例中，根据传感器获取所述内镜操作考核数据，具体可通过以下步骤实施：

[0082] S302‑1：预设持镜力度阈值范围，通过力度传感器获取考生持镜力度并统计所述考生持镜力度超出所述持镜力度阈值范围的力度不当次数，根据所述力度不当次数计算所述持镜力度适中度，计算公式为 其中，F为持镜力度适中度，D为力度不当次数；

[0083] S302‑2：预设持镜平稳度阈值范围，通过平稳度传感器获取考生持镜平稳度并统计所述考生持镜平稳度超出所述持镜平稳度阈值范围的平稳度不当次数，根据所述平稳度不当次数计算所述持镜平稳度，计算公式为 其中，U为持镜平稳度，T为平稳度不当次数；

[0084] S302‑3：通过构造改进包围盒获取所述病患模拟疼痛度，所述改进包围盒为可以包裹当前内镜探测部位的体积最小的长方体，紧密性较好；

[0085] 获取组成所述当前内镜探测部位的三角面集合并得到三角面顶点坐标Or(x1r,y1r,z1r)、Pr(x2r,y2r,z2r)、Qr(x3r,y3r,z3r)，r＝1,2,…,R，R为所述三角面集合中三角面个数，根据所述三角面顶点坐标计算改进包围盒均值，计算公式为其中，E为
改进包围盒均值，Ex为X轴方向改进包围盒均值，Ey为Y轴方向改进包围盒均值，Ez为Z轴方向改进包围盒均值，R为三角面个数，(x1r,y1r,z1r)、(x2r,y2r,z2r)、(x3r,y3r,z3r)为第r个三角面的三角面顶点坐标；

[0086] 根据所述改进包围盒均值计算改进包围盒协方差，计算公式为其中，κ为改进包围盒协方差，κ(x，y)为XY轴改进包围
盒协方差，κ(x，x)为X轴改进包围盒协方差，κ(x，z)为XZ轴改进包围盒协方差，κ(y，y)为Y轴改进包围盒协方差，κ(y，z)为YZ轴改进包围盒协方差，κ(z，z)为Z轴改进包围盒协方差，(x,y,z)为改进包围盒中任一点；

[0087] 根据所述改进包围盒协方差得到协方差矩阵，所述协方差矩阵的数学描述为其中，L为协方差矩阵；

[0088] 所述协方差矩阵的每一行分别为第一特征向量、第二特征向量、第三特征向量，取所述第一特征向量、所述第二特征向量、所述第三特征向量的单位长度方向作为所述改进包围盒的基底坐标轴，所述基底坐标轴包括第一基底坐标轴、第二基底坐标轴、第三基底坐标轴，取所述当前内镜探测部位的各顶点在所述基底坐标轴上的投影作为所述改进包围盒的边长构建所述改进包围盒；

[0089] 获取镜盒距离，所述镜盒距离为模拟内镜的头部到所述改进包围盒的中心点的距离，当所述镜盒距离大于等于改进包围盒半短边长度时，输出内镜触碰实体信息，当所述镜盒距离小于所述改进包围盒半短边长度时，输出内镜未触碰实体信息，所述改进包围盒半短边长度为所述改进包围盒最短边长的一半长度；

[0090] 当输出所述内镜触碰实体信息时，获取触碰实体时间和触碰实体次数，所述触碰实体时间为输出所述内镜触碰实体信息的总时长，所述触碰实体次数为输出所述内镜触碰实体信息的总次数；

[0091] 根据所述触碰实体次数和所述触碰实体时间计算所述病患模拟疼痛度，计算公式为 其中，W为病患模拟疼痛度，G为触碰实体次数，t为触碰实体时间，单位为分钟。

[0092] 一种基于人工智能的内镜情景模拟教学考核自动评分系统，包括教学考核模块、考核数据获取模块、考核评分模块。

[0093] 所述教学考核模块用于获取内镜模拟情景，所述内镜模拟场景为包含有病灶的患病器官内部模拟场景，所述患病器官内部包括但不限于胃部、小肠内部、结肠内部，获取所述内镜模拟情景中的标准病灶信息，所述标准病灶信息包括标准病灶位置、标准病灶尺寸、标准病灶类型；考生通过虚拟现实设备在所述内镜模拟情景中进行模拟教学考核，所述模拟教学考核包括持镜姿态考核、内镜操作考核、病灶判断考核；

[0094] 所述考核数据获取模块用于获取教学考核数据，所述教学考核数据包括持镜姿态相似度、内镜操作考核数据、病灶判断吻合度，所述内镜操作考核数据包括持镜力度适中度、持镜平稳度、病患模拟疼痛度；

[0095] 所述考核评分模块用于根据所述教学考核数据计算教学考核评分。

[0096] 本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以但不限于电、磁、光、电磁、红外线，或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD‑ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

[0097] 计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

[0098] 计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

[0099] 以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简洁修改、等同变化与修饰，均仍属于本发明技术方案的范围内。