[0001] 本发明涉及生物医学工程技术领域，尤其涉及一种基于数字孪生数据‑机理驱动的经颅磁刺激方法及装置。

[0002] 神经调控技术是运用电刺激或化学反应的方法,对神经系统(中枢神经、周围神经和自主神经)发挥神经调节作用，或兴奋或抑制，一定程度上可以改善神经功能症状。目前的神经调控技术主要包括经颅磁刺激(TMS)、经颅直流电刺激(tDCS)和经聚焦超声刺激(FUS)等非侵入式方法,以及电极深部脑刺激(DBS)、红外神经刺激(INS)等侵入式方法。以上神经调控技术的出现，将为神经损伤的患者,带来康复新方向。

[0003] 经颅磁刺激(TMS)技术是无创的神经调控技术,它由放置于头皮上的磁性线圈产生的瞬时、高压脉冲产生一个垂直于线圈平面的磁场域,作用于大脑组织并产生感应电流使神经细胞去极化并产生诱发电位。该技术可以用于评价神经电生理传导通路,并已用于脑卒中、抑郁症、自闭症等疾病的神经康复治疗。

[0004] 传统经颅磁刺激过程采用开环靶向刺激方法，对治疗效果评估存在滞后性，忽视实时脑部状态监测，无法对刺激效果及时做出优化调整。同时，由于患者头部在治疗过程中不可避免会产生移动，而传统经颅磁治疗方法使用固定设备阻止患者头部移动，刺激过程中无法保持患者头部绝对静止，导致脉冲刺激无法精准地靶向刺激点，从而使得经颅磁刺激治疗效果不理想。

[0020] 为使本领域的普通技术人员更加清楚地理解本发明的目的、技术方案和优点，以下结合附图和实施例对本发明做进一步的阐述。

[0021] 如图1所示，在本发明一个实施例中，基于数字孪生数据‑机理驱动的经颅磁刺激方法包括有步骤S10‑步骤S80：

[0022] S10、初始化虚拟头部模型的空间位置信息和线圈参数。

[0023] S20、在虚拟空间建立虚拟线圈并进行电磁场仿真，利用模拟网格搜索算法在虚拟空间寻找经颅磁刺激的线圈最优刺激位姿。

[0024] 在具体实施过程中，通过在虚拟空间对脑部电磁场进行有限元模拟，消除有限元电磁场模拟中奇异点的影响，提高脑部电磁场模拟精度，使仿真治疗更贴近真实经颅磁脑部刺激。其中，由所述虚拟头部模型的空间位置信息确定虚拟头部模型在虚拟空间的位置，该虚拟头部模型在虚拟空间的位置与患者头部的真实空间位置相对应；由线圈参数确定虚拟线圈的功率、脉冲、电流变化速率等参数。利用模拟网格搜索算法，在虚拟空间找到虚拟头部模型的目标脑区被电磁场最大限度覆盖时虚拟线圈的位姿，该位姿即为经颅磁刺激的线圈最优刺激位姿。

[0025] S30、根据线圈参数和线圈最优刺激位姿对治疗仪进行控制，以对患者进行经颅磁刺激治疗。

[0026] 在本发明一个实施例中，所述步骤S30进一步包括如下步骤：

[0027] S31、基于线圈当前位姿和线圈最优刺激位姿，利用联合时空状态向量的强化学习算法计算线圈轨迹规划路径，以保证经颅磁线圈移动的安全性。

[0028] S32、根据线圈参数控制治疗仪的线圈的功率、脉冲波形以及电流变化速率，以对患者进行经颅磁刺激治疗；根据线圈轨迹规划路径控制线圈运动直至达到线圈最优刺激位姿，以保证每一次的脉冲刺激都能精准地靶向刺激点。

[0029] S40、获取患者实时脑状态数据以及获取患者头部图像。

[0030] 在治疗仪工作对患者进行经颅磁刺激治疗过程中，通过传感器采集患者的实时脑状态数据作为经颅磁刺激的反馈数据，同时通过相机采集患者头部图像，作为后续调整线圈位姿的参考数据。

[0031] S50、基于获取到的患者实时脑状态数据，利用基于领域自适应的脑功能模型同步演化方法计算当前虚拟脑状态信息，并将当前虚拟脑状态信息更新至脑功能模型。

[0032] 如图2所示，所述利用基于领域自适应的脑功能模型同步演化方法计算当前虚拟脑状态信息的具体步骤包括有：基于获取到的患者实时脑状态数据，引入增量学习理论监测脑部状态时变特征，结合通过领域对抗训练构建的虚实状态映射机制，通过ENTM(Evolutionary neural turing machine，可进化的神经图灵机)方法更新动态数据，防止因脑状态数据动态更新而引起的概念漂移问题，避免脑功能模型及其机理模型产生灾难性遗忘的现象，对脑功能模型及其机理模型进行迭代，实现脑功能模型与真实脑状态信息同步演化，从而得到当前虚拟脑状态信息，并将当前虚拟脑状态信息更新至脑功能模型。

[0033] 如图3所示，在本发明一个实施例中，构建虚实状态映射机制的具体步骤包括：

[0034] S51、基于脑状态信息集合构建特征映射网络，并根据脑状态信息设计特征提取器，将特征提取器生成的特征数据映射到特征空间，特征空间中包含现实域特征分布和虚拟域特征分布。

[0035] S52、基于现实域特征及其分布建立标签分类网络，结合优化的残差网络对特征空间中的现实域数据进行分类；

[0036] S53、利用虚拟域特征及其分布设置域判别网络，采用MMD(最大平均差异准则，Maximum Mean Discrepancy，简称MMD)作为度量准则构建判别器，该判别器用于判断特征数据来自于虚拟域还是现实域；

[0037] S54、基于特征提取器与判别器展开领域对抗训练，实现特征空间的对齐，得出虚拟域与现实域之间的状态映射关系，构建脑功能连接网络与真实大脑间的映射机制，即构建虚实状态映射机制。

[0038] 在本实施例中，根据脑状态信息设计特征提取器，可以使得特征提取器生成特征数据有利于最大化标签分类网络对现实域数据的辨识力并最小化域判别网络对脑状态信息集合的分辨力；通过使用优化的残差网络(ResNet)结合标签分类网络对特征空间中的现实域数据进行分类，可以解决特征分类时深度神经网络隐藏层过多导致的网络退化问题，尽可能对特征空间中的现实域数据做出正确分类；通过构建虚实状态映射机制，在虚拟和现实之间建立明确的一致性，可以缩小虚拟和现实的差距。

[0039] S60、基于获取到的患者头部图像，利用基于视觉伺服的实时靶点配准方法计算虚拟头部模型的当前空间位置信息。

[0040] 如图4所示，所述利用基于视觉伺服的实时靶点配准方法计算虚拟头部模型的当前空间位置信息的具体步骤包括有：

[0041] S61、利用训练好的面部特征点可变数目的深度网络框架，分别对虚拟头部模型与患者头部图像提取虚拟面部特征点云与患者面部特征点云。

[0042] S62、采用基于高斯混合模型(GMM)的点云匹配算法最小化虚拟面部特征点云集合和患者面部特征点云集合之间的差距，结合EM(Expectation‑Maximum，期望最大化)方法迭代求解混合高斯问题以实现虚拟头部模型与患者头部的空间位置信息配准，得到虚拟头部模型的当前空间位置信息。

[0043] 如图5所示，在本发明一个实施例中，训练面部特征点可变数目的深度网络框架的具体步骤包括：

[0044] S601、通过基于深度学习的人脸识别算法提取人脸图像的面部特征点，面部特征点包括轮廓特征点和内部特征点。其中，人脸图像来自于高质量公共数据集，通过对人脸图像进行精细化人脸特征点标注，提取包括下颚轮廓、额头轮廓等轮廓特征点，以及提取包括鼻子、眼睛、嘴巴、眉毛等内部特征点，从而达到面部关键特征的精准识别，从而实现无标定视觉定位。

[0045] S602、采用姿态网络(PoseNet)对人脸姿态进行估计，得出面部姿态估计信息(面部姿态的四元数)。

[0046] S603、利用面部特征点构造树突状结构，结合面部姿态估计信息，利用基于贝叶斯公式的姿势条件树突状卷积神经网络，将三维姿态从人脸图像中分离，可以减少对姿态调节时的定位误差。其中，构造树突状结构的具体步骤包括：以鼻尖特征点为根节点构造树突状结构，将其余面部特征点有序放置在该树状结构下。

[0047] S604、利用剥离三维姿态后的人脸图像和面部特征点作为训练数据，对卷积神经网络进行训练得到面部特征点可变数目的深度网络框架。

[0048] S70、根据患者实时脑状态数据与当前虚拟脑状态信息对治疗效果进行评估，并根据评估结果调整线圈参数，并更新虚拟头部模型的空间位置信息。

[0049] 在具体实施过程中，将通过步骤S50计算得到的当前虚拟脑状态信息与患者实时脑状态数据进行比较来对治疗效果进行评估，并根据评估结果调整线圈参数，例如调整治疗仪的线圈的功率、脉冲波形以及电流变化速率等参数，在目标脑区上实现靶向区域刺激强度水平的优化；同时，更新虚拟头部模型的空间位置信息，为下一阶段的仿真治疗做好准备。

[0050] S80、判断是否结束经颅磁刺激治疗，若是，结束基于数字孪生数据‑机理驱动的经颅磁刺激方法的整个流程；若否，返回步骤S20，再次执行步骤S20至步骤S70。通过重复执行步骤S20至步骤S70，不断将患者实时脑状态数据与当前虚拟脑状态信息进行比对，从而不断优化靶点刺激策略，从而实现虚实双向反馈的闭环治疗策略的优化，提高治疗的有效性。

[0051] 本发明的基于数字孪生数据‑机理驱动的经颅磁刺激方法，基于患者实时脑状态数据，利用基于领域自适应的脑功能模型同步演化方法计算当前虚拟脑状态信息，实现脑功能模型与真实脑状态信息同步演化，从而减少治疗过程中患者脑状态变化信息的滞后感知，再根据患者实时脑状态数据与当前虚拟脑状态信息对治疗效果进行评估，并根据评估结果调整线圈参数，实现机理驱动的闭环控制，并利用动态仿真结果进行刺激方案虚拟预演，实现虚实双向反馈的闭环治疗策略优化，解决了开环靶向刺激方法对治疗效果评估存在滞后性，无法对刺激效果及时做出优化调整的技术问题；此外，通过获取患者头部图像，利用基于视觉伺服的实时靶点配准方法计算虚拟头部模型的当前空间位置信息，实现虚拟头部模型与患者头部的空间位置信息配准，从而实现靶点虚实空间位置信息闭环交互，确保每一次的脉冲刺激都能精准地靶向刺激点，解决了开环靶向刺激方法因无法保持患者头部绝对静止而导致脉冲刺激无法精准地靶向刺激点的技术问题。

[0052] 基于上述基于数字孪生数据‑机理驱动的经颅磁刺激方法，本发明提供了一种基于数字孪生数据‑机理驱动的经颅磁刺激装置。所述基于数字孪生数据‑机理驱动的经颅磁刺激装置可执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法，具备执行方法相应的功能模块和有益效果。

[0053] 如图6所示，在本发明一个实施例中，基于数字孪生数据‑机理驱动的经颅磁刺激装置包括有初始化模块10、虚拟仿真模块20、治疗控制模块30、数据获取模块40、第一计算模块50、第二计算模块60、参数调整模块70及重复调用模块80。

[0054] 初始化模块10，用于初始化虚拟头部模型的空间位置信息和线圈参数，即用于执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法中的步骤S10。

[0055] 虚拟仿真模块20，用于在虚拟空间建立虚拟线圈并进行电磁场仿真，利用模拟网格搜索算法在虚拟空间寻找经颅磁刺激的线圈最优刺激位姿，即用于执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法中的步骤S20。

[0056] 治疗控制模块30，用于根据线圈参数和线圈最优刺激位姿对治疗仪进行控制，以对患者进行经颅磁刺激治疗，即用于执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法中的步骤S30。

[0057] 数据获取模块40，用于获取患者实时脑状态数据以及获取患者头部图像，即用于执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法中的步骤S40。

[0058] 第一计算模块50，用于基于获取到的患者实时脑状态数据，利用基于领域自适应的脑功能模型同步演化方法计算当前虚拟脑状态信息，并将当前虚拟脑状态信息更新至脑功能模型，即用于执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法中的步骤S50。其中，所述利用基于领域自适应的脑功能模型同步演化方法计算当前虚拟脑状态信息的具体步骤包括有：基于获取到的患者实时脑状态数据，引入增量学习理论，结合通过领域对抗训练构建的虚实状态映射机制，通过ENTM方法更新动态数据，对脑功能模型及其机理模型进行迭代，得到当前虚拟脑状态信息。

[0059] 第二计算模块60，用于基于获取到的患者头部图像，利用基于视觉伺服的实时靶点配准方法计算虚拟头部模型的当前空间位置信息，即用于执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法中的步骤S60。其中，所述利用基于视觉伺服的实时靶点配准方法计算虚拟头部模型的当前空间位置信息的具体步骤包括有：利用训练好的面部特征点可变数目的深度网络框架，分别对虚拟头部模型与患者头部图像提取虚拟面部特征点云与患者面部特征点云；采用基于高斯混合模型的点云匹配算法最小化虚拟面部特征点云集合和患者面部特征点云集合之间的差距，结合EM方法迭代求解混合高斯问题以实现虚拟头部模型与患者头部的空间位置信息配准，得到虚拟头部模型的当前空间位置信息。

[0060] 参数调整模块70，用于根据患者实时脑状态数据与当前虚拟脑状态信息对治疗进行评估，并根据评估结果调整线圈参数，并更新虚拟头部模型的空间位置信息，即用于执行如图1所示实施例中的基于数字孪生数据‑机理驱动的经颅磁刺激方法中的步骤S70。

[0061] 重复调用模块80，用于循环重复调用虚拟仿真模块、治疗控制模块、数据获取模块、第一计算模块、第二计算模块、参数调整模块，直至经颅磁刺激治疗结束。

[0062] 本发明的基于数字孪生数据‑机理驱动的经颅磁刺激装置，基于患者实时脑状态数据，利用基于领域自适应的脑功能模型同步演化方法计算当前虚拟脑状态信息，实现脑功能模型与真实脑状态信息同步演化，从而减少治疗过程中患者脑状态变化信息的滞后感知，再根据患者实时脑状态数据与当前虚拟脑状态信息对治疗效果进行评估，并根据评估结果调整线圈参数，实现机理驱动的闭环控制，并利用动态仿真结果进行刺激方案虚拟预演，实现虚实双向反馈的闭环治疗策略优化，解决了开环靶向刺激方法对治疗效果评估存在滞后性，无法对刺激效果及时做出优化调整的技术问题；此外，通过获取患者头部图像，利用基于视觉伺服的实时靶点配准方法计算虚拟头部模型的当前空间位置信息，实现虚拟头部模型与患者头部的空间位置信息配准，从而实现靶点虚实空间位置信息闭环交互，确保每一次的脉冲刺激都能精准地靶向刺激点，解决了开环靶向刺激方法因无法保持患者头部绝对静止而导致脉冲刺激无法精准地靶向刺激点的技术问题。

[0063] 以上所述仅为本发明的优选实施例，而非对本发明做任何形式上的限制。本领域的技术人员可在上述实施例的基础上施以各种等同的更改和改进，凡在权利要求范围内所做的等同变化或修饰，均应落入本发明的保护范围之内。