[0001] 本申请一般涉及图像处理技术领域。更具体地，本申请涉及一种用于识别核磁共振影像模态的方法、设备和计算机可读存储介质。

[0002] 核磁共振成像（Magnetic Resonance Imaging，MRI）是一种常用的医学成像技术，其根据成像模态的不同，可以提供丰富的生物组织信息。常见的MRI模态包括T1加权模态、T2加权模态和流体衰减反转恢复（“FLAIR”）模态等，其中T1加权模态能够提供解剖结构信息，T2加权模态能够提供肿瘤信息，FLAIR模态能够提供瘤周水肿区域信息。由此，识别核磁共振成像的不同模态是必要的。

[0003] 传统的模态识别工作往往通过人工方式进行，这不仅耗时，且容易出错。例如，在医学影像的模态识别中，放射科医生需要逐一检查大量的图像，手动标注不同的模态（如CT、MRI、超声），这不仅增加了医生的工作负担，还容易因为疲劳或主观因素导致误判。此外，人工标注的速度也无法满足日益增长的医学影像数据量需求。目前，现有的一些自动化模态识别方法主要依赖于基于规则的系统或简单的机器学习算法。然而，基于规则的方法通常依靠预定义的一系列规则和阈值来识别和分类模态。例如，专利申请CN202111675248.4公开了一种多幅医学图像的识别方法，其中记载了根据图像的边缘或形态特征来进行识别。这些规则往往是静态的，难以适应复杂和多变的实际情况，尤其在遇到一些模态特征相似的情况时，基于规则的方法很容易失效，导致准确率较低。此外，该申请还记载了通过使用支持向量机（“SVM”）或决策树等算法，虽然在一定程度上可以提高识别的自动化程度，但其效果也有限。具体地，SVM或决策树等算法依赖于手工提取的特征，这些特征可能无法全面捕捉图像中的复杂信息，并且在处理高维和非线性数据时表现不佳，难以捕捉图像中的深层次模式和关系。由此，当图像数据中存在复杂模式或噪声时，识别准确率往往不理想。

[0004] 有鉴于此，亟需提供一种用于识别核磁共振影像模态的方案，首先通过对核磁共振影像进行多级自适应预处理操作，能够多次动态地调整预处理参数，以更好地保留影像的细节信息。接着，通过混合残差网络对预处理后的核磁共振影像进行多模态特征提取，充分地利用了多模态影像的互补信息，显著地提升了核磁共振影像模态识别的精度和鲁棒性，提高了模态识别的准确性。进一步地，通过自适应模态权重的总损失函数训练混合残差网络，使得混合残差网络能够自适应地学习不同模态的重要性，提高了混合残差网络的识别精度和可靠性。

[0018] 下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

[0019] 应当理解，本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0020] 还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0021] 如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

[0022] 下面结合附图来详细描述本申请的具体实施方式。

[0023] 图1是示出根据本申请实施例的用于识别核磁共振影像模态的方法100的示例性流程框图。如图1中所示，在步骤S101处，采集核磁共振影像。在一个实现场景中，可以通过例如磁共振采集设备采集获得核磁共振影像。基于前述采集的核磁共振影像，在步骤S102处，对核磁共振影像进行多级自适应预处理操作，以获得预处理后的核磁共振影像。在一个实施例中，可以对核磁共振影像依次进行自适应滤波操作和自适应对比度增强操作，以对核磁共振影像进行多级自适应预处理操作。即，先对核磁共振影像执行自适应滤波操作，获得自适应滤波操作的滤波结果，接着再对自适应滤波操作的滤波结果进行自适应对比度增强操作，以实现多级自适应预处理操作。在一些实施例中，也可以先对核磁共振影像执行自适应对比度增强操作，再执行自适应滤波操作。

[0024] 通过本申请实施例的前述多级自适应预处理操作，可以根据核磁共振影像的噪声水平或者图像质量自适应地计算局部区域的方差和对比度，从而动态地调整滤波器参数和对比度强度，较好地保留核磁共振影像的细节信息，以便提高后续的识别精度。

[0025] 在一个实现场景中，可以通过计算核磁共振影像的局部方差，将局部方差与第一阈值进行比较，进而根据局部方差与第一阈值的比较结果自适应选择高斯滤波或者中值滤波，以对核磁共振影像进行自适应滤波操作。其中，前述核磁共振影像的局部方差可以通过以下式子计算获得：（1）
其中， 表示核磁共振影像中局部区域R的局部方差，表示局部区域R内第i个像
素的像素值， 表示局部区域R内的像素均值， 表示局部区域R内的像素数量。在一些实施例中，前述局部区域R的尺寸可以根据滤波需求进行设置，例如2×2，3×3，5×5等，本申请实施例在此方面不作任何限制。

[0026] 基于上述的局部方差，可以将其与第一阈值进行比较，以自适应选择高斯滤波或者中值滤波对核磁共振影像进行自适应滤波操作。具体地，当局部方差大于第一阈值时，可以选择高斯滤波；当局部方差小于等于第一阈值时，可以选择中值滤波。作为示例，可以通过如下式子实现自适应滤波操作：（2）
其中， 表示上述局部方差， 表示第一阈值，表示核磁共振影像，
和 分别表示高斯滤波和中值滤波， 和 分别表示高斯滤
波和中值滤波的窗口大小。

[0027] 在一个实现场景中，可以对自适应滤波操作的滤波结果进行局部对比度分析，以获得局部对比度结果，将局部对比度结果与第二阈值进行比较，进而根据局部对比度结果与第二阈值的比较结果自适应选择对比度限制直方图算法或者全局直方图算法，以对核磁共振影像进行自适应对比度增强操作。在一些实施例中，可以通过如下式子对自适应滤波操作的滤波结果进行局部对比度分析，以获得局部对比度结果：（3）
其中， 表示局部对比度结果， 表示自适应滤波操作的滤波结果的局部区域标
准差， 表示自适应滤波操作的滤波结果的局部区域平均值。

[0028] 根据上述局部对比度结果，可以将其与第二阈值进行比较，以自适应选择相应的算法对核磁共振影像进行自适应对比度增强。具体而言，当局部对比度结果小于第二阈值，选择对比度限制直方图算法（“CLAHE”）进行自适应对比度增强；当局部对比度结果大于等于第二阈值，选择全局直方图算法（“ ”）进行自适应对比度增强。可以理解，对比度限制直方图算法是一种改进的全局直方图算法，其通过对图像的不同区域进行自适应处理，并限制对比度增强的程度，从而避免过度增强问题，提高图像的局部对比度并减少噪声放大。

[0029] 在一个示例性场景中，可以通过如下式子对核磁共振影像进行自适应对比度增强操作：（4）
其中， 表示对比度增强后的核磁共振影像，I表示局部区域
内的像素值，表示CLAHE算法的限制对比度， 表示局部对比度结果， 表示第二阈值。在一些实施例中，前述全局直方图算法可以基于 计算，其中 表示Dirac
函数，m表示灰度级， 表示像素值。

[0030] 在一些实施场景中，除上述多级自适应预处理操作外，还可以对核磁共振影像进行图像格式转换、调整图像尺寸和图像归一化等预处理操作。例如，利用NumpyToTensor类将核磁共振影像从NumPy数组格式转换为PyTorch张量，并进行标准化处理。利用Resize类将核磁共振影像调整至适合混合残差网络输入的大小（例如调整为224x224像素）以及使用Normalize类对核磁共振影像进行归一化处理，以提高后续网络识别的稳定性和效率。

[0031] 在获得预处理后的核磁共振影像后，在步骤S103处，使用训练好的混合残差网络对预处理后的核磁共振影像进行多模态特征提取，以获得目标特征结果。在一个实施例中，该训练好的混合残差网络可以至少包括初始卷积模块、交叉注意力模块和多尺度残差模块。在获得目标特征结果的过程中，使用初始卷积模块对预处理后的核磁共振影像进行初始卷积操作，获得初始多模态特征，使用交叉注意力模块融合初始多模态中不同模态的特征，并与预处理后的核磁共振影像进行一次结合，以获得中间融合结果。接着，使用多尺度残差模块提取中间融合结果的多尺度残差特征，并对多尺度残差特征进行特征拼接，以获得特征拼接结果；以及将特征拼接结果与预处理后的核磁共振影像进行二次结合，以获得目标特征结果。

[0032] 在一些实施例中，前述初始卷积模块可以配置为包含例如1个输入通道，64个输出通道，7x7的卷积核，步长为2，不使用偏置等参数的初始卷积。前述初始多模态特征 可以表示为 ，其中 表示初始卷积， 表示输入的核磁共振影像， 表示第i种模态。

[0033] 在一些实施例中，前述交叉注意力模块可以包括注意力计算和模态融合计算。对于注意力计算而言，其首先计算不同模态之间的注意力权重。例如，基于计算不同模态之间的注意力权重 ， 和 分别表示注意力机
制中的查询（“Query”）和键（“Key”）。其中， 表示第i种模态， 表示除i以外的第j种模态。接着，基于注意力权重和注意力机制中的值（“Value”）的乘积获得各模态下的注意力特征，例如各模态下的注意力特征 ， 表示注意力机制中的值。进一步地，
对于模态融合计算来说，将各模态下的注意力特征与预处理后的核磁共振影像进行一次结合（也即模态融合），获得中间融合结果 。

[0034] 在一些实施例中，前述多尺度残差模块可以包括多尺度卷积层，该多尺度卷积层包含不同尺度的卷积核。具体而言，首先通过在每个残差模块中使用不同尺度的卷积核并行提取中间融合结果的多尺度残差特征，也即获得不同尺度的卷积结果。例如， ， ，分别对应不同尺度 ， ， 的卷积结果。接着，将多尺度残差特征进行特征拼接，以获得特征拼接结果 。进一步地，将特征拼接结果与预处理后的核磁共振影像进行二次结合，以获得目标特征结果 ，也即在多尺度特征融合的基础上，通过残差连接增强模型学习能力，最终输出特征 。在一些实施例中，在将多尺度残差特征进行特征拼接之前，还可以包括批归一化层，以规范化层输出，提高模型训练的稳定性和收敛速度。

[0035] 基于此，本申请实施例通过使用包括初始卷积模块、交叉注意力模块和多尺度残差模块的混合残差网络对预处理后的核磁共振影像进行多模态特征提取，能够充分融合不同模态的特征，捕捉不同模态之间的互补信息和多尺度信息，显著提升了显著地提升了核磁共振影像模态识别的精度和鲁棒性，从而能够提取准确的目标特征结果。

[0036] 进一步地，在步骤S104处，根据目标特征结果识别核磁共振影像的最终模态。在一个实施例中，可以使用全连接层将目标特征结果映射至不同模态类别，并使用分类函数计算各模态类别的概率，进而将最大概率值所对应的模态识别为核磁共振影像的所述最终模态。即，将混合残差网络输出的最大概率值所对应的模态作为核磁共振影像的最终模态。如前所述，该核磁共振影像的最终模态可以至少包括T1加权模态、T2加权模态和流体衰减反转恢复模态。

[0037] 在一个实施例中，可以通过以下操作训练混合残差网络，以获得训练好的混合残差网络：将不同模态的核磁共振影像输入至混合残差网络进行特征提取，获得多模态特征，接着通过对多模态特征设置不确定性权重，以基于不确定性权重计算自适应模态权重的总损失函数，以训练混合残差网络获得训练好的混合残差网络。在一些实施例中，前述核磁共振影像的不同模态可以包括例如T1加权模态、T2加权模态和流体衰减反转恢复模态等。

[0038] 在一个实施场景中，可以通过如下式子计算自适应模态权重的总损失函数：（5）
其中， 表示不确定性权重，且 ，而 表示模态识别的置信度方差，N表示
样本数量， 和 分别表示真实模态和预测模态， 可以例如是交叉熵损失。

[0039] 通过本申请实施例的上述自适应模态权重的总损失函数，可以根据每个模态的分类难度动态调整损失权重，以增加对困难模态的关注，使得混合残差网络能够自适应地学习不同模态的重要性，提高混合残差网络对多模态数据的识别精度。

[0040] 结合上述描述可知，本申请实施例通过对核磁共振影像进行多级自适应预处理操作，以多次动态地调整预处理参数，从而较好地保留影像的细节信息。接着，通过训练好的混合残差网络对预处理后的核磁共振影像进行多模态特征提取，能够充分地利用多模态影像的互补信息和多尺度特征，提取准确的目标特征结果，从而显著地提升了核磁共振影像模态识别的精度和鲁棒性，提高了核磁共振影像的最终模态识别的准确性。进一步，在一些实施例中，本申请实施例通过自适应模态权重的总损失函数训练混合残差网络，使得混合残差网络能够自适应地学习不同模态的重要性，提高了混合残差网络对核磁共振影像不同模态的识别精度和可靠性。在一些实施例中，本申请的方案还可以用于例如CT图像的模态识别，例如识别是标准CT、增强CT或者低剂量CT等。

[0041] 图2是示出根据本申请实施例的多级自适应预处理操作的示例性流程框图。需要理解的是，图2是上述图1的方法100中步骤S102的一个具体实施例，因此上述关于图1的方法100中步骤S102所作的描述同样适用于图2。

[0042] 如图2中所示，在步骤S201处，采集核磁共振影像。在一个实现场景中，可以通过例如磁共振采集设备采集获得核磁共振影像。接着，在步骤S202处，计算核磁共振影像的局部方差 。具体地，可以基于上述公式（1）计算核磁共振影像的局部方差 。基于该局部方差，在步骤S203处，判断局部方差 是否大于第一阈值T，即判断 ＞T是否成立。若 ＞T，在步骤S204处，选择高斯滤波。反之，即 ，在步骤S205处，选择中值滤波，以对核磁共振影像进行自适应滤波操作，获得自适应滤波操作的滤波结果。

[0043] 接着，在步骤S206处，对高斯滤波或者中值滤波后的滤波结果进行局部对比度分析，以获得局部对比度结果 。具体地，可以基于上述公式（3）获得局部对比度结果 。接着，在步骤S207处，判断局部对比度结果 是否大于等于第二阈值 ，即判断 是否成立。若 成立，在步骤S208处，选择全局直方图算法进行对比度增强。若 ，在步骤S209处，选择CLAHE算法进行对比度增强，以在步骤S210处，获得预处理后的核磁共振影像。

[0044] 图3是示出根据本申请实施例的用于识别核磁共振影像模态的整体的示例性流程框图。如图3中所示，在步骤S301处，采集核磁共振影像。基于采集的核磁共振影像，在步骤S302处，对核磁共振影像进行多级自适应预处理操作，以获得预处理后的核磁共振影像。关于该多级自适应预处理操作的更多细节，可以参考上述图1和图2的相关描述，本申请在此不再赘述。接着，在步骤S303处，将预处理后的核磁共振影像输入至训练好的混合残差网络。

[0045] 在一些实施例中，该训练好的混合残差网络可以至少包括初始卷积模块、交叉注意力模块和多尺度残差模块。对应地，在步骤S303‑1、步骤S303‑2以及步骤S303‑3，依次经由混合残差网络的初始卷积、注意力操作和模态融合以及多尺度特征融合和残差学习获得目标特征结果。进一步地，在步骤S304处，通过将目标特征结果中概率值最大的特征所对应的模态识别为核磁共振影像的最终模态。具体来说，该核磁共振影像的最终模态可以至少包括T1加权模态、T2加权模态和流体衰减反转恢复模态。

[0046] 图4是示出根据本申请实施例的混合残差网络的示例性示意图。如图4中所示，该混合残差网络可以包括初始卷积模块401、交叉注意力模块402和多尺度残差模块403。其中，前述初始卷积模块401可以包含初始卷积401‑1，预处理后的核磁共振影像经由初始卷积401‑1后获得初始多模态特征，例如初始多模态特征401‑11、初始多模态特征401‑12、初始多模态特征401‑13和初始多模态特征401‑14。以初始多模态特征401‑11和初始多模态特征401‑12为例，通过计算不同模态之间的注意力权重 ，再将注意力权重和注意力机制中的值进行相乘（例如图中的 所示），可以获得各模态下的注意力特征，例如各模态下的注意力特征402‑1、注意力特征402‑2和注意力特征402‑3。通过将各模态下的注意力特征与预处理后的核磁共振影像404进行一次结合（也即模态融合），获得中间融合结果405。

[0047] 基于获得的中间融合结果405，经由多尺度残差模块403中的多尺度卷积层，例如1×1的卷积层403‑11、2×2的卷积层403‑21、3×3的卷积层403‑31和4×4的卷积层403‑41，以提取中间融合结果的多尺度残差特征。在一些实施例中，多尺度残差模块403还设置有批归一化层，例如批归一化层403‑12、批归一化层403‑22、批归一化层403‑32和批归一化层403‑42，以获得归一化后的不同尺度的残差特征。进一步地，通过将前述多尺度残差特征进行特征拼接，以获得特征拼接结果406，并将特征拼接结果406与预处理后的核磁共振影像
404进行二次结合，以获得目标特征结果407。

[0048] 根据前文可知，通过使用全连接层将目标特征结果映射至不同模态类别，并使用分类函数计算各模态类别的概率，进而将最大概率值所对应的模态识别为核磁共振影像的所述最终模态。

[0049] 图5是示出根据本申请实施例的用于识别核磁共振影像模态的设备500的示例性结构框图。可以理解的是，该设备500可以包括本申请实施例的装置，并且实现本申请方案的设备可以是单一的设备（例如计算设备）或包括各种外围设备的多功能设备。

[0050] 如图5中所示，本申请的设备还可以包括中央处理器或中央处理单元（“CPU”）511，其可以是通用CPU、专用CPU或者其他信息处理以及程序运行的执行单元。进一步，设备500还可以包括大容量存储器512和只读存储器（“ROM”）513，其中大容量存储器512可以配置用于存储各类数据，包括各种与核磁共振影像、目标特征结果、核磁共振影像的最终模态、算法数据、中间结果和运行设备500所需要的各种程序。ROM 513可以配置成存储对于设备500的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据和指令。

[0051] 可选地，设备500还可以包括其他的硬件平台或组件，例如示出的张量处理单元（“TPU”）514、图形处理单元（“GPU”）515、现场可编程门阵列（“FPGA”）516和机器学习单元（“MLU”）517。可以理解的是，尽管在设备500中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，设备500可以仅包括CPU、相关存储设备和接口设备来实现本申请的用于识别核磁共振影像模态的方法。

[0052] 在一些实施例中，为了便于数据与外部网络的传递和交互，本申请的设备500还包括通信接口518，从而可以通过该通信接口518连接到局域网/无线局域网（“LAN/WLAN”）505，进而可以通过该LAN/WLAN连接到本地服务器506或连接到因特网（“Internet”）507。替代地或附加地，本申请的设备500还可以通过通信接口518基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第3代（“3G”）、第4代（“4G”）或第5代（“5G”）的无线通信技术。在一些应用场景中，本申请的设备500还可以根据需要访问外部网络的服务器508和数据库
509，以便获得各种已知的算法、数据和模块，并且可以远程地存储各种数据，例如用于呈现例如核磁共振影像、目标特征结果、核磁共振影像的最终模态等的各类数据或指令。

[0053] 设备500的外围设备可以包括显示装置502、输入装置503和数据传输接口504。在一个实施例中，显示装置502可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本申请的用于识别核磁共振影像模态进行语音提示和/或图像视频显示。输入装置503可以包括例如键盘、鼠标、麦克风、姿势捕捉相机等其他输入按钮或控件，其配置用于接收音频数据的输入和/或用户指令。数据传输接口504可以包括例如串行接口、并行接口或通用串行总线接口（“USB”）、小型计算机系统接口（“SCSI”）、串行ATA、火线（“FireWire”）、PCI Express和高清多媒体接口（“HDMI”）等，其配置用于与其他设备或系统的数据传输和交互。根据本申请的方案，该数据传输接口504可以接收来自于MRI设备采集的核磁共振影像，并且向设备500传送包括核磁共振影像或各种其他类型的数据或结果。

[0054] 本申请的设备500的上述CPU 511、大容量存储器512、ROM 513、TPU 514、GPU 515、FPGA 516、MLU 517和通信接口518可以通过总线519相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线519，CPU 511可以控制设备500中的其他硬件组件及其外围设备。

[0055] 以上结合图5描述了可以用于执行本申请的用于识别核磁共振影像模态的设备。需要理解的是这里的设备结构或架构仅仅是示例性的，本申请的实现方式和实现实体并不受其限制，而是可以在不偏离本申请的精神下做出改变。

[0056] 根据上述结合附图的描述，本领域技术人员也可以理解本申请的实施例还可以通过软件程序来实现。由此本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有用于识别核磁共振影像模态的计算机可读指令，该计算机可读指令被一个或多个处理器执行时，可以用于实现本申请结合附图1所描述的用于识别核磁共振影像模态的方法。

[0057] 应当注意，尽管在附图中以特定顺序描述了本申请方法的操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，流程图中描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

[0058] 应当理解，当本申请的权利要求、当说明书及附图中使用到术语“第一”、“第二”、“第三”和“第四”等时，其仅用于区别不同对象，而不是用于描述特定顺序。本申请的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

[0059] 还应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本申请。如在本申请说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本申请说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

[0060] 虽然本申请的实施方式如上，但所述内容只是为便于理解本申请而采用的实施例，并非用以限定本申请的范围和应用场景。任何本申请所述技术领域内的技术人员，在不脱离本申请所揭露的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本申请的专利保护范围，仍须以所附的权利要求书所界定的范围为准。

[0061] 另外，本申请中对各种数据的采集和获取，符合相关法律规定，经过数据提供方的授权。任何组织或者个人需要获取外部数据的，应当依法取得授权并确保数据安全，不得非法收集、使用、加工、传输未经授权或未经保护的数据，不得非法买卖、提供或者公开未经授权或未经保护的数据。