[0001] 本发明涉及医学影像处理技术领域，具体来说，涉及基于多尺度跨模态对齐网络的影像模态转换方法及系统。

[0002] 随着医学影像技术的发展，CT(计算机断层扫描)和MRI(磁共振成像)在医学领域中发挥着重要作用。CT利用X射线的衰减特性来生成图像，而MRI则是通过检测氢原子核的信号来形成图像，尽管这两种成像技术各有其独特优势，但它们的成像原理和设备的差异也带来了一些局限性。为了更有效地利用这些图像信息，特别是在多模态成像分析的背景下，常常需要根据具体需求将CT和MRI影像进行转换。

[0003] 医学图像转换技术的发展，旨在通过高级算法和模型，实现CT与MRI影像的无缝转换，从而以满足不同场景下的特定需求。然而，尽管该领域已取得显著进步，目前的转换技术在图像质量、计算效率等方面仍有改进空间。传统的图像转换方法，如基于插值、滤波的简单处理，往往难以全面捕捉源图像中的细微结构、纹理信息及深层次的空间关系，在转换后的图像中可能导致细节丢失、边缘模糊、伪影生成和噪声增加；同时，这些方法的计算复杂度较高，处理时间较长，进而限制了其应用效率。

[0004] 针对相关技术中的问题，目前尚未提出有效的解决方案。

[0065] 为进一步说明各实施例，本发明提供有附图，这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理，配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。

[0066] 根据本发明的实施例，提供了基于多尺度跨模态对齐网络的影像模态转换方法及系统。

[0067] 现结合附图和具体实施方式对本发明进一步说明，如图1‑图3所示，根据本发明实施例的基于多尺度跨模态对齐网络的影像模态转换方法，该方法包括以下步骤：

[0068] S1、获取医学影像，并对医学影像进行预处理。

[0069] 需要补充说明的是，预处理包括归一化、去噪等操作，以确保输入数据的质量和一致性；其中，对医学影像执行归一化处理，以消除不同设备间的扫描差异，确保输入数据在相同的数值范围内；对医学影像进行裁剪操作，以去除不必要的边缘区域，保证输入数据的一致性并提高计算效率；应用图像增强技术，如对比度增强和噪声抑制，以提高医学影像质量。

[0070] 此外，假设输入的CT影像为XCT，MRI影像为XMRI，定义预处理函数为P，则经过预处理后的影像表示为：

[0071] X'CT＝P(XCT)

[0072] X'MRI＝P(XMRI)

[0073] 式中，X′CT表示预处理后的CT影像；

[0074] P表示预处理函数；

[0075] XCT表示输入的CT影像；

[0076] X′MRI表示预处理后的MRI影像；

[0077] XMRI表示输入的MRI影像。

[0078] S2、利用深度学习网络提取预处理后的医学影像特征，并引入多注意力机制进行特征融合。

[0079] 进一步的，利用深度学习网络提取预处理后的医学影像特征，并引入多注意力机制进行特征融合包括以下步骤：

[0080] S21、利用Transformer编码器对医学影像进行分析，提取医学影像中的局部特征和全局特征。

[0081] 需要补充说明的是，Transformer编码器含多个自注意力模块，能够有效捕捉影像中的局部特征和全局特征。

[0082] 此外，利用Transformer编码器E提取特征，该编码器包含多个自注意力层，对预处理后的影像进行特征提取，得到：

[0083] ZCT＝Enc(X'CT)

[0084] ZMRI＝Enc(X'MRI)

[0085] 式中，ZCT表示从CT影像中提取的特征；

[0086] Enc表示Transformer编码器；

[0087] X′xT表示预处理后的CT影像；

[0088] ZMRI表示从MRI影像中提取的特征；

[0089] X′MRI表示预处理后的MRI影像。

[0090] S22、利用卷积神经网络对医学影像进行多尺度分析，提取多尺度特征。

[0091] S23、结合不同模态的医学影像，提取跨模态特征。

[0092] 需要补充说明的是，不同模态的医学影像包括CT影像和MRI影像。

[0093] S24、利用多注意力机制对提取的局部特征、全局特征、多尺度特征及跨模态特征进行融合。

[0094] 进一步的，利用多注意力机制对提取的局部特征、全局特征、多尺度特征及跨模态特征进行融合包括以下步骤：

[0095] S241、利用多注意力机制计算局部特征、全局特征、多尺度特征及跨模态特征的注意力权重，并基于注意力权重对各特征进行加权求和。

[0096] S242、根据预设的多尺度跨模态对齐网络，对加权求和处理后的各特征进行对齐处理。

[0097] 进一步的，根据预设的多尺度跨模态对齐网络，对加权求和处理后的各特征进行对齐处理包括以下步骤：

[0098] S2421、利用预设的多尺度跨模态对齐网络，对加权求和处理后的各特征进行空间对齐；

[0099] S2422、将空间对齐后的各特征映射到共享特征空间，得到模态对齐结果；

[0100] S2423、根据预设的对齐目标，利用对齐损失函数评估模态对齐结果；

[0101] S2424、基于模态对齐结果，利用迭代训练优化多尺度跨模态对齐网络，直至到达预设的对齐目标。

[0102] 需要补充说明的是，根据预设的多尺度跨模态对齐网络，该结构能够处理不同尺度的特征图，使用空间变换网络(如空间转换器)对特征图进行空间变换，使其在空间上对齐；通过共享特征空间使不同模态的特征在模态上对齐，具体包括：将CT和MRI的特征图映射到一个共同的潜在空间；通过一组损失函数来衡量特征对齐的效果，并优化网络参数；通过迭代训练，不断优化特征对齐网络，达到预定的对齐精度。

[0103] S243、将多注意力机制与对齐处理后的特征融合至深度学习框架中，得到特征融合模型，并利用反向传播算法优化特征融合模型。

[0104] 需要补充说明的是，引入多注意力机制Att，用于将两种模态的特征进行交互和信息融合，得到融合后的特征：

[0105] Z'CT＝Att(ZCT,ZMRI)

[0106] Z'MRI＝Att(ZMRI,ZCT)

[0107] 式中，Z′CT表示经过多注意力机制处理后CT影像的特征；

[0108] Att表示多注意力机制函数；

[0109] ZCT表示从CT影像中提取的特征；

[0110] ZMRI表示从MRI影像中提取的特征；

[0111] Z′MRI表示经过多注意力机制处理后MRI影像的特征。

[0112] S3、基于融合后的特征进行医学影像的重建，并对重建后的医学影像进行优化处理。

[0113] 进一步的，基于融合后的特征进行医学影像的重建，并对重建后的医学影像进行优化处理包括以下步骤：

[0114] S31、利用解码器将融合后的各特征转换为目标模态影像，其中，所述各特征包括CT影像特征及MRI影像特征。

[0115] 进一步的，利用解码器将融合后的各特征转换为目标模态影像的公式为：

[0116] X”MRI＝Dec(Z'CT)

[0117] X”CT＝Dec(Z'MRI)

[0118] 式中，X″MRI表示解码器输出的目标模态MRI影像；

[0119] Dec表示解码器函数；

[0120] Z′CT表示经过多注意力机制处理后CT影像的特征；

[0121] X″CT表示解码器输出的目标模态CT影像；

[0122] Z″MRI表示表示经过多注意力机制处理后MRI影像的特征。

[0123] S32、基于目标模态影像，利用深度学习模型和动态反变换技术，得到重建后的医学图像，并对重建后的医学影像进行优化处理。

[0124] 进一步的，基于目标模态影像，利用深度学习模型和动态反变换技术，得到重建后的医学图像，并对重建后的医学影像进行优化处理包括以下步骤：

[0125] S321、利用卷积神经网络从目标模态影像中提取多尺度特征，并引入动态权值学习器，根据多尺度特征的空间位置和尺度动态调整融合权重，得到融合特征。

[0126] 需要补充说明的是，引入动态权值学习器，根据输入特征的空间位置和尺度动态调整融合权重，实现特征级别的自适应融合。

[0127] S322、根据卷积神经网络，构建用于影像重建的网络结构，并在网络结构中嵌入注意力机制。

[0128] S323、结合融合特征与嵌入注意力机制后的网络结构，得到动态深度学习重建框架，并利用综合损失函数优化动态深度学习重建框架。

[0129] 进一步的，综合损失函数包括：重建损失函数、对抗损失函数及循环一致性损失函数。

[0130] 需要补充说明的是，循环一致性损失确保图像转换过程的双向一致性，即输入图像经过正向和反向转换后，与原始图像的差异最小化。

[0131] 进一步的，综合损失函数的公式为：

[0132] L＝Lrec+λadvLadv+λcycLcyc

[0133] 式中，L表示综合损失函数，用于衡量模型在重建、对抗和循环一致性方面的表现；

[0134] Lrec表示重建损失函数，衡量重建影像与原始影像之间的差异；

[0135] λadv表示对抗损失的权重超参数，用于调整对抗损失在总损失中的影响；

[0136] Ladv表示对抗损失函数，用于衡量生成影像的真实性；

[0137] λcyc表示循环一致性损失的权重超参数，循环一致性损失的权重系数；

[0138] Lcyc表示循环一致性损失函数，用于调整循环一致性损失在总损失中的影响。

[0139] 需要补充说明的是，重建损失衡量重建影像与原始影像之间的差异：

[0140]

[0141] 式中，Lrec表示重建损失函数，衡量重建影像与原始影像之间的差异；

[0142] i表示所有的样本；

[0143] X″MRIi表示通过模型重建后的MRI影像；

[0144] XMRIi表示原始的MRI影像；

[0145] XCT″i表示通过模型重建后的CT影像；

[0146] XCTi表示原始的CT影像；

[0147] |·|22表示L2范数的平方，用于计算两个影像之间的欧几里得距离。

[0148] 对抗损失使用对抗性网络来衡量生成影像的真实性：

[0149]

[0150] 式中，Ladv表示对抗损失函数，用于衡量生成影像的真实性；

[0151] i表示所有的样本；

[0152] D表示对抗性网络(判别器)，用于判断输入影像是否为真实影像；

[0153] X″MRIi表示通过模型重建后的MRI影像；

[0154] XCT″i表示通过模型重建后的CT影像。

[0155] 循环一致性损失Lcyc确保转换过程的可逆性：

[0156]

[0157] 式中，Lcyc表示循环一致性损失函数，确保转换过程的可逆性；

[0158] i表示所有的样本；

[0159] Enc表示Transformer编码器，用于将影像编码为潜在空间中的表示；

[0160] Dec表示解码器函数，用于将潜在空间中的表示解码回影像；

[0161] Z′CT表示编码器对CT影像的编码；

[0162] ZCTi表示原始的CT影像的编码；

[0163] ZMRI′表示编码器对MRI影像的编码；

[0164] ZMRIi表示原始的MRI影像的编码。

[0165] 此外，λadv与λcyc是超参数，用于调整不同损失项的权重，通过最小化损失函数L，模型能够学习到从CT到MRI以及从MRI到CT的有效转换；通过迭代训练过程，不断优化网络参数，直至达到预定的重建质量标准。

[0166] 其中，在训练阶段，使用梯度下降方法更新模型的参数；在测试阶段，使用训练好的模型对新的CT或MRI影像进行模态转换，可以有效地实现CT和MRI医学影像模态之间的转换，有助于提高医学影像的准确性和效率。

[0167] S324、结合优化后的动态深度学习重建框架与动态反变换技术，根据融合特征的特点动态调整反变换参数，并通过多尺度重建技术，得到重建后的医学影像。

[0168] 需要补充说明的是，根据融合特征的特点，动态调整反变换过程中的参数，如小波基函数、尺度因子等；通过多尺度重建技术，逐步细化重建结果，从粗到细恢复影像的细节。

[0169] S325、对重建后的医学影像进行优化处理，获取优化后的医学影像。

[0170] 需要补充说明的是，对生成的影像进行优化处理(后处理)，包括去噪、边缘增强等操作，以进一步提升图像质量，满足应用的需求；其中，边缘增强，对重建后的影像进行边缘检测和增强，以恢复丢失的边缘信息；颜色校正，对重建影像进行颜色校正，确保重建结果的颜色与原始影像保持一致。

[0171] 如图4所示，根据本发明的另一个实施例，还提供了基于多尺度跨模态对齐网络的影像模态转换系统，该系统包括预处理模块1、特征融合模块2及影像重建模块3；

[0172] 预处理模块1，用于获取医学影像，并对医学影像进行预处理；

[0173] 特征融合模块2，用于利用深度学习网络提取预处理后的医学影像特征，并引入多注意力机制进行特征融合；

[0174] 影像重建模块3，用于基于融合后的特征进行医学影像的重建，并对重建后的医学影像进行优化处理。

[0175] 综上所述，借助于本发明的上述技术方案，通过融合多尺度特征提取、跨模态对齐、图像解码路径信息及损失函数，显著增强了医学影像的转换效能，有效降低了伪影和噪声的干扰，进而更加精准地捕捉并保留了医学影像中的细节特征与全局结构信息。通过采用神经网络进行特征提取和影像重建，降低了计算复杂度，不仅适用于多种医学影像模态之间的无缝转换，还展现出了强大的泛化能力，能够应对复杂多变的医学影像，在医学影像领域发挥重要作用。

[0176] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。