技术领域
[0001] 本发明涉及一种基于空洞卷积的超分辨率卷积神经网络的磁共振重建方法,属于图像处理领域。
相关背景技术
[0002] 磁共振成像(MRI)已广泛用于各种临床应用。尽管功能强大,但MR成像持续时间相对较长,患者感觉不太舒服。加快成像过程的折衷方法之一是降低图像质量,使用图像后处理技术来提高MR图像质量。
[0003] 近年来,随着深度学习的快速发展,基于超分辨率重建算法已成功应用于医学影像领域。越来越多的结果倾向于证明深度神经网络在实际医学图像应用方面的潜力。因此,本发明提出一种基于空洞卷积的超分辨率卷积神经网络的磁共振重建方法,该算法使用空洞卷积与残差学习等方法,进一步提高MR图像分辨率,提出的超分辨率网络在图像重建过程中具有结构新颖、训练速度快和训练样本少等优点。
具体实施方式
[0027] 下面结合附图和具体实施例对本发明进行详细说明。
[0028] 本发明提供的一种实施例:一种基于空洞卷积的超分辨率卷积神经网络的磁共振重建方法,受启发于经典的超分辨率算法SRCNN,进而设计出的端到端的卷积神经网络来完成磁共振图像重建。具体包括以下步骤:
[0029] 步骤一,我们从数据集中选取150张MRI作为训练集,图像尺寸为256*256。
[0030] 步骤二:引入SRCNN,SRCNN被认为是第一个使用卷积神经网络结构的超分辨率重建方法。该方法对于一个低分辨率图像,先使用双三次(bicubic)插值将其放大到目标大小,再通过三层卷积网络做非线性映射,得到的结果作为高分辨率图像输出。其中第一步可以理解为特征提取:
[0031] F1(X)=max(0,W1*X+B1)
[0032] 其中,X为输入MR图像,W1为网络的第一层卷积核,*为卷积操作,B1为第一层的偏置。卷积后我们紧跟激活层,进行整流线性单位(Relu)。通过CNN将图像Y的特征提取出来存到向量中,这个向量里包含了多张特征图,即一张图所含的一些特征。
[0033] 步骤三:操作为非线性映射:
[0034] F2(X)=max(0,W2*F1(X)+B2)
[0035] 其中,W2为网络的第二层卷积核,*为卷积操作,B2为第二层的偏置n2维。将上一层的特征图进一步做非线性映射处理,使得网络深度加大,更有利于学到东西。
[0036] 步骤四:将映射后的特征图进行重建,操作为:
[0037] F3(X)=W3*F2(X)+B3
[0038] 其中,W3为网络的第二层卷积核,*为卷积操作,B3为第三层的偏置n3维。重建用于将特征图进行还原成高分辨率图像F3(X),其与真实图像做MSE损失并通过反向传播来学习整个模型的参数。
[0039] 它的结构非常简单,甚至省略了传统CNN中的全连接层和池化层。SRCNN是一种端到端的超分辨率方法,因此在实际应用中不需要人工干预或多阶段计算。
[0040] 本实施例的特征提取步骤中,首先使用卷积运算从低分辨率图像中提取多个图像块。每个补丁显示为称为特征向量的多维向量,并共同形成特征矩阵。这相当于用一组过滤器对图像进行卷积。然后加入整流线性单元。引入空洞卷积,对于MRI的整个特征提取来说,存在两点优势:1、扩大感受野;2、捕获多尺度上下文信息。3*3视野不够全面,引入空洞卷积滤波器,设置为三种不同的膨胀率,可以使卷积过程提取感受视野更加丰富。不进行填充的情况下,空洞卷积的感受野K'可以通过以下公式计算得到:
[0041] K'=K+(K‑1)(r‑1)
[0042] 其中,k为原始卷积核大小,r为空洞卷积参数空洞率,不难发现,在相同的计算条件下的情况下,加大了感受野,让每个卷积输出都包含较大范围的信息。此外,我们通过设置三种不同膨胀率的空洞卷积并行提取输入的特征,这使得网络可以学习到不同层次的图像信息,膨胀率大的卷积感受野更大,语义信息表征能力强,但是特征图的分辨率低,几何信息的表征能力弱(空间几何特征细节缺乏);膨胀率小卷积的感受野比较小,几何细节信息表征能力强,虽然分辨率高,但是语义信息表征能力弱。通过相加操作使得网络可以学习到各尺度的特征信息,相比传统的单层卷积提取,获得的信息更加丰富。
[0043] 本实施例的特征提取步骤中,还引入残差网络,将输入短接至多尺度卷积特征提取后,网络在处理特征提取过程中,会确保性能的提高,至少不会出现降低的现象。这样通过在整体架构中创建残差块,大大提高了网络性能。
[0044] 本实施例中,对提取出的特征进行非线性映射,还包括卷积和ReLU操作,这里是用的是1*1的卷积核,这一步的目的是将高维度的特征空间映射到低维度的空间。
[0045] 本实施例中,对提取出的特征图进行重建,将特征图的数量设为1,目的是从特征矩阵生成最终的高分辨率图像。
[0046] 综上,本方法通过涉及三个不同膨胀率的空洞卷积提取不同尺度的特征,与残差学习相结合,进一步提高MRI超分辨率重建的性能。在实际应用中无需人工干预或多阶段计算,MR图像超分辨率重建中的有效性大大提高。在评价指标峰值信噪比和结构相似度方面性能有显着提升,图像的细节恢复也有所提升。训练好的模型可以辅助医生对病情的判断。
[0047] 以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解,上述实施例不以任何形式限制本发明的保护范围,凡采用等同替换等方式所获得的技术方案,均落于本发明的保护范围内。
[0048] 本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。