技术领域
[0001] 本发明涉及颈动脉图像识别技术领域，尤其涉及一种颈动脉易损斑块识别系统及方法。
相关背景技术
[0002] 在预防和治疗心脑血管疾病的过程中，颈动脉易损斑块的准确识别占据着举足轻重的地位。易损斑块，因其内在的不稳定性，一旦破裂，极易触发血栓形成，进而诱发中风或心肌梗死等严重后果。因此，科学评估斑块的稳定性和易损性，对于制定有效的临床干预策略至关重要。
[0003] 尽管超声成像作为一种无创检查手段，在医学领域得到了广泛应用，尤其适合孕妇、儿童等特殊群体，且能实时展现动脉结构与血流动态，为医生提供即时的诊断依据，但其局限性亦不容忽视。具体而言，超声成像在精确区分斑块内部成分(诸如脂质核心、纤维帽、钙化等)方面存在显著不足，这直接限制了其评估斑块易损性的能力。
[0004] 进一步地，超声、CT与磁共振成像虽各有千秋，却也各自面临挑战。超声成像虽实时性强，但分辨率有限；CT成像虽空间分辨率高，却伴随着较高的辐射剂量；磁共振成像虽软组织对比度优越且无辐射，但在某些情况下可能受限于设备复杂性和检查时间。更为关键的是，单一成像模态往往难以全面反映斑块的复杂特性，加之设备性能差异、患者个体差异以及操作者经验水平不一等因素，均可能导致误诊或漏诊的风险增加。
[0005] 尤为值得注意的是，传统超声成像的诊断结果深受操作者经验和技术水平的影响，这种主观性不仅降低了诊断的一致性，还可能对诊断的准确性构成威胁。因此，在现有技术框架下，如何克服这些缺点，实现颈动脉易损斑块的精准识别，成为了亟待解决的重要课题。
具体实施方式
[0044] 下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
[0045] 本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种颈动脉易损斑块识别系统，如图1所示，包括：
[0046] 多模态图像融合模块1，用于分别获取超声成像设备、CT成像设备和磁共振成像设备对患者的颈动脉同一部位扫描得到的颈动脉超声图像、颈动脉CT图像以及颈动脉磁共振图像，随后将颈动脉超声图像、颈动脉CT图像以及颈动脉磁共振图像进行多模态图像融合得到融合图像；
[0047] 斑块识别模块2，连接斑块识别模块1，用于对融合图像进行易损斑块边界识别，随后基于边界识别结果提取出易损斑块进行再识别，将再识别结果中的不确定区域高亮并通知医护人员复核，随后采集医护人员反馈的复核标识，将复核标识与再识别结果中的不确定区域关联得到最终识别结果。
[0048] 具体的，本实施例中，针对背景技术中提到的技术问题，本发明通过以下方式进行了有效解决：
[0049] 具体的，针对多模态图像融合模块的实施例，我们可以结合医学影像处理领域的常见做法和技术流程来进行说明。以下是一个简化的实施例，用于说明如何进行超声成像、CT成像和磁共振成像(MRI)的多模态图像融合：
[0050] 实施例：多模态图像融合过程
[0051] 1.数据获取
[0052] 超声成像：使用高分辨率的超声成像设备对患者的颈动脉进行扫描，获取颈动脉的超声图像。这些图像能够实时展现动脉结构与血流动态。
[0053] CT成像：利用CT扫描仪对患者进行扫描，获取颈动脉的CT图像。CT图像以其高空间分辨率著称，能够清晰显示斑块的钙化部分。
[0054] 磁共振成像(MRI)：采用MRI设备对患者进行扫描，获取颈动脉的MRI图像。MRI图像在软组织对比度方面表现优越，能够详细展示斑块内部的脂质核心和纤维帽等结构。
[0055] 2.预处理
[0056] 噪声和伪影去除：对每种成像模态获取的图像进行预处理，识别并去除图像中的噪声和伪影，以提高图像质量。
[0057] 图像配准：选取一种成像模态的图像作为参考图像(如MRI图像，因其软组织对比度优越)，对其他成像模态的图像(超声图像和CT图像)进行几何变换，使其与参考图像在空间位置上对齐。这一步骤是图像融合的关键，它确保了不同成像模态的图像能够在同一坐标系下进行融合。
[0058] 3.图像融合
[0059] 融合策略选择：根据具体需求选择合适的图像融合策略。常见的融合策略包括像素级融合、特征级融合和决策级融合。在本实施例的颈动脉斑块识别的场景中，特征级融合可能更为合适，因为它能够在保持图像特征的同时减少信息冗余。
[0060] 融合算法实施：采用适当的融合算法(本实施例中优选采用基于深度学习的特征融合网络)对预处理后的图像进行融合。这些算法能够自动提取不同成像模态图像中的有用特征，并将其整合到融合图像中。
[0061] 融合结果评估：对融合后的图像进行评估，确保其能够全面反映斑块的复杂特性，并提高斑块易损性的评估准确性。
[0062] 4.融合图像应用
[0063] 将融合图像输入到斑块识别模块中，进行易损斑块边界的自动识别。
[0064] 基于识别结果，提取出易损斑块并进行再识别，将不确定区域高亮并通知医护人员复核。
[0065] 采集医护人员反馈的复核标识，与再识别结果中的不确定区域关联，得到最终识别结果。
[0066] 多模态图像融合：本发明采用了多模态图像融合模块，这一模块能够整合来自超声成像设备、CT成像设备和磁共振成像设备对同一部位(颈动脉)的扫描结果。这种多源数据的融合充分利用了每种成像技术的优势，即超声的实时性、CT的高空间分辨率以及磁共振成像的软组织对比度和无辐射性。融合后的图像不仅提高了图像的质量，还增强了斑块内部成分的辨识能力，如脂质核心、纤维帽和钙化等，从而克服了单一成像模态在精确评估斑块易损性方面的局限性。
[0067] 精准斑块识别与复核机制：通过斑块识别模块对融合图像进行易损斑块边界的自动识别，提高了识别的准确性和效率。这一模块还能基于边界识别结果进行再识别，进一步细化识别结果，将不确定区域高亮显示并通知医护人员复核。这一步骤引入了人工复核环节，减少了因设备性能差异、患者个体差异及操作者经验水平不一而导致的误诊或漏诊风险。
[0068] 医护人员反馈的复核标识与再识别结果中的不确定区域进行关联，最终得到更为准确可靠的斑块识别结果。这种人机结合的方式，既发挥了计算机自动化处理的高效性，又保留了专业医护人员的经验和判断力，实现了对颈动脉易损斑块的精准识别。
[0069] 综上，该技术方案通过多模态图像融合和精准斑块识别与复核机制，有效解决了背景技术中提到的超声成像在评估斑块易损性方面的局限性，以及单一成像模态难以全面反映斑块特性的问题，实现了对颈动脉易损斑块的精准识别，为临床干预策略的制定提供了更为可靠的依据。
[0070] 本发明的较佳的实施例中，如图1所示，斑块识别模块2包括：
[0071] 斑块识别单元21，用于将融合图像输入预先构建的斑块识别模型识别出融合图像中的易损斑块边界，将融合图像中被易损斑块边界包围的部分作为边界识别结果；
[0072] 图像提取单元22，连接斑块识别单元21，用于在融合图像中，以边界识别结果为基础起点，将易损斑块边界向融合图像的边缘进行拓展，将融合图像中拓展后的易损斑块边界包围的图像作为再识别图像；
[0073] 不确定标记单元23，连接图像提取单元22，用于将再识别图像输入斑块识别模型中进行再次识别得到再识别结果，并且将再识别图像输入贝叶斯神经网络中得到再识别图像中不确定区域被高亮标记的识别结果，随后采集医护人员反馈的复核标识，将复核标识与再识别结果中的不确定区域关联得到最终识别结果。
[0074] 具体的，本实施例中，以下是一个实施例来说明如何实现斑块识别模块的功能：
[0075] 1.斑块识别单元
[0076] 步骤一：构建斑块识别模型
[0077] 使用大量标注了易损斑块边界的颈动脉多模态融合图像作为训练数据。
[0078] 选择合适的深度学习框架(本实施例中采用TensorFlow或PyTorch)和模型架构(本实施例中采用卷积神经网络CNN)来构建斑块识别模型。
[0079] 对模型进行训练，直到模型在验证集上的表现达到预设的准确率或损失值。
[0080] 步骤二：识别易损斑块边界
[0081] 将多模态融合图像输入到训练好的斑块识别模型中。
[0082] 模型自动输出易损斑块的边界，这些边界通常以像素级或亚像素级的精度表示。
[0083] 将融合图像中被易损斑块边界包围的部分作为边界识别结果，即初步识别的易损斑块区域。
[0084] 2.图像提取单元
[0085] 步骤一：拓展易损斑块边界
[0086] 以边界识别结果为基础起点，设计一种算法来拓展易损斑块的边界。
[0087] 拓展的边界可以根据实际情况和临床需求进行调整，例如基于斑块的形状、大小或周围组织的特征。
[0088] 拓展后的边界应能更全面地覆盖可能的易损斑块区域，同时避免将非斑块区域误纳入。
[0089] 步骤二：提取再识别图像
[0090] 将融合图像中拓展后的易损斑块边界包围的图像作为再识别图像。
[0091] 确保再识别图像包含了足够的上下文信息，以便在后续步骤中进行更准确的识别。
[0092] 3.不确定标记单元
[0093] 步骤一：再次识别易损斑块
[0094] 将再识别图像重新输入到斑块识别模型中进行再次识别。
[0095] 此次识别旨在进一步确认和细化易损斑块的边界和特征。
[0096] 步骤二：高亮不确定区域
[0097] 将再识别图像输入到预先训练好的贝叶斯神经网络中。
[0098] 贝叶斯神经网络能够输出每个像素或区域属于易损斑块的不确定性概率。
[0099] 根据不确定性概率的高低，将再识别图像中的不确定区域进行高亮标记。高亮方式可以是改变颜色、增加边框或闪烁等。
[0100] 步骤三：医护人员复核与最终识别
[0101] 展示高亮标记后的再识别图像给医护人员。
[0102] 医护人员根据专业知识和经验对高亮区域进行复核，并给出复核标识(如确认、修改或忽略)。
[0103] 将复核标识与再识别结果中的不确定区域进行关联，得到最终的易损斑块识别结果。
[0104] 通过以上步骤，斑块识别模块能够实现对颈动脉易损斑块的精准识别，并通过不确定区域的高亮标记和医护人员的复核来提高识别的准确性和可靠性。
[0105] 本发明的较佳的实施例中，如图1所示，还包括斑块识别构建模块3，连接斑块识别模块2，包括：
[0106] 训练数据采集单元31，用于收集包含多幅斑块大小不同的标准易损斑块样本的训练数据集；
[0107] 多尺度特征提取单元32，连接所述训练数据采集单元31，用于在每次训练时，基于输入预先构建的标准卷积神经网络的标准易损斑块样本中的斑块大小调整标准卷积神经网络的卷积核的尺度进行多尺度特征提取训练得到斑块识别模型。
[0108] 具体的，本实施例中，斑块识别模型的构建是基于标准的卷积神经网络而构建的；
[0109] 步骤一：样本收集
[0110] 从多个医疗影像中心或数据库中收集包含易损斑块的颈动脉图像数据。这些图像应该经过专业医生的标注，明确标出易损斑块的位置和边界。
[0111] 筛选出斑块大小不同的样本，以确保训练数据集具有足够的多样性和代表性。
[0112] 步骤二：数据预处理
[0113] 对收集到的图像进行预处理，包括去噪、归一化、增强对比度等操作，以提高图像质量并减少训练过程中的噪声干扰。
[0114] 根据需要将图像裁剪到统一的大小，以便于后续处理。
[0115] 步骤三：构建训练数据集
[0116] 将预处理后的图像按照一定比例划分为训练集、验证集和测试集。通常，训练集占大部分(如70％)，验证集和测试集各占一小部分(如15％)。
[0117] 为每个样本生成标签，标签中应包含易损斑块的位置信息(如边界框坐标)或像素级标注。
[0118] 2.多尺度特征提取单元
[0119] 步骤一：构建基础卷积神经网络
[0120] 选择一个适合图像识别任务的标准卷积神经网络作为基础模型，本实施例中可选VGG、ResNet或DenseNet其中的一种。
[0121] 确定网络的基本架构，包括卷积层、池化层、激活函数和全连接层等。
[0122] 步骤二：多尺度特征提取策略
[0123] 设计一种多尺度特征提取策略，以适应不同大小的斑块。这可以通过以下几种方式实现：
[0124] 动态卷积核调整：在训练过程中，根据输入样本中斑块的大小动态调整卷积核的尺度。斑块大小和卷积核的尺度可以通过多次人工测试得到最优的对应关系，同时也可以按照以下方式获得：
[0125] 在斑块识别任务中，自适应机制可以根据输入斑块的大小动态调整卷积核的尺度，以提高特征提取的准确性和鲁棒性以下是一个基于自适应机制的例子，说明斑块大小和卷积核“感知”尺度的对应关系(注意，这里的“感知”尺度并非直接改变卷积核的物理尺寸，而是通过其他方式模拟不同尺度的感受野)：
[0126] 自适应多尺度感受野策略
[0127] 多尺度输入预处理：
[0128] 在输入网络之前，对斑块图像进行多尺度预处理。这可以通过将图像缩放到不同的尺寸(如原始尺寸、0.5倍、1.5倍等)来实现。
[0129] 每个尺度的图像都作为网络的一个输入分支。
[0130] 共享卷积层：
[0131] 使用一个共享的卷积层来处理所有尺度的输入图像。这个卷积层使用固定的卷积核尺度(如3x3或5x5)，但能够提取出不同尺度输入图像的基本特征。
[0132] 自适应池化或注意力机制：
[0133] 在共享卷积层之后，引入自适应池化层或注意力机制来模拟不同尺度的感受野。
[0134] 自适应池化层可以根据输入特征图的大小动态调整池化窗口的大小或步长，从而保留更多的细节信息或忽略不重要的背景信息。
[0135] 注意力机制则可以通过学习权重分布来关注图像中的重要区域，这些区域可能与斑块的大小和位置有关。
[0136] 特征融合与决策：
[0137] 将不同尺度输入分支经过卷积层和自适应池化/注意力机制后得到的特征图进行融合。
[0138] 融合后的特征图包含了不同尺度的信息，有助于更准确地识别斑块。
[0139] 最后，通过全连接层或卷积层进行决策，输出斑块的分类结果或位置信息。
[0140] 虽然这个例子中没有直接改变卷积核的物理尺寸，但通过多尺度输入和自适应池化/注意力机制的结合，实现了对不同大小斑块的有效识别。这种方法可以看作是间接地通过调整感受野来模拟卷积核尺度的变化。
[0141] 多尺度特征提取策略还可以按照以下方式：
[0142] 多分支网络：构建多个并行的卷积分支，每个分支使用不同尺度的卷积核。这些分支的输出在后续层中被合并，以融合不同尺度的特征。
[0143] 空间金字塔池化(Spatial Pyramid Pooling,SPP)：在网络的某个阶段之后引入SPP层，该层可以对任意大小的输入特征图进行池化，并输出固定长度的特征向量。
[0144] 步骤三：模型训练
[0145] 使用训练数据集对基础卷积神经网络进行预训练，以学习基本的图像特征。
[0146] 引入多尺度特征提取策略，并继续训练模型。在训练过程中，根据输入样本中斑块的大小动态调整卷积核的尺度或利用多分支网络、SPP等方法进行多尺度特征提取。
[0147] 监控验证集上的性能，并根据需要调整超参数(如学习率、批量大小、训练轮次等)。
[0148] 本发明的较佳的实施例中，还包括数据预处理模块4，如图1所示，连接斑块识别模块2，包括：
[0149] 模型构建模块41，用于收集包含易损斑块样本和多种其他类型斑块样本的真实超声图像数据集，随后构建包含生成器和判别器的生成对抗网络模型，将真实超声图像数据集输入生成对抗网络模型进行训练得到斑块数据增强模型；
[0150] 数据增强单元42，连接模型构建模块41，用于采用斑块数据增强模型中的生成器生成多副合成超声图像添加到训练数据集中以扩充训练数据集中的数据量。
[0151] 具体的，本实施例中数据预处理模块通过引入包含模型构建模块和数据增强单元的子模块，实现了对斑块识别任务中训练数据集的显著增强和扩充。这种设计带来了以下几个有益效果：
[0152] 提高数据多样性：通过收集包含易损斑块样本和多种其他类型斑块样本的真实超声图像数据集，模型构建模块能够学习到不同类型斑块的特征。这有助于生成对抗网络(GAN)模型在训练过程中捕捉到更丰富的数据分布，从而生成更加多样化和逼真的合成超声图像。
[0153] 扩充训练数据集：数据增强单元利用训练好的GAN模型中的生成器，能够生成大量的合成超声图像。这些图像被添加到原始的训练数据集中，显著扩充了数据集的大小。这对于深度学习模型来说尤为重要，因为更大的数据集通常能够减少过拟合的风险，提高模型的泛化能力。
[0154] 本发明的较佳的实施例中，图像提取单元22包括：
[0155] 迭代碰膨胀子单元221，用于在融合图像中，以边界识别结果为基础起点，采用形态学膨胀操作将易损斑块边界向融合图像的边缘进行多次迭代拓展，直至拓展后的易损斑块边界与原本的易损斑块边界之间的像素距离达到预设的像素距离，随后将融合图像中拓展后的易损斑块边界包围的图像作为再识别图像。
[0156] 具体的，本实施例中边界拓展采用迭代膨胀的方式，迭代膨胀在图像处理中，特别是在医学图像分析如易损斑块识别中，具有显著的有益效果。提高边界识别的准确性：通过形态学膨胀操作，迭代膨胀子单元能够逐步将易损斑块的边界向外拓展，直到达到预设的像素距离。这一过程有助于平滑边界，减少因图像噪声或分辨率不足导致的边界识别误差。多次迭代确保了边界拓展的连续性和一致性，使得最终识别的易损斑块边界更加接近真实情况。
[0157] 增强对复杂结构的识别能力：在医学图像中，易损斑块往往具有复杂的形态和边界。迭代膨胀子单元通过逐步拓展边界，能够更好地捕捉这些复杂结构，提高系统对复杂斑块的识别能力。特别是对于那些边界模糊或与其他组织紧密相连的易损斑块，迭代膨胀操作有助于将它们从背景中分离出来，提高识别的准确性。
[0158] 进一步具体的，在其中一个实施例中按照以下方式进行迭代膨胀：
[0159] 初步边界识别：
[0160] 使用斑块识别模块(本实施例中采用卷积神经网络)对融合图像进行初步处理，识别出易损斑块的初步边界。
[0161] 将识别到的边界作为迭代膨胀子单元的输入。
[0162] 设置迭代膨胀参数：
[0163] 确定迭代膨胀的初始条件，包括膨胀操作的核大小(即结构元素的大小)、迭代次数以及预设的像素距离阈值。
[0164] 核大小的选择应根据斑块的大小和形状进行适当调整，以确保膨胀操作的有效性。
[0165] 预设的像素距离阈值用于控制迭代膨胀的停止条件，即当拓展后的斑块边界与原始边界之间的像素距离达到或超过该阈值时，停止迭代。
[0166] 执行迭代膨胀操作：
[0167] 以初步识别的边界为基础起点，使用形态学膨胀操作对边界进行拓展。
[0168] 每次迭代中，将膨胀后的边界作为下一次迭代的输入，并继续执行膨胀操作。
[0169] 重复迭代过程，直到拓展后的斑块边界与原始边界之间的像素距离达到预设的像素距离阈值。
[0170] 生成再识别图像：
[0171] 将最终拓展后的斑块边界作为新的识别边界。
[0172] 将融合图像中由该边界包围的区域作为再识别图像输出。
[0173] 在另一个实施例中，初步识别的易损斑块边界为一个圆形区域，半径为R。我们设置核大小为3x3的方形结构元素，预设的像素距离阈值为5个像素。
[0174] 在第一次迭代中，使用3x3的结构元素对原始边界进行膨胀，得到一个新的、稍微增大的边界。
[0175] 重复此过程，每次迭代后都检查新边界与原始边界之间的像素距离。
[0176] 当该距离达到或超过5个像素时，停止迭代，并将此时的边界作为最终识别边界。
[0177] 最后，将融合图像中由该最终边界包围的区域作为再识别图像，供后续分析使用。
[0178] 本发明还提供一种颈动脉易损斑块识别方法，应用于上述的颈动脉易损斑块识别系统，如图2所示，包括：
[0179] 步骤S1，颈动脉易损斑块识别系统分别获取超声成像设备、CT成像设备和磁共振成像设备对患者的颈动脉同一部位扫描得到的颈动脉超声图像、颈动脉CT图像以及颈动脉磁共振图像，随后将颈动脉超声图像、颈动脉CT图像以及颈动脉磁共振图像进行多模态图像融合得到融合图像；
[0180] 步骤S2，颈动脉易损斑块识别系统对融合图像进行易损斑块边界识别，随后基于边界识别结果提取出易损斑块进行再识别，将再识别结果中的不确定区域高亮并通知医护人员复核，随后采集医护人员反馈的复核标识，将复核标识与再识别结果中的不确定区域关联得到最终识别结果。
[0181] 本发明的较佳的实施例中，如图3所示，步骤S2包括：
[0182] 步骤S21，颈动脉易损斑块识别系统将融合图像输入预先构建的斑块识别模型识别出融合图像中的易损斑块边界，将融合图像中被易损斑块边界包围的部分作为边界识别结果；
[0183] 步骤S22，颈动脉易损斑块识别系统在融合图像中，以边界识别结果为基础起点，将易损斑块边界向融合图像的边缘进行拓展，将融合图像中拓展后的易损斑块边界包围的图像作为再识别图像；
[0184] 步骤S23，颈动脉易损斑块识别系统将再识别图像输入斑块识别模型中进行再次识别得到再识别结果，并且将再识别图像输入贝叶斯神经网络中得到再识别图像中不确定区域被高亮标记的识别结果，随后采集医护人员反馈的复核标识，将复核标识与再识别结果中的不确定区域关联得到最终识别结果。
[0185] 本发明的较佳的实施例中，还包括斑块识别构建过程，如图4所示，包括：
[0186] 步骤A1，颈动脉易损斑块识别系统收集包含多幅斑块大小不同的标准易损斑块样本的训练数据集；
[0187] 步骤A2，颈动脉易损斑块识别系统在每次训练时，基于输入预先构建的标准卷积神经网络的标准易损斑块样本中的斑块大小调整标准卷积神经网络的卷积核的尺度进行多尺度特征提取训练得到斑块识别模型。
[0188] 本发明的较佳的实施例中，在执行步骤A2之前，如图5所示，还包括数据预处理过程，包括：
[0189] 步骤B1，颈动脉易损斑块识别系统收集包含易损斑块样本和多种其他类型斑块样本的真实超声图像数据集，随后构建包含生成器和判别器的生成对抗网络模型，将真实超声图像数据集输入生成对抗网络模型进行训练得到斑块数据增强模型；
[0190] 步骤B2，颈动脉易损斑块识别系统采用斑块数据增强模型中的生成器生成多副合成超声图像添加到训练数据集中以扩充训练数据集中的数据量。
[0191] 本发明的较佳的实施例中，步骤S22中的图像拓展过程包括：
[0192] 颈动脉易损斑块识别系统在融合图像中，以边界识别结果为基础起点，采用形态学膨胀操作将易损斑块边界向融合图像的边缘进行多次迭代拓展，直至拓展后的易损斑块边界与原本的易损斑块边界之间的像素距离达到预设的像素距离，随后将融合图像中拓展后的易损斑块边界包围的图像作为再识别图像。
[0193] 以上仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。
