具体技术细节
[0003] 针对现有技术中的不足，本发明提出一种基于Prompt的边缘增强医学图像分割方法，构建图像分割网络，该网络包括编码器、瓶颈层、解码器以及边缘感知学习模块，进行图像分割的过程包括以下步骤：
[0004] 获取骨骼CT图像，通过编码器对图像进行连续下采样，每一层下采样得到的特征作为对应解码器中上采样层中输入的高分辨率特征图；
[0005] 通过边缘感知学习模块从骨骼CT图像中获取边缘信息、框信息以及掩膜信息，通过获取的信息与编码器最后一个下采样层输出的特征进行融合后作为瓶颈层的输入；
[0006] 在编码器中，将瓶颈层或者前一层的输出作为低分辨率特征图，将低分辨率特征图和高分辨率特征图进行特征对齐和特征增强后作为当前层的输出，并将编码器最后一层的输出作为图像分割结果。
[0007] 本发明还提出一种基于Prompt的边缘增强医学图像分割系统，用于实现一种基于Prompt的边缘增强医学图像分割方法，包括预处理模块、编码器、解码器、边缘感知提示学习模块和瓶颈层，编码器和解码器中各层的特征图相互匹配；其中：
[0008] 预处理模块，用于对输入的骨骼CT图像进行预处理，包括将骨骼CT图像转换为特征图并进行增强和标注；
[0009] 编码器，用于对输入的特征图进行多次下采样操作；
[0010] 边缘感知模块，用于根据检测框和边缘信息融合得到提示语义信息；
[0011] 瓶颈层，用于对提示语义信息语义信息进行过滤，得到输入解码器的初始高分辨率特征图；
[0012] 解码器，用于对输入的特征图对应解码器进行多次上采样，在上采样过程中，将解码器对应层的输出进行上采样后作为低分辨率特征图，将低分辨率特征图和高分辨率特征图进行图像对齐和图像增强后作为当前层的输出，并将当前层的输出作为下一层的高分辨率特征图，解码器的最后一层输出的特征图即为分割结果。
[0013] 进一步地，边缘感知学习模块对骨骼CT图像的处理过程，如图5，具体包括以下步骤：
[0014] 通过手动标注获得检测框，并利用边缘检测器从骨骼CT图像中提取边缘信息；
[0015] 分别对检测框和边缘信息进行位置编码，然后通过MLP生成对应的权重与位置编码相乘，获得对应的框嵌入向量和边缘嵌入向量；
[0016] 将边缘嵌入向量和框嵌入向量拼接在一起作为稀疏嵌入向量；
[0017] 将骨骼CT图像中手动标注的掩码通过连续下采样转换成密集嵌入向量；
[0018] 将稀疏嵌入向量和密集嵌入向量拼接在一起作为提示语音信息；
[0019] 低分辨率特征图通过跨注意力机制与提示语义信息进行融合。
[0020] 进一步地，图像中的掩码进行连续下采样的过程，即采用级联的三个下采样模块进行处理，第一、第二下采样模块由级联的2×2卷积单元、层归一化单元以及GELU激活函数构成；第三下采样模块由1×1卷积单元构成。
[0021] 进一步地，若低分辨率特征图为S1、提示语义信息为S2，通过跨注意力机制进行融合的过程包括：
[0022] S3＝softmax((WQS2)(WKS1)T)WVS1
[0023] 其中，S3为低分辨率特征图通过跨注意力机制与提示语义信息进行融合得到的特征图；WQ、WK、WV为可训练的跨注意力机制权值矩阵；WQS2为跨注意力机制中的查询矩阵，WKS1T为跨注意力机制中的键矩阵，WVS1为跨注意力机制中的值矩阵；(·) 表示矩阵的转置。
[0024] 进一步地，将高分辨率特征图和低分辨率特征图进行特征对齐，如图6，包括以下步骤：
[0025] 利用1×1卷积模块对高分辨率特征图进行处理得到对应的高分辨率特征图，利用3×3卷积模块对低分辨率特征图进行上采样得到上采样的低分辨率特征图，使上采样的低分辨率特征图尺寸与高分辨率特征图匹配；将上采样的低分辨率特征图与高分辨率特征图拼接后利用3×3卷积模块进行处理得到组合特征图；
[0026] 利用光流估计法对组合特征图进行处理，得到光流特征图；
[0027] 将光流特征图和高分辨率特征图输入warp网络进行局部对齐，得到局部对齐的特征图；
[0028] 将局部对齐的特征图与上采样的低分辨率相加，得到对齐后的特征图。
[0029] 进一步地，根据高分辨率图像和低分辨率图像进行特征对齐后的特征图进行特征增强的过程，如图7，具体包括以下步骤：
[0030] 基于空间注意力机制，根据对齐后的特征图生成空间注意力图，利用空间注意力图对对齐后的特征图进行加权，得到第一加权特征图；
[0031] 利用全局平均池生成对齐后的特征图的通道统计，基于通道注意力机制和通道统计生成每个通道的权重；
[0032] 利用每个通道的权重分别对对齐后的特征图的每个通道进行加权，得到第二加权特征图；
[0033] 将第一加权特征图和第二加权特征图通过相加进行融合，得到增强后的特征图。
[0034] 进一步地，利用空间注意力图对对齐后的特征图进行加权，得到第一加权特征图包括以下步骤：
[0035] 利用带有两个激活函数的1×1卷积层来生成空间注意力图即：
[0036]
[0037] 使用attSA对输入特征Fh′进行空间调制，得到第一加权特征图，即：
[0038]
[0039] 其中，σ(·)为sigmoid激活函数； 表示两个1×1卷积层的权重；δ(·)h′表示ReLU激活函数；F 为对齐后的特征图； 表示对齐后的特征图，
h h h h h
表示H ×W×C维的实数空间，H 表示高分辨率特征图的高，W表示高分辨率
h
特征图的宽，C表示高分辨率特征图的通道数； 表示克罗内克积。
[0040] 进一步地，利用每个通道的权重分别对对齐后的特征图的每个通道进行加权，得到第二加权特征图包括以下步骤：
[0041] 利用全局平均池生成对齐后的特征图Fh′计算其通道统计GCA，GCA的第c个元素的计算表示为：
[0042]
[0043] 利用带有sigmoid激活的简单门控机制来生成通道注意力图attCA，表示为：
[0044]
[0045] 利用通道注意力图attCA来调整输入特征Fh′，即：
[0046]
[0047] 其中， 表示第c个通道中位置(i，j)处的元素，i∈{1,2,…,Hh}，j∈{1,h2,…,W}； 表示通道注意力中两个1×1卷积层的权重； 为通道注意力图
h′
attCA中第c个通道的注意力图， 为对齐后的特征图F 中第c个通道的特征图。
[0048] 本发明还提出一种基于Prompt的边缘增强医学图像分割系统，用于实现一种基于Prompt的边缘增强医学图像分割方法，包括预处理模块、编码器、解码器、边缘感知提示学习模块和瓶颈层，编码器和解码器中各层的特征图相互匹配；其中：
[0049] 预处理模块，用于对输入的骨骼CT图像进行预处理，包括将骨骼CT图像转换为特征图并进行增强和标注；
[0050] 编码器，用于对输入的特征图进行多次下采样操作；
[0051] 边缘感知模块，用于根据检测框和边缘信息融合得到提示语义信息；
[0052] 瓶颈层，用于对提示语义信息语义信息进行过滤，得到输入解码器的初始高分辨率特征图；
[0053] 解码器，用于对输入的特征图对应解码器进行多次上采样，在上采样过程中，将解码器对应层的输出进行上采样后作为低分辨率特征图，将低分辨率特征图和高分辨率特征图进行图像对齐和图像增强后作为当前层的输出，并将当前层的输出作为下一层的高分辨率特征图，解码器的最后一层输出的特征图即为分割结果。
[0054] 在医学图像分割方法中，针对边缘处理不足和局部信息缺失问题，与现有技术相比，本发明存在以下有益效果：
[0055] (1)、本发明通过边缘感知模块获取到真实图像的边缘，先将Box和Edge提示信息融合，并处理mask提示信息，然后将Sparse_Embeddings和Dense_Embeddings与图片通过融合模块进行结合，能够有效地捕捉和增强图像的边缘信息，使边缘过渡更加自然平滑；
[0056] (2)、本发明通过特征对齐增强模块将上下文信息进行结合，以保证在上采样的同时不会损失局部特征；通过结合图像的空间信息，以保证不会损失全局特征。
[0057] 综上所述，本发明改善了图像分割的效果，从而能节省医务人员花费在阅读和理解CT图像上的时间，直观的显示骨骼形态异常。
法律保护范围
涉及权利要求数量9：其中独权2项，从权-2项
1.一种基于Prompt的边缘增强医学图像分割方法，其特征在于，构建图像分割网络，该网络包括编码器、瓶颈层、解码器以及边缘感知学习模块，进行图像分割的过程包括以下步骤：
获取骨骼CT图像，通过编码器对图像进行连续下采样，每一层下采样得到的特征作为对应解码器中上采样层中输入的高分辨率特征图；
通过边缘感知学习模块从骨骼CT图像中获取边缘信息、框信息以及掩膜信息，通过获取的信息与编码器最后一个下采样层输出的特征进行融合后作为瓶颈层的输入；
在编码器中，将瓶颈层或者前一层的输出作为低分辨率特征图，将低分辨率特征图和高分辨率特征图进行特征对齐和特征增强后作为当前层的输出，并将编码器最后一层的输出作为图像分割结果。
2.根据权利要求1所述的一种基于Prompt的边缘增强医学图像分割方法，其特征在于，边缘感知学习模块对骨骼CT图像的处理过程包括：
通过手动标注获得检测框，并利用边缘检测器从骨骼CT图像中提取边缘信息；
分别对检测框和边缘信息进行位置编码，然后通过MLP生成对应的权重与位置编码相乘，获得对应的框嵌入向量和边缘嵌入向量；
将边缘嵌入向量和框嵌入向量拼接在一起作为稀疏嵌入向量；
将骨骼CT图像中手动标注的掩码通过连续下采样转换成密集嵌入向量；
将稀疏嵌入向量和密集嵌入向量拼接在一起作为提示语音信息；
低分辨率特征图通过跨注意力机制与提示语义信息进行融合。
3.根据权利要求2所述的一种基于Prompt的边缘增强医学图像分割方法，其特征在于，图像中的掩码进行连续下采样的过程，即采用级联的三个下采样模块进行处理，第一、第二下采样模块由级联的2×2卷积单元、层归一化单元以及GELU激活函数构成；第三下采样模块由1×1卷积单元构成。
4.根据权利要求2所述的一种基于Prompt的边缘增强医学图像分割方法，其特征在于，若低分辨率特征图为S1、提示语义信息为S2，通过跨注意力机制进行融合的过程包括：
T
S3＝softmax((WQS2)(WKS1))WVS1
其中，S3为低分辨率特征图通过跨注意力机制与提示语义信息进行融合得到的特征图；
WQ、WK、WV为可训练的跨注意力机制权值矩阵；WQS2为跨注意力机制中的查询矩阵，WKS1为跨T
注意力机制中的键矩阵，WVS1为跨注意力机制中的值矩阵；(·) 表示矩阵的转置。
5.根据权利要求1所述的一种基于Prompt的边缘增强医学图像分割方法，其特征在于，将高分辨率特征图和低分辨率特征图进行特征对齐包括以下步骤：
利用1×1卷积模块对高分辨率特征图进行处理得到对应的高分辨率特征图，利用3×3卷积模块对低分辨率特征图进行上采样得到上采样的低分辨率特征图，使上采样的低分辨率特征图尺寸与高分辨率特征图匹配；将上采样的低分辨率特征图与高分辨率特征图拼接后利用3×3卷积模块进行处理得到组合特征图；
利用光流估计法对组合特征图进行处理，得到光流特征图；
将光流特征图和高分辨率特征图输入warp网络进行局部对齐，得到局部对齐的特征图；
将局部对齐的特征图与上采样的低分辨率相加，得到对齐后的特征图。
6.根据权利要求1或5所述的一种基于Prompt的边缘增强医学图像分割方法，其特征在于，根据高分辨率图像和低分辨率图像进行特征对齐后的特征图进行特征增强的过程包括：
基于空间注意力机制，根据对齐后的特征图生成空间注意力图，利用空间注意力图对对齐后的特征图进行加权，得到第一加权特征图；
利用全局平均池生成对齐后的特征图的通道统计，基于通道注意力机制和通道统计生成每个通道的权重；
利用每个通道的权重分别对对齐后的特征图的每个通道进行加权，得到第二加权特征图；
将第一加权特征图和第二加权特征图通过相加进行融合，得到增强后的特征图。
7.根据权利要求6所述的一种基于Prompt的边缘增强医学图像分割方法，其特征在于，利用空间注意力图对对齐后的特征图进行加权，得到第一加权特征图包括以下步骤：
利用带有两个激活函数的1×1卷积层来生成空间注意力图 即：
h′
使用attSA对输入特征F 进行空间调制，得到第一加权特征图，即：
其中，σ(·)为sigmoid激活函数； 表示两个1×1卷积层的权重；δ(·)表示h′
ReLU激活函数；F 为对齐后的特征图； 表示对齐后的特征图，
h h h h h
表示H ×W ×C维的实数空间，H 表示高分辨率特征图的高，W表示高分辨率h
特征图的宽，C表示高分辨率特征图的通道数； 表示克罗内克积。
8.根据权利要求6所述的一种基于Prompt的边缘增强医学图像分割方法，其特征在于，利用每个通道的权重分别对对齐后的特征图的每个通道进行加权，得到第二加权特征图包括以下步骤：
h
利用全局平均池生成对齐后的特征图F ′计算其通道统计GCA，GCA的第c个元素的计算表示为：
利用带有sigmoid激活的简单门控机制来生成通道注意力图attCA，表示为：
h′
利用通道注意力图attCA来调整输入特征F ，即：
h h′ h h′ h′c
其中，H表示对齐后的特征图F 的高；W表示对齐后的特征图F 的宽；F (i，j)表示第h
c个通道中位置(i，j)处的元素，i∈{1，2，...，Hh}，j∈{1，2，...，W}； 表示通道注意力中两个1×1卷积层的权重；δ(·)表示ReLU函数； 为通道注意力图attCA中第ch′
个通道的注意力图， 为对齐后的特征图F 中第c个通道的特征图； 表示克罗内克积。
9.一种基于Prompt的边缘增强医学图像分割系统，其特征在于，用于实现权利要求1所述的一种基于Prompt的边缘增强医学图像分割方法，包括预处理模块、编码器、解码器、边缘感知提示学习模块和瓶颈层，编码器和解码器中各层的特征图相互匹配；其中：
预处理模块，用于对输入的骨骼CT图像进行预处理，包括将骨骼CT图像转换为特征图并进行增强和标注；
编码器，用于对输入的特征图进行多次下采样操作；
边缘感知模块，用于根据检测框和边缘信息融合得到提示语义信息；
瓶颈层，用于对提示语义信息进行过滤，得到输入解码器的初始高分辨率特征图；
解码器，用于对输入的特征图对应解码器进行多次上采样，在上采样过程中，将解码器对应层的输出进行上采样后作为低分辨率特征图，将低分辨率特征图和高分辨率特征图进行图像对齐和图像增强后作为当前层的输出，并将当前层的输出作为下一层的高分辨率特征图，解码器的最后一层输出的特征图即为分割结果。
