技术领域
[0001] 本发明涉及医学图像处理技术领域，尤其涉及一种细胞内镜图像生成方法。
相关背景技术
[0002] 在医学图像分析领域，深度学习技术依赖大规模、多样化和高质量的数据来提升模型的泛化能力，但常面临数据不平衡的问题，尤其是重要病理样本稀缺的情况下。传统的医学图像生成方法主要包括生成对抗网络（GAN）和变分自编码器（VAE）。虽然这些方法在生成医学图像上取得了一定成果，但它们通常是单模态方法，生成的医学图像在病变区域的边界、形状、病灶的特征上不够准确，且真实性和细节精度较差。
具体实施方式
[0018] 为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0019] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0020] 本申请的说明书和权利要求书中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0021] 本发明的实施例1，参照图1，图1是本发明实施例中的一种细胞内镜图像生成方法的流程图，如图1所示，该方法包括以下步骤：S1，获取细胞内镜的真实图像以及对应的病理信息，构建训练数据集和测试数据集；
细胞内镜（EC）图像可以从医疗机构、临床研究或专业数据库中获取。病理信息通常来自专业的病理学家或医生的诊断报告，包括病变类型、病变性质、病理分级、位置等。将每张细胞内镜图像与其对应的病理信息组成一对，构成数据集的基本单元，将收集到的数据按照一定的拆分比例将数据集拆分为训练数据集和测试数据集，其中，训练集用于训练模型，通常占总数据集的较大比例（如70%‑80%），测试集用于评估模型的性能，通常占总数据集的较小比例（如20%‑30%）。
[0022] 进一步地，本实施例中获取医院提供的患者细胞内镜图像作为真实图像，以及获取医生提供的关于细胞内镜图像对应的病理诊断作为病理信息。本示例中，病理信息为图像诊断结果，包括增生性息肉、无蒂锯齿状病变、腺瘤和浸润性癌四种。
[0023] S2，对细胞内镜的真实图像进行预处理，并对病理信息进行文本分析；其中，图像预处理包括图像增强、归一化、去噪等操作；文本分析包括文本清洗、向量化、特征提取等操作。
[0024] 进一步地，本实施中，对细胞内镜的真实图像进行预处理包括：将细胞内镜的真实图像标准化为512x512像素大小；
将标准化后的图像转换为NumPy数组，并进行RGB通道转换和归一化处理，其中，归一化处理的公式为： ；其中， 是归一化后的图像， 是原始图像，
和 分别是图像数据的均值和标准差。
[0025] NumPy数组（NumPy Array）是NumPy库提供的一种数据结构，用于在Python中高效地存储和操作大型多维数组和矩阵。RGB通道转换指在图像处理中，将图像的红色（Red）、绿色（Green）、蓝色（Blue）三个颜色通道的数据进行重新排列或调整，使用NumPy的切片和索引功能可以轻松地分离、合并或重排序RGB通道。
[0026] 通过对图像进行标准化、归一化等预处理，可以使细胞内镜图像符合模型的输入，有助于加快模型收敛，提高训练稳定性和性能。
[0027] 进一步地，本实施中，对病理信息进行文本分析包括进行文本标记化以及进行嵌入和位置编码，具体地，包括：通过tokenize函数对所述病理信息进行标记，生成张量 ：
；其中，T表示病理信息， 表示对病理信息T进行标记后生
成的张量；标记是将文本拆分成更小、更易于处理的部分，通常是单词或子词的过程，使用tokenize函数对病理信息进行标记，这个过程生成了一个张量，它表示标记后的文本数据；
对标记后的张量进行嵌入处理，将其转换为嵌入向量，嵌入是将标记转换为固定大小的密集向量，通常是浮点数，这些向量能够捕捉到标记之间的语义关系，将生成的张量输入 到 O pe n CL I P文 本 编 码模 型 的嵌 入 层生 成 嵌 入向 量X ：
；其中，Embedding表示嵌入处理；
将嵌入向量 进行位置编码，为每个张量引入其在序列中的位置信息，其中，位置编码如下： ； ；其中，
表示位置为 且维度索引为偶数 的位置编码，使用正弦函数来计算，
表示位置为 且维度索引为奇数 的位置编码，使用余弦函数来计
算， 是序列中的位置，是维度索引， 是嵌入的维度大小；当维度索引为偶数时，使用正弦函数来计算位置编码，当维度索引 为奇数时，使用余弦函数来计算位置编码；
把位置编码PE与嵌入向量X逐元素相加，生成带有位置信息的嵌入向量 ：
；将加入位置信息的嵌入向量 作为Transformer层的输入，经过
Transformer层多个注意力机制和前馈网络的处理后，在倒数第二层截取处理后的特征，输出高维语义嵌入向量context，这个高维语义嵌入向量 context 捕捉到了病理信息文本中的语义和位置信息。
[0028] S3，基于处理后的真实图像和病理信息，构建基于深度扩散模型的细胞内镜图像生成模型，采用训练数据集对模型进行训练；图像生成领域最常见的生成模型有生成式对抗网络（Generative adversarial net，GAN）、变分自编码器（variational autoencoder， VAE）、流模型（Flow‑based model）等，将处理后的图像和对应的文本向量作为模型的输入，定义合适的损失函数和优化器等进行模型训练，使用训练数据集迭代更新模型参数，直到达到预定的训练轮数或损失收敛。
[0029] 本实施例中构建的模型基于深度扩散模型（Deep Diffusion Model，DDM），深度扩散模型模拟了数据从随机噪声逐步扩散至目标数据的过程，与传统的生成模型相比，扩散模型通过多步的迭代过程来生成样本，这使得其能够生成高质量、多样化的输出。
[0030] 参照图2，图2是本发明实施例中细胞内镜图像生成模型进行训练的流程图，如图2所示，本实施例中采用训练数据集对模型进行训练包括：ControlNet是一个控制预训练图像扩散模型的神经网络，采用ControlNet接收当前的时间步信息，将时间步信息编码为时间嵌入向量 ：
；其中，t表示当前的时间步信息；
时间嵌入向量 随后经过两个线性层和一个激活函数，生成最终的时间嵌
入 ： ；其中， 、 分别是第一
个线性层和第二个线性层的权重， 、 分别是 、 对应的偏置， 是激活函
数；
从预处理后的细胞内镜图像中提取主特征图 ： ；其中，
表示预处理后的细胞内镜图像， 表示利用ControlNet中的卷积模块从
提取图像特征；
将主特征图 结合时间嵌入 和经文本分析处理得到的高维语义嵌入向量
context做进一步的特征提取和融合，生成特征图 ：
；其中， 表示对主特征图 、时间嵌入 、
高维语义嵌入向量context三个向量进行融合拼接；
生成的特征图 通过middle_block模块进行进一步处理得到特征图 ，其中，
middle_block模块包括残差块、注意力块，负责强化特征之间的依赖关系，保留并且强化时间和空间特征，并通过零卷积层的平滑操作，确保训练初期对输出的影响最小化，从而允许模型在训练过程中逐步学习如何有效地利用这些特征信息，这个过程表达式如下：
；其中，
代表残差块操作， 代表注意力块操作，
表示零卷积操作；
将细胞内镜的真实图像输入到编码器Autoencode中，图像先通过encoder方法生成潜在空间表示，在此过程中，编码器生成了用于均值和标准差的特征图，随后通过quant_conv卷积层，将用于均值和标准差的特征图转换为用于采样潜在向量z的潜在空间表示；
将潜在空间表示通过解码器解码为生成的图像。
[0031] 进一步地，在扩散模型的训练过程中，潜在向量z会在多个时间步t上逐步被加入噪声，模型会在采样潜在向量z上添加一个与时间步相关的噪声量，本实施例还包括对采样潜在向量z进行去噪处理，包括：针对每一个时间步t，生成对应的噪声图像x_noisyt：
；其中， 是时间步t对应的噪声图像，模型
会在采样潜在向量z上添加一个与时间步相关的噪声量， 是时间步t对应的噪声缩放系数， 是从标准正态分布中采样的随机噪声；
将特征图 与当前的噪声图像x_noisy、时间步t和高维语义嵌入向量context结合，结合成完整的条件信息传递给稳定扩散模型Stable Diffusion；
在稳定扩散模型Stable Diffusion的前向传播过程中，图像会在时间步的推进下逐渐被加入更多的噪声，在反向传播过程中，模型会基于当前的噪声图像x_noisy、时间步t、context，以及从ControlNet传递来的特征图 ，计算并预测当前步骤的噪声应用于去噪过程，其中，去噪的过程可以用公式表示为：
；其中，
是时间步t‑1对应的噪声图像，相比时间步t时的噪声图像已去除了部分噪
声，逐渐接近最终的清晰图像， 是模型预测当前步骤的噪声， 代表
特征图 、高维语义嵌入向量context条件的输入；
去噪过程中的损失函数公式表示如下：
；其中， 表示对时间步 、原始图
像 、噪声 的期望值，损失函数 用来度量模型预测的噪声
与实际添加的噪声 之间的差距，通过最小化差距，使得模型逐渐学会去除噪声，从而更新图像的潜在空间表示；
经去噪处理之后的潜在空间表示z将用于通过解码器被解码为最终的图像，完成模型地训练。
[0032] S4，采用测试数据集对训练后的模型所生成的内镜图像进行评判，评判合格的即为最终的细胞内镜图像生成模型；使用测试数据集对模型进行评估，评估模型在未知数据上，即非训练数据上的性能，其中，性能包括图像质量，如清晰度、细节保留等，根据客观质量评价指标，如PSNR (Peak Signal‑to‑Noise Ratio，峰值信噪比) 或SSIM (Structural SIMilarity，结构相似性) 以及主观专家评判对该模型所生成的内镜图像进行评估，确定模型是否合格，合格的模型将用于后续的应用工作。
[0033] 进一步地，本示例中，采用测试数据集对训练后的模型所生成的内镜图像进行评判包括：将测试数据集中的细胞内镜真实图像以及对应的病理信息输入训练后的细胞内镜图像生成模型中，得到生成的细胞内镜验证图像；将细胞内镜验证图像和对应的真实图像进行比较，采用定量指标和定性评估方法评估细胞内镜图像生成模型在测试数据集上的性能。其中，定量方面使用结构相似性指数（SSIM）、峰值信噪比（PSNR）等指标，衡量生成图像与真实图像在细节和质量上的相似性；定性评估则由医学专家根据生成图像是否保留了关键病理特征以及对诊断的可支持性进行判断，从而综合评估模型的生成能力和临床相关性。
[0034] S5，将最终的细胞内镜图像生成模型应用于细胞内镜图像生成工作，输入细胞内镜图像以及病理信息，模型根据输入的图像以及病理信息生成对应病理种类的细胞内镜图像。
[0035] 本示例中，使用开源的Gradio库创建图形界面，所述图形界面用于允许用户通过web界面与细胞内镜图像生成模型进行交互，用户通过所述图形界面上传细胞内镜图像、输入病理信息以及调整参数，点击图形界面上的生成按钮，获得模型生成的新的细胞内镜图像。获得模型生成的新的细胞内镜图像之后，所述方法还包括：接收用户输入的图像保存指令，响应于所述图像保存指令将生成的新的细胞内镜图像保存到Excel文件中，其中，所述Excel文件包括病理信息、细胞内镜的真实图像以及基于病理信息和真实图像生成的新的细胞内镜图像。
[0036] 参照图3，图3是本发明实施例中细胞内镜图像生成方法应用于细胞内镜图像生成工作的界面示意图，如图3所示，本示例通过使用开源的Gradio库创建图形界面，允许医生通过web界面与细胞内镜图像生成模型进行交互，医生通过所述图形界面上传就诊对象的细胞内镜的真实图像、输入病理信息以及调整参数，点击图形界面上的生成按钮，获得模型生成的新的细胞内镜图像。之后，医生根据生成的图像的质量进行评判，如果医生觉得生成图片质量好，可以点击图形界面上的好按钮，将生成的图像保存到Excel文件；如果医生觉得生成图片质量不好，则可以点击图形界面上的不好按钮，不进行保存。
[0037] 生成新的细胞内镜图像融合了输入的图像特征以及文本特征，能反映更加准确的病变细胞内镜图片的细节，可以用于医生诊断、教学、科研等领域，为医学教育和研究提供有力支持。
[0038] 此外，通过本发明方法所生成的图像还可以服务于肠道细胞内镜图像病变分类任务，由于这些任务的数据集常常面临着标注数据不足，或者稀有病症数据缺失的问题，本发明图像生成方法可以保证生成相同病症类别的伪图像，以此降低基于深度学习的肠道图像病变分类模型训练的难度以及提高最终分类的精度。
[0039] 本发明的实施例2
[0040] 在本实施例中还提供了一种细胞内镜图像生成系统，用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”“单元”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0041] 图4是根据本发明实施例的一种细胞内镜图像生成系统的结构框图，如图4所示，该系统包括数据采集模块100、图像预处理模块200、病理信息分析模块300、模型构建模块400、模型训练模块500、模型测试模块600、模型应用模块700，其中，
数据采集模块100，用于获取细胞内镜的真实图像以及对应的病理信息，构建训练数据集和测试数据集；
图像预处理模块200，用于对细胞内镜的真实图像进行预处理；
病理信息分析模块300，用于对病理信息进行文本分析；
模型构建模块400，用于基于处理后的真实图像和病理信息，构建基于深度扩散模型的细胞内镜图像生成模型；
模型训练模块500，用于采用训练数据集对模型进行训练；
模型测试模块600，用于采用测试数据集对训练后的模型所生成的内镜图像进行评判，评判合格的即为最终的细胞内镜图像生成模型；
模型应用模块700，用于将最终的细胞内镜图像生成模型应用于细胞内镜图像生成工作，输入细胞内镜图像以及病理信息，模型根据输入的图像以及病理信息生成对应病理种类的细胞内镜图像。
[0042] 可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0043] 本发明实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0044] 可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器（Read‑Only Memory，简称为ROM）、随机存取存储器（Random Access Memory，简称为RAM）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
[0045] 上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0046] 在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0047] 以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
