[0001] 本发明属于医学影像技术领域，涉及一种葡萄胎的医学影像检测，尤其涉及一种用深度学习的方法对葡萄胎切片图像处理的方法。

[0002] 葡萄胎(HM)是指妊娠后胎盘形成的形如葡萄串的水泡状胎块。而葡萄胎婴儿多死亡或形成畸胎，极少有足月婴诞生。在一般情况下，有10％到20％的葡萄胎会发展演变成恶性的葡萄胎以及绒毛膜癌，这类癌症会通过血型团泊进行转移，如果治疗不及时就会给患者带来生命威胁。因此，葡萄胎的早期病理诊断对每位患病孕妇都有重要意义。

[0003] 现有技术中，对葡萄胎的检测、筛查主要有两种方式，第一种是通过显微镜人工观察切片，第二种是通过检测与葡萄胎相关的基因。

[0004] 第一种方式中，一般病理医师使用5*10倍与10*10倍的显微镜对病人多个切片进行观察，然后根据经验和切片组织细胞的形态进行综合诊断。葡萄胎诊断主要通过观察切片中的绒毛特征进行诊断，切片病理特征主要为绒毛滋养细胞增生和绒毛内部间质水肿。

[0005] 妇科医院的病理科医生每天需要花费大量的时间去诊断类似葡萄胎这类相较于肿瘤危险系数较低的病症，而这些患者中大多数未患病，但这些需要占用病理科医师大量的工作时间。

[0006] 但是，目前国内病理科医师人数在1.5w左右，人才缺口较大，检测的效率较低；另外，临床葡萄胎诊断由于主要由医师人工筛查切片，因此准确率很难保证，尤其对于12周以前的葡萄胎，由于葡萄胎未到成熟期，病灶发育不完全，组织形态与正常葡萄胎切片较为相似，不易区分，造成临床诊断准确率极低，不到50％。

[0007] 第二种方式中，申请号为201310027715.1、名称为用于检测NLRP7基因的基因芯片、检测试剂和试剂盒的发明专利就公开了通过检测与葡萄胎相关的NLRP7基因SNP，实现对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义，可广泛用于临床高效筛查葡萄胎高危人群。该发明专利构建了筛查与葡萄胎相关的NLRP7基因多态性高危人群的基因芯片检测系统，基因芯片包括固相载体和合成在该载体上的寡核苷酸探针，检测试剂包括基因芯片和18对用于扩增样本中各SNPs的PCR引物，试剂盒包括检测试剂、一阴性对照样本和一阳性对照样本。该发明专利可快速、准确检测临床样本中的NLRP7基因各个相关SNPs位点，对于葡萄胎的临床诊断和高危人群早期筛查、早期预防干预具有重要的意义。

[0008] 虽然，通过检测基因筛查葡萄胎固然有其存在的必要性，但是通过检测NLRP7基因对葡萄胎进行筛查一是增加了试剂盒检测步骤，整个检测周期会比较长，另外就是会涉及到芯片生产、试剂以及试剂盒的生产，筛查成本大幅上升，在葡萄胎临床诊断中应用范围非常受限，不易推广、应用。

[0009] 基于上述病理科医师人数少、医师人工筛查切片效率低、医师人工筛查切片精度低以及基因检测筛查成本高、基因检测筛查周期长的现状，有必要研发一整套从显微镜自动获取图像到生成水肿、增生等病理特征分布图的方法和装置，从而辅助临床医生更高效的筛查病例。

[0010] 临床病理科医生主要通过绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生等病理特征和病人绝经时长、妊娠史等信息综合判断是否为葡萄胎病症，其中绒毛间质水肿、绒毛边缘滋养细胞弥漫性增生两种病理特征是较为关键的两个诊断依据。

[0056] 本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

[0057] 实施例一

[0058] 一种基于深度学习的葡萄胎切片图像处理方法，步骤如下：

[0059] S1，将切片水肿分布图、切片增生分布图输入金字塔池化层，得到特征向量；

[0060] 该步骤中，先将切片水肿分布图切成12,...,(n1-1)2,n12的网格图，将切片增生分2 2 2
布图切成1 ,...,(n2-1) ,n2的网格图(n1≠n2)，再对每一块网格图进行均值池化得到个特征值，共计得到 个特征值的特征向量。

[0061] S2，将步骤S1中得到的特征向量输入分类网络d-net，输出葡萄胎切片的网络分类结果；

[0062] 该步骤中，将特征向量作为分类网络c-net的输入；

[0063] 分类网络c-net包括输入层、中间层和输出层，输入层为金字塔池化层输出的个特征值的特征向量，中间层为m个神经元，输出层为表示分类结果的三个输出神经元。

[0064] 步骤S1中，所述切片水肿分布图、切片增生分布图可以通过人工标注获取，也可以通过以下步骤获取：

[0065] S1-1，将葡萄胎切片放入显微镜载物台，显微镜对焦，并获取葡萄胎切片在显微镜下的葡萄胎切片扫描图；

[0066] 在该步骤中，首先，葡萄胎切片需要先进行he染色处理，经he染色处理后的葡萄胎切片再放入数字显微镜载物台，显微镜选用数字显微镜；其次，自动对焦模块进行自动对焦，使显微镜的视场中能够看到清晰的葡萄胎切片；最后切片扫描模块获取葡萄胎切片在显微镜下的葡萄胎切片扫描图。

[0067] S1-2，由于获取到的葡萄胎切片扫描图尺寸较大，而现有的网络输入时对图片尺寸又有要求，因而需要对输入网络的图片进行切分处理，将葡萄胎切片扫描图切分成多组适用于不同网络的切块。

[0068] 将葡萄胎切片扫描图切块，得到扫描图切块一，将扫描图切块一输入绒毛网络a-net，得到葡萄胎切片的切块绒毛标签图，将所有切块绒毛标签图融合得到切片绒毛标签图；

[0069] 将葡萄胎切片扫描图切块，得到扫描图切块二，将扫描图切块二输入水肿网络b-net，得到葡萄胎切片的切块水肿标签图，将所有切块水肿标签图融合得到切片水肿标签图。

[0070] 将葡萄胎切片扫描图切块，得到扫描图切块三，将扫描图切块三输入增生网络c-net，得到葡萄胎切片的切块增生标签图，将所有切块增生标签图融合得到切片增生标签图。

[0071] 葡萄胎切片图像切块是将切片以间隔s切成若干尺寸为size的切块,上下左右相邻的两个切块有size×(size-s)的面积重合。其中扫描图切块一尺寸size1为3000×3000～18000×18000的像素尺寸，扫描图切块二尺寸size2为1500×1500～9000×9000的像素尺寸，扫描图切块三尺寸size3为1500×1500～9000×9000的像素尺寸。

[0072] 切块标签图融合得到切片标签图是将所有切块标签图按原先切块在切片中对应位置进行拼接，上下左右相邻切块的重合部分按多个切块图像的重合部分像素均值拟合。

[0073] 上述的绒毛网络a-net、水肿网络b-net和增生网络c-net的网络结构相同，均包括卷积层、池化层、上卷积层、并和层。

[0074] 网络的第一部分为上部分，其与传统卷积网络结构类似，由卷积层和池化层构成，每经过一个池化层就一个尺度，包括原图尺度一共有5个尺度，主要用于图像特征提取，第二部分在图6中的下部分，为上采样部分，每上采样一次，就和特征提取部分对应的通道数相同尺度合并，但是合并之前要将其修剪成相同尺寸，充分利用了多尺度的图片特征信息，对多尺度的图像特征有较好的识别效果。

[0075] S1-3，根据切片水肿标签图、切片增生标签图分别得到切片水肿分布图、切片增生分布图；

[0076] 切片水肿分布图、切片增生分布图的生成可以有多种方式，可以直接根据切片水肿标签图中的水肿区域标记出水肿分布，得到切片水肿分布图，直接根据切片增生标签图中的增生区域标记出增生分布，得到切片增生分布图；

[0077] 由于水肿、增生往往是伴随着绒毛一同出现，因而为提高检测准确率，本实施例还提供另外一种分布图生成方式：

[0078] 根据切片绒毛标签图可以得到切片的绒毛区域，绒毛区域和非绒毛区域分别为切片绒毛标签图中像素值为0和255的区域，水肿区域和非水肿区域分别为切片水肿标签图中像素值为0和255的区域，将切片水肿标签图中对应的绒毛区域之外的水肿区域像素值变为255，得到切片水肿分布图，即将切片水肿标签图中对应绒毛区域之外的水肿区域剔除，切片增生分布图按类似步骤获取。

[0079] 上述的绒毛网络a-net、水肿网络b-net、增生网络c-net和分类网络d-net都需要经过训练。本实施例还提供有一种网络训练的方法。

[0080] 要进行网络训练，需要有用于输入网络并进行训练的训练图片。

[0081] 本实施例结合葡萄胎实际诊断所需要用到的葡萄胎形态特征，通过近一年的葡萄胎切片标注培训、葡萄胎切片标注到标注审查，得到了157张典型葡萄胎切片扫描图像的标注结果，每张切片需要进行三种标注，绒毛标注是将切片绒毛区域圈注出来，水肿标注是将切片的绒毛区域中水肿部分圈注出来，增生标注是将绒毛区域中的滋养细胞弥漫性增生区域圈注出来，具体标注样例可见图1～3。

[0082] 目前医疗影像的瓶颈就在于极度缺少优质的标注数据集，而葡萄胎病症在世界范围还没有较好的标注数据集。深度网络的识别率是建立在良好的数据集的前提下的，因此首先需要进行规范、合理、严格的标注，以得到良好的数据集。训练数据集获取流程如图4所示，其流程包括：

[0083] 步骤101：制定可靠的标注方案

[0084] 提出的数个标注方案经过多位专业临床医师的评审和确认后，最后确定一种标注方案，即前面提到的从绒毛标注到水肿标注和增生标注，具体标注样例可见图1～3。绒毛标注是第一步筛选，进行初步提取，水肿标注是将水肿区域提取出来，即将明显水肿、有池状间质出现的绒毛圈注出来，增生标注是将弥绒毛边元漫性增生的滋养细胞区域圈注出来。

[0085] 步骤102：标注人员培训

[0086] 多名已有相关医学知识的标注员经过数周培训，在其中挑选最合适的标注员，用于后续标注。

[0087] 步骤103：标注人员初步标注

[0088] 标注员根据标注规章要求每人负责约80张扫描切片，标注出用于网络训练的水肿标注、增生标注、绒毛标注。

[0089] 步骤104：病理医生审查

[0090] 步骤103得到的初步标注经过拥有长期临床经验的临床医生严格审查，并反馈给标注员。

[0091] 步骤105：标注人员详细标注

[0092] 对标注审查结果进行分析和修改，标注员统一标注的标准，得到最终的标注数据集。

[0093] 步骤106：网络自动标注

[0094] 在较好的标注数据集基础上训练得到的网络对后续新加入的切片扫描图片进行图像语义分割，得到新的标注数据集，即网络自动标注新切片扫描图，以扩充数据集，进而训练得到鲁棒性更好的网络。

[0095] 绒毛网络a-net的训练方法为：

[0096] 将训练图片以尺寸size1切成若干训练图片切块，将训练图片切块输入绒毛网络a-net，每个训练图片切块对应实际分割输出由绒毛标注文件处理得到，最终训练得到绒毛分类网络a-net；

[0097] 水肿网络b-net的训练方法为：

[0098] 将训练图片以尺寸size2切成若干训练图片切块，将有绒毛区域的训练图片切块输入水肿网络b-net，训练图片切块的水肿标注文件得到的切块水肿分割切块作为输出，并得到切片水肿分布图，最终训练得到水肿网络b-net；

[0099] 增生网络c-net的训练方法为：

[0100] 将训练图片以尺寸size3切成若干训练图片切块，将有绒毛区域的训练图片切块输入增生网络c-net，训练图片切块的增生标注文件得到的切块增生分割切块作为输出，并得到切片增生分布图，最终训练得到增生网络c-net；

[0101] 分类网络d-net的训练方法为：

[0102] 将人工标注的切片水肿分布图、切片增生分布图通过金字塔池化层得到统一尺寸的特征向量，将特征向量作为分类网络d-net的输入，每张训练图片的实际分类结果作为输出，通过训练得到最终的分类网络d-net。

[0103] 实施例二

[0104] 本实施例还提供一种基于深度学习的葡萄胎切片图像处理装置，包括：

[0105] 网格图生成模块，用于将切片水肿分布图、切片增生分布图分别输入金字塔池化层，切片水肿分布图切成12,...,(n1-1)2,n12的网格图，切片增生分布图切成12,...,(n2-1)2,n22的网格图(n1≠n2)，；

[0106] 特征向量生成模块，用于对每一块网格图进行均值池化得到个特征值，共计得到 个特征值的特征向量。

[0107] 网络分类结果生成模块：用于将特征向量输入分类网络d-net，输出葡萄胎切片的网络分类结果。以特征向量作为分类网络d-net的输入，分类网络d-net包括输入层、中间层和输出层，输入层为金字塔池化层输出的 个特征值的特征向量，中间层为m个神经元，输出层为表示分类结果的三个输出神经元。

[0108] 其中，所述的切片水肿分布图、切片增生分布图可以通过人工标注获取，也可以通过以下装置获取：

[0109] 显微镜，用于放大葡萄胎切片的微小结构；

[0110] 切片扫描模块，用于获取葡萄胎切片在显微镜下的葡萄胎切片扫描图；

[0111] 切片绒毛标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块一，将扫描图切块一输入绒毛网络a-net，得到葡萄胎切片的切块绒毛标签图，将所有切块绒毛标签图融合得到切片绒毛标签图；

[0112] 切片水肿标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块二，将扫描图切块二输入水肿网络b-net，得到葡萄胎切片的切块水肿标签图，将所有切块水肿标签图融合得到切片水肿标签图；

[0113] 切片增生标签图生成模块，用于将葡萄胎切片扫描图切块，得到扫描图切块三，将扫描图切块三输入增生网络c-net，得到葡萄胎切片的切块增生标签图，将所有切块增生标签图融合得到切片增生标签图；

[0114] 切片水肿分布图生成模块，用于根据切片绒毛标签图得到绒毛区域，将步骤S2中得到的切片水肿标签图中绒毛区域之外的水肿区域剔除，得到切片水肿分布图；

[0115] 切片增生分布图生成模块，用于根据切片绒毛标签图得到绒毛区域，将步骤S2中得到的切片增生标签图中绒毛区域之外的增生区域剔除，得到切片增生分布图。