技术领域
[0001] 本发明涉及电镜图像处理技术领域，具体为一种基于图像分割的SEM图像三维重建方法及系统。
相关背景技术
[0002] 随着电子显微系统的出现，人类对微观领域的研究深入到纳米领域。其中，扫描电子显微镜(ScanningElectron Microscopy，SEM)以高能电子束作为光源，具有高分辨率、立体感强、样品制备简单等优点，在化学、矿物以及材料等多个领域发挥了重要作用。扫描电镜利用精细聚焦电子束照射在样品表面，电子束与样品相互作用产生各种信号，其中包括二次电子、背散射电子、俄歇电子、特征X射线和不同能量的光子等，这些信号来自样品中的特定区域，分别利用探测器接收，形成二维平面的灰度图像。最终得到的灰度图像可以提供样品的各种信息，用于研究材料的显微形貌观察、晶体结构分析等。
[0003] 随着科学技术的发展，对微观领域的样品进行三维重建的需求越来越大。传统的扫描电子显微镜(SEM)技术可以获得样品的二维图像，但是丢失了样品的深度信息，无法还原样品的三维形貌。因此，研究人员开发出一种基于双目视觉的SEM图像三维重建方法，以解决这一问题。该方法通过捕捉两个不同视角的SEM图像，获得样品在SEM下的俯视图和侧视图，对于俯视图，通过边缘检测算法、图像分割处理获得样品基本形貌信息，对于侧视图测量样品侧壁长度获得样品高度信息，最后根据获得的数据绘制出样品三维形貌。
具体实施方式
[0036] 为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
[0037] 在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
[0038] 其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
[0039] 本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
[0040] 同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0041] 本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0042] 实施例1
[0043] 参照图1，为本发明的一个实施例，提供了一种基于图像分割的SEM图像三维重建方法及系统，包括：
[0044] S1：采集样品的图像，对图像进行预处理。
[0045] 进一步的，选定某一样品，用SEM竖直向下拍摄得到样品的俯视图，然后拍摄样品的侧视图，为了使样品形貌能够清晰完整可见，倾斜30到60度拍摄。
[0046] 采集SEM图像过程中会产生随机噪声，在利用像素点灰度值数据建立三维图像过程中，为了准确获取画三维图像的关键信息，采用高斯滤波去除图像噪声，高斯滤波在降低图像噪声的同时，可能会对图像的灰度信息和形态细节产生影响。
[0047] 考虑到SEM图像的形貌衬度机理和灰度信息在三维重建中的重要性，增加一个加权项根据图像的局部特性进行动态调整，以更好地保留灰度信息和形态细节。
[0048]
[0049] 其中，Gσ表示高斯滤波器；σ表示标准差；x表示像素点的横轴坐标，y表示像素点的纵轴坐标；β表示调节因子；|▽q(x,y)表示像素点(x,y)的梯度幅值。
[0050] 当滤波结束后，评估图像的噪声是否明显，若噪声仍然明显，则调整滤波器的参数，同时通过调整β来调节滤波过程中灰度值的比重，高斯函数处理完图像后需要归一化处理，确保整个核的所有值的和为1，以保持图像亮度不变。
[0051] 需要说明的是，样品形貌可以是平台状球状、圆锥状等，不同形貌的样品的SEM图像灰度变化曲线与样品形貌映射关系的对应规则不同。
[0052] S2：按照图像的灰度大小，将图像分割成不同区域。
[0053] 进一步地，由SEM图像形貌衬度的机理，由电子束或离子束与样品相互作用而产生的二次电子产率随样品倾角增大而上升，这种信号强度的差异可以显示样品的微观形貌。依据以上原理，灰度值具有相似性的区域对应样品表面的倾角不变；若图像的灰度值发生突变，样品表面的倾角发生改变。因此依据灰度值的不连续性和相似性可以将获取的图像分割成不同区域，分别求每个区域的高度信息。
[0054] 当图像的灰度值变化小于阈值时，图像的形貌特征相同，灰度值变化小于阈值的图像部分为同一区域；当图像的灰度值变化大于等于阈值时，以灰度值发生变化的区域为图像边界，分割为新的区域。
[0055] 进一步的，使用canny算法识别出俯视图中样品的内、外边缘，样品最顶端的平面为上表面，放置在置物台上的平面为样品衬底，在衬底和上表面中间的样品表面为样品侧壁。
[0056] 使用canny边缘检测算法识别出样品在SEM下的俯视图中样品的边缘位置信息，得到样品三维形貌特征在SEM图像中的分布区域，使用掩膜与基于阈值的图像分割法获得样品不同形貌特征在SEM图像中的分布区域的像素点坐标信息。使用canny算法进行图像分割表示为，
[0057]
[0058]
[0059] 其中，M代表梯度幅值；ω表示加权因子；Gx代表x方向的梯度幅值；Gy代表y方向梯度的幅值；θ表示梯度方向。
[0060] 加权因子ω表示为，
[0061]
[0062] 其中，α表示控制加权强度的参数；μ表示灰度值中心。
[0063] 根据样品灰度值设定高阈值Th、低阈值Tl和灰度差阈值Tn，当(x,y)点满足M>Th，且(x,y)点与周围像素点的灰度差大于Tn时，(x,y)点为强边缘；当(x,y)点满足M>Th，且(x,y)点与周围像素点的灰度差小于等于Tn时，(x,y)点为弱边缘；当(x,y)点满足Tl
[0064] S3：对分割后区域的高度信息赋值，绘制样品的三维图像。
[0065] 进一步地，对分割后的区域的高度信息赋值。对不同区域的深度信息可采用不同方法赋值：对侧视图和俯视图分割后获取的样品的轮廓，计算出轮廓的质心，采用平行投影将质心映射三维空间中，求出质心的高度；对灰度值变化率大于设定阈值的区域，以每个像素点灰度值为高度变化率，按像素点坐标大小顺序逐个赋值高度信息。
[0066] 再进一步的，在利用pyplot绘图工具绘制三维图像时，根据SEM图像分割得到的区域，对xy平面上的每个点进行高度赋值，当区域为样品衬底区域时，高度赋值为0；当区域为样品侧壁区域时，根据侧壁区域对应的像素点坐标与侧壁高度的关系表达式，对侧壁区域的每个像素点高度进行赋值；
[0067] h(xi)＝H‑f(x1)‑f(x2)‑...‑f(xi)
[0068] 其中，h(xi)表示第i个点的高度；H表示样品上表面的高度；f(xi)表示第i个点横坐标的灰度值。
[0069] 当区域为样品上表面时，高度赋值为：
[0070] Y＝H+0.04f(y)
[0071] 其中，Y表示样品上表面像素点的高度；f(y)表示样品上表面像素点的灰度值。
[0072] 需要说明的是，在选择起始点时，通常选择图像中灰度值较高(或较低)的点，这些点对应于物理形状的边缘或者其他显著的特征。
[0073] 在对样品上表面赋值高度时，由于使用空间滤波对图像数据处理后失去了能够表示原始图形特征的灰度信息，因此对平台上表面区域每个像素点的灰度值乘以4％的权重，加上通过倾斜样品台测量得到的平台高度，作为平台上表面区域每个像素点在三维图像中对应的高度。
[0074] 本实施例还提供一种基于图像分割的SEM图像三维重建系统，包括，图像采集模块，采集样品的在扫描电子显微镜下的俯视图和侧视图，利用高斯滤波器降低图像噪声，将降噪后的图像传输到处理模块；处理模块，根据所述降噪后的图像，按照图像的灰度大小，利用canny算法将图像分割成不同区域，传输到绘制模块；绘制模块，对分割后区域的高度信息赋值，利用绘图工具按照样品的高度赋值画出样品的三维图像。
[0075] 本实施例还提供一种计算设备，包括，存储器和处理器；存储器用于存储计算机可执行指令，处理器用于执行计算机可执行指令，实现如上述实施例提出的实现基于图像分割的三维重建方法。
[0076] 本实施例还提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例提出的基于图像分割的三维重建方法。
[0077] 本实施例提出的存储介质与上述实施例提出的基于图像分割的三维重建方法属于同一发明构思，未在本实施例中详尽描述的技术细节可参见上述实施例，并且本实施例与上述实施例具有相同的有益效果。
[0078] 通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(ReadOnly，Memory，ROM)、随机存取存储器(RandomAccessMemory，RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
[0079] 实施例2
[0080] 参照图2～6，为本发明的一个实施例，提供了一种基于图像分割的SEM图像三维重建方法及系统，以平台状样品为例，验证本发明的有益效果。
[0081] 如图2所示，本实施例选择大小形状基本相同的平台状样品，将样品置于扫描电子显微镜的样品台上，竖直向下拍摄得到样品的俯视图，再将样品台倾斜30°到60°，拍摄样品的侧视图。
[0082] 如图3～5所示，对俯视图进行降噪处理，选取任一行的像素点，读取像素点的灰度值得到灰度值曲线图，然后利用canny边缘检测算法识别样品的边缘信息，依据平台状样品形貌与图像灰度变化曲线映射关系，得到平台状样品三维形貌特征在SEM图像中的分布区域，使用掩膜与基于阈值的图像分割法获得平台状样品不同形貌特征在SEM图像中的分布区域的像素点坐标信息。
[0083] 找出平台状样品侧壁区域对应的像素点坐标与像素点灰度值。选取任一点作为起始点，按行对平台侧壁区域内像素点高度逐个赋值，建立平台侧壁区域对应的像素点坐标与侧壁高度的关系表达式，起始点的高度表示为：
[0084] h(x1)＝H‑f(x1)
[0085] 其中，H表示样品上表面的高度；x1表示内边缘起点横坐标；f(x1)表示起始点横坐标的灰度值；h(x1)表示起始点的高度。
[0086] 第二个点的高度表示为：
[0087] h(x2)＝h(x1)‑f(x2)
[0088] 其中，h(x2)表示第二个点的高度；f(x1)表示第二个点横坐标的灰度值。
[0089] 第i个点的高度表示为：
[0090] h(xi)＝H‑f(x1)‑f(x2)‑...‑f(xi)
[0091] 其中，h(xi)表示第i个点的高度；f(x2)表示第二个点横坐标的灰度值；f)xi)表示第i个点横坐标的灰度值。
[0092] 如图6所示，用pyplot绘图工具绘制三维图像，根据不同区域的高度赋值在图像内绘制出y轴的高度。
[0093] 应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
