用于样品分析的系统和方法 发明领域 [0001] 本公开通常涉及样品的分析，特别是对样品的化学和物理分析，包括成像和光谱学。 背景技术 [0002] 在分析实验室中，经常需要描述一个小的样品、标本或人工制品，以便交流该样品上的某个位置(例如，通过电子邮件讨论化学分析结果)。样品的例子包括但不限于：将进行电子显微镜或微量分析的一小块催化剂材料、通过显微镜和X射线分析研究的一块陨石材料，以及在洞穴中发现的一颗已灭绝人类物种的牙齿。在本文档中，“标本”和“样品”这两个词将交替使用。同样，“分析仪器”和“显微镜”这两个词也将交替使用。 [0003] 在科学领域中，存在不同种类的分析仪器，如显微镜。一些显微镜使用光来形成图像，一些使用电子，还有一些可能使用X射线来形成图像，等等。有些显微镜只输出图像(即显微照片)，而其他的(例如成像X射线光电子能谱)则输出样品的化学图像或表面化学特征的光谱。这些分析仪器通常非常昂贵，但经过多年的发展，能够快速提供显微照片。这些显微镜中，有些在空气中操作，有些需要真空或超高真空(UHV)。有些可以容纳非常大的样品，而另一些只能容纳非常小的样品。通常，现代分析仪器由台式计算机运行，操作系统经常是较少情况下为 此类显微镜的示例如图5至图7和图11至 图15所示。每台显微镜都采用不同的物理方法运行，因此呈现的图像具有非常不同的对比机制。如图5、6、7、11、12、13、14和15中的分析仪器图所示，如今的空间分辨分析(即对特定点或区域的分析)通常通过连接并由计算机操作的显微镜或其他仪器进行。图16和图17分别显示了操作扫描电子显微镜(SEM)和X射线光电子能谱(XPS)分析仪器的计算机屏幕。在这两幅图中，都显示了样品表面的图像(图16中的大型颗粒面板，图17中的顶部中间面板)。 在这两种情况下，操作员在该样品视图中选择一个点，点击鼠标，并使用该位置获取其光谱(分别为能量色散X射线(EDS)和XPS)。 [0004] 因此，可以有益地应用于本发明的分析技术包括但不限于AES——俄歇电子能谱、AFM——原子力显微镜、ARPES——角分辨光电子能谱、ARUPS——角分辨紫外光电子能谱、CARS——相干反斯托克斯拉曼散射光谱、CET——冷冻电子断层扫描、Cryo‑EM——冷冻电子显微镜、Cryo‑SEM——冷冻扫描电子显微镜、EBIC——电子束感生电流、EBSD——电子背散射衍射、EDAX——能量色散X射线分析、EDS或EDX——能量色散X射线光谱、EELS——电子能量损失光谱、ESCA——电子能谱化学分析(参见XPS)、ESEM——环境扫描电子显微镜、ESTM——电化学扫描隧道显微镜、EXAFS——扩展X射线吸收精细结构、FCS——荧光相关光谱、FCCS——荧光交叉相关光谱、FEM——场发射显微镜、FIB——聚焦离子束显微镜、FLIM——荧光寿命成像、荧光显微镜、FRET——荧光共振能量转移、GIXR——掠入射X射线反射率、HAS——氦原子散射、HREELS——高分辨率电子能量损失光谱、HREM——高分辨率电子显微镜、HRTEM——高分辨率透射电子显微镜、HE‑PIXE——高能质子诱导X射线发射、IAES——离子诱导俄歇电子能谱、ISS——离子散射光谱、LEED——低能电子衍射、LEEM——低能电子显微镜、LEIS——低能离子散射、MALDI——基质辅助激光解吸电离、MEIS——中能离子散射、MFM——磁力显微镜、MRFM——磁共振力显微镜、Micro‑CT——微型计算机断层扫描、MRI——磁共振成像、NEXAFS——近边X射线吸收精细结构、NSOM——近场光学显微镜、PhD——光电子衍射、PED——光电子衍射、PEELS——平行电子能量损失光谱、PEEM——光电子发射显微镜(或光电子发射显微镜)、PES——光电子能谱、PIXE——粒子(或质子)诱导X射线光谱、RBS——卢瑟福背散射光谱、RHEED——反射高能电子衍射、SAXS——小角X射线散射、SCANIIR——通过分析中性粒子和离子冲击辐射的表面成分、SCEM——扫描共焦电子显微镜、SE——光谱椭偏仪、SEM——扫描电子显微镜、SERS——表面增强拉曼光谱、SERRS——表面增强共振拉曼光谱、SIMS——二次离子质谱、SNMS——溅射中性粒子质谱、SNOM——扫描近场光学显微镜、SPM——扫描探针显微镜、STEM——扫描透射电子显微镜、STM——扫描隧道显微镜、STS——扫描隧道光谱、SXRD——表面X射线衍射、TEM——透射电子显微镜、TOF‑MS——飞行时间质谱、双光子激发显微镜、TXRF——全反射X射线荧光分析、UPS——紫外光电子能谱、XAES——X射线诱导俄歇电子能谱、XANES——X射线近边吸收精细结构(与NEXAFS同义)、XAS——X射线吸收光谱、XPEEM——X射线光电子发射显微镜、XPS——X射线光电子能谱和XRF——X射线荧光分析。 [0005] 越来越多地，无论是在大学还是工业界，大型且昂贵的分析或加工仪器都被应用于样品。这些大学或工业机构通常被称为“中央设施”，通常配备有固定的人员来运行和操作这些分析仪器。举例来说，一个中央设施中可能有20种不同的分析仪器，每台的价格在 100万美元到1000万美元之间。每个大学或工业机构可能无法负担购买所有这些分析工具——通常整个国家只有两三个这样的“中央设施”，每个都有数百名用户，每个用户将他们的催化剂样品、陨石、牙齿或其他样品送到该设施进行分析或改造。这些设施中的仪器示例包括电子显微镜、X射线光电子能谱仪、成像质谱仪，以及上述列表中的其他一些仪器。 [0006] 本披露所不涉及的是那些用于分析均质样品或液体样品的仪器，例如大多数溶液的核磁共振(NMR)分析，或血液样品的分析，或受污染河水样品的分析。这些类型的均质样品通常最好使用“LIMS”或实验室信息管理系统来管理，在其中每个样品被赋予一个唯一的标识符。 [0007] 我们所关注的是那些需要知道在样品的何处进行分析的样品类型，而不仅仅是整个样品的唯一标识符，以及用于进行这些空间分辨分析的仪器。一个例子是扫描电子显微镜。许多扫描电子显微镜会成像二次电子(提供熟悉的单色高分辨率表面形貌图像)，但也允许对入射电子在样品表面产生的X射线进行分析，得到“能量色散X射线分析”或EDS。可以从它们的特征X射线中识别化学元素。在任何特定时刻被成像的样品点与发射X射线的点相同，因此化学图像和二次电子图像可以叠加，提供形貌和分析信息。另一个例子是X射线光电子能谱，其分析目的的一个示例如图10所示，我们可以看到，同一样品上的两个不同分析位置(P1和P2)产生了不同的光谱，因此在百分组成方面有不同的分析结果。 [0008] 通常，需要多种类型的显微镜来解决大多数问题。例如，一些特征可能在光学显微镜中可见(如图6所示)，但随后需要将样品带到电子显微镜(如图12所示)以使更小的特征(远小于光的波长)可见。在另一种实施方式中，样品可能先用一种具有化学特异性的显微镜(例如，成像X射线光电子能谱，XPS，系统，如图15所示)成像，然后再用另一种显微镜(例如拉曼显微镜)观察第一种显微镜不敏感的化学方面。在这些情况下，研究人员目前有两种选择。第一种选择是购买或构建一种专门组合的显微镜，能够在一个样品上执行这两种技术；而第二种选择是将样品在两个或多个显微镜之间转移，同时跟踪感兴趣的区域，以便能够确定地比较来自多种技术的图像。 [0009] 第一种选择通常很昂贵，组合显微镜的成本高于单独的显微镜。在某些情况下，组合显微镜的吞吐量和性能通常受到影响，而且组合显微镜往往更难使用，可能需要个人在两种技术上都接受培训。尽管如此，第一种选择在某些情况下仍然有用。图21示意性地展示了 公司(荷兰代尔夫特)的一种组合光学/SEM仪器。具体而言，图21示意性地展示了如何将光学显微镜和电子显微镜组合成单一仪器，从而使用户能够几乎同时以良好的图像配准，在光学显微镜和电子显微镜中对样品的一部分成像。构建这样的仪器通常很昂贵，而且当一部分(例如电子显微镜)发生故障时，往往会使另一部分无法使用。本发明对此提供了一种替代方案。作为另一种组合、多技术仪器的例子， 公司(德国明斯特)提供了M6 和SPM的原位组合，使用精确的压电平台在每个分析位置之间移动样品。 然而，这比单独的 和 仪器要昂贵得多。 [0010] 第二种选择通常更便宜，利用了对单独显微镜和培训的现有投资，但这种相关显微镜的问题在于确保在两个显微镜中分析的是相同的区域，以及当这些点在第一种分析仪器中清晰但在第二种分析仪器中不清晰时，识别需要分析的特定点。正是这种第二种选择，以及将一个图像与另一个图像配准的问题，是这里所关注的，也是本公开大有助益的。 [0011] 第二种选择中特别常见的一个情况是，在样品上应用了两种技术，其中一种能够给出优秀的图像(例如，光学显微镜或电子显微镜)，然后研究人员希望对该视野内的特定特征进行化学分析[^2]。例如，原子力显微镜(AFM)图像可能显示样品表面上的颗粒，研究人员可能希望分析其中一个形状与其他颗粒不同的颗粒的化学成分。此时，可能需要将样品带到具有化学分析能力的仪器上，看看该颗粒的组成。在这些情况下，通常会在感兴趣的点(POI)进行一个或多个“点分析”，可能是在拉曼光谱仪中，或者在扫描电子显微镜(SEM)中使用能量色散X射线分析。这里的问题是，当两台仪器的坐标系(即它们的样品的x、y和z)完全不同时，在仪器A中通过成像识别了感兴趣的点(或区域)后，如何在仪器B的可访问区域内识别这些感兴趣的点(或区域)。 [0012] 作为具体应用的例子，考虑以下情况。假设一位研究人员在一个人类祖先的牙齿上看到一个病变，然后将该牙齿送去分析，以找到病变内微量物质的化学成分。或者，一个失效的催化剂可能显示出未知的棕色物质斑点——此时，找出棕色物质的化学性质对于纠正导致催化剂失效的问题变得很重要。因此，我们有一个许多用户需要对样品进行空间分辨分析的情况。此外，执行分析的仪器通常非常昂贵，因此位于中央设施中，且往往不在研究人员的同一地点。此外，分析样品表面上的每一个点既缓慢又昂贵，因此只应分析研究人员感兴趣的点或区域(分别为POI或ROI)。因此，研究人员必须将样品带给(或发送给)中央设施的工作人员，并描述他们希望在样品的何处进行分析。 [0013] 这种描述在所需的分辨率下通常是困难的。挖掘出人类牙齿的研究人员可能会在光学显微镜下观察它，并识别出一个感兴趣的分析点(例如一个古老的病变)。然后，研究人员将牙齿连同在显微镜下拍摄的照片一起发送到中央设施，在照片上标记出要分析的位置，就像海盗藏宝图上的“X”一样。 [0014] 另一个出现的困难是，样品在电子显微镜中看起来与在光学显微镜中不同。当然，方向和比例可能不同。更重要的是，图像对比的来源完全不同。有时找到要分析的位置很容易，有时即使有照片也极其困难。即使在光学显微镜下牙釉质看起来均匀白色，可能在扫描电子显微镜(SEM)图像中显示出化学变化，导致迷失方向。相反，即使陨石表面的化学成分相当均一，其颜色可能存在差异，因此肉眼可见的标记在SEM中根本看不到，或被形貌对比所掩盖。甚至研究人员自己也可能难以在样品上导航到他们想要分析的位置。因此，昂贵仪器的时间被浪费了。尽管应用了高科技，研究人员常常不得不采用原始且不准确的方法来定位要分析的点。例如，用针在样品上划一个十字，或者根据在光学和电子显微镜中看起来相似的附近随机特征来确定位置(即使它们可能只是偶然看起来相似，潜在地导致错误)。 例如，“从看起来像鱼的东西向上2毫米，从看起来有点像澳大利亚地图的东西向左1毫米”。 [0015] 可以在样品上放置一个精细的带注释的网格，可能由铜制成，网格的每个方孔都有微小的字母标记。网格本身在光学和电子显微镜中都容易看到。但它可能会妨碍操作，可能会改变其接触到的表面，而且如果不用胶水固定就很难稳固(而胶水也会改变表面化学性质)。因此，需要一个能够解决上述问题的动态系统。目前有一些方法可以帮助，或在未来可能有帮助，但它们自身也存在严重的问题。未来在某些情况下的一种解决方案(尽管我尚未在实践中见过)是对制造的组件使用“数字孪生”。数字孪生是一个虚拟表示，作为物理对象或过程的实时数字对应物。在设计和制造中，数字孪生是一个数字表示，类似于(或包含)组件的计算机辅助设计(CAD)文件。以不锈钢螺栓为例。如果在工厂制造的螺栓上看到一个棕色的腐蚀斑点，可以参考数字孪生的xyz坐标系来传达螺栓上的位置。在将螺栓本身发送到中央设施之前，可以将该棕色斑点的坐标添加到数字孪生文件中。即使不必与光学照片匹配，中央设施的工作人员也可以(至少在理论上)使用数字孪生信息将分析仪器直接指向带有棕色污渍的点。实际上，即使对于小型制造组件，目前也没有软件基础设施来实现这一点。总之，大多数提交分析的样品要么是自然产物(例如陨石)，从未存在过数字孪生，要么是从较大物品上切割或破碎的东西(例如需要进行化学分析以评估其防火性能的大楼外墙材料的几平方厘米)，其数字孪生要么不存在，要么无法以与真实样品创建方式相同的方式进行数字采样。迄今为止，据我所知，这些问题尚未在任何地方通过使用CAD生成的数字孪生来解决，尽管未来在少数情况下可能会发生。一个轻微的例外是半导体芯片的特殊情况，其中如十字形的“基准标记”与芯片上的晶体管一起内置于设计中，设计成在光学和其他显微镜下可见。可以参考芯片的CAD布局，在这个平面芯片表面上定义分析点(可能通过电子显微镜和X射线方法)。可以根据显微镜下看到的基准标记[3]给定的坐标找到这些点。但这一切都是在二维空间中。对于半导体芯片来说这很好，但大多数样品是具有大量形貌和三维形状的三维物体。 [0016] 现有方法 [0017] 通常，可以使用在两台显微镜中都可见的偶然特征(例如，表面上特定的随机灰尘图案)来识别两台显微镜共有的区域，然后对其中一幅显微照片进行缩放、平移和重新定向，以匹配另一幅显微照片中看到的区域，进而可能将图像叠加。有时，可以添加基准标记以提供可用于后续配准的点(例如，用锋利的手术刀小心制作的一个小十字)。有时，令人烦恼的是，即使这些基准标记在两幅图像中都存在，它们看起来也会非常不同。这是由于在不同成像模式下发生的不同对比机制所致。因此，在最糟糕的情况下，配准变得相当主观，且共同配准可能需要耗费大量时间才能正确完成，或者在另一个实验室中重复或再现。即使配准问题很清楚，通常也没有办法记录与样品特定位置相关的光谱或其他信息，除了在照片上标记位置(例如#1、#2等)并在实验室笔记本中将这些数字与光谱文件名对应起来。例如，通过远程会议与客户或合作者讨论这些内容就变得非常困难。 [0018] 针对配准问题，已经开发了许多方法。它们要么难以实施、耗时，要么是由某个仪器制造商开发的专有方法，将你“锁定”在使用他们的硬件上。一个仪器制造商可能生产多种类型的仪器，例如SEM和AFM。他们可能通过提供在SEM和AFM之间转移样品的简便方法来服务客户，可能使用具有特殊设计的基准标记的通用样品载体设计和/或运行在监控PC上的特殊专有软件。然而，许多用户不可避免地拥有来自各种仪器制造商的多种仪器，而某家公司(如公司P)的专有解决方案通常与另一家公司(如公司Q)出售的方法完全不同且不兼容。此外，无论公司P还是公司Q都可能不生产拉曼光谱仪(例如)，因此当研究人员需要对样品表面进行点分析时，这些配准问题的专有解决方案都无法帮助研究人员。 [0019] 我们(我自己和我在英国的前博士生)最近发表了一篇研究论文，描述了一种使用计算机可读基准标记进行图像配准的方法[^13]，特别包括关于如何制造这些标记的信息，例如通过聚焦离子束(FIB)铣削。这使得运行在计算机上的软件可以识别来自不同显微镜图像中的类似QR码的基准标记，然后进行叠加。使用的计算机可读基准标记称为 [^4]，最初是为机器人计算机视觉开发的(尽管QR码和其他标记也可使用)。 据我们所知，我们是第一批将 应用于显微镜图像配准问题的人。为了使这种方 法更有用且应用更广泛，我受到了个人计算机上可用的“屏幕注释软件”的启发。 [0020] 一些现有技术 [0021] 关于配准问题的相关显微镜研究有许多出版物[12,13,21,22]。赛默飞世尔科技(Thermo Scientific)的“CISA”工作流程[23]通过在两台仪器中基于大型专有样品托架的机械配准，实现了SEM和XPS之间的相关配准。它是在两台仪器之间锁定样品台的坐标，且仅限于二维(2D)。它不使用CRFM(将在下文描述)，因此仅限于来自单一制造商的分析工具及其专有软件系统。单一制造商不太可能为用户所需的所有技术生产最佳的分析仪器，因此，如果超出了该制造商的工具范围，用户只能在图片上标记一个“X”，以便在下一台仪器中找到感兴趣的点(POI)。由于未使用平面外的CRFM(如图1所示)，相关成像和表面分析(CISA)工作流程[23]仅限于二维样品导航。CISA工作流程没有DAT扫描仪的等效设备，因此在开始工作之前，需要将样品加载到昂贵的XPS仪器中。 [0022] 计算机可读基准标记及其优势的概念最近已被发表[13]。多年来尝试了许多其他类型的基准标记[21]，但通常需要手动识别和配准。它们常常通过对基准标记材料的特殊选择(例如，能够在光学和电子显微镜中轻松识别的荧光纳米粒子[24])，来克服不同类型显微镜中不同对比机制的问题，但即使在所有显微镜中都清晰可见，仍然需要手动配准。 [0023] 屏幕注释软件 [0024] 有多种软件包(一些免费，一些商业软件)允许用户在PC屏幕上的任何内容上书写——实际上提供了注释的机会。即使当显示的应用程序窗口是“实时的”，即正在该PC上运行时，这也是可行的。其效果就像是在运行软件的计算机屏幕前的玻璃纸上书写——适用于任何软件。这样的屏幕注释软件对教师和讲师非常有用，因为他们可以在屏幕上书写内容。想象一下，举例来说，在讲解一款计算机辅助设计(CAD)软件时；可以圈出特定的按钮，画箭头指向设计的特定部分等，而完全不影响CAD软件本身。 发明概要 [0025] 本文提供了一种专注于样品分析的扫描系统、方法和计算机程序产品。 [0026] 在一个方面，公开了一种用于样品分析的扫描系统。该扫描系统包括处理器和与处理器通信连接的存储器，其中存储器存储多个处理器可执行指令，这些指令在由处理器执行时，使处理器控制多个图像捕获设备，以捕获样品和至少一个基准标记的第一组图像，其中样品放置在样品托架上，且至少一个基准标记与样品或样品托架中的至少一个相关联。该扫描系统进一步被配置为基于对所捕获的第一组图像应用一个或多个摄影测量技术，生成样品的三维模型(3D模型)，其中一个或多个摄影测量技术捕获与所生成的3D模型相关联的第一坐标系的信息。扫描系统还被配置为基于所生成的3D模型生成与样品相关联的数据结构。该扫描系统进一步被配置为输出所生成的数据结构，其中包括与所生成的3D模型相关联的第一坐标系、与样品相关联的第二坐标系，以及第一坐标系和第二坐标系之间的对应关系。 [0027] 在其他实施例中，所述扫描系统被配置为控制样品托架从第一位置旋转到第二位置的运动。该扫描系统进一步被配置为控制多个图像捕获设备，以在样品托架处于第二位置时，捕获样品和至少一个基准标记的第二组图像。该扫描系统进一步被配置为基于对所捕获的第一组图像和第二组图像应用一个或多个摄影测量技术，生成样品的3D模型。 [0028] 在其他实施例中，所生成的数据结构对应于可扩展标记语言(XML)文件。 [0029] 在其他实施例中，所述至少一个基准标记对应于以下之一：快速响应(QR)码、条形码、 ARtag或ArUco标记。 [0030] 在其他实施例中，所述扫描系统被配置为基于至少一个基准标记，生成与样品相关联的第二坐标系。 [0031] 在其他实施例中，所生成的数据结构包括与样品的第一感兴趣区域(RoI)相关的信息，以使用集成在扫描系统内的第一分析仪器或使用具有与第一分析仪器不同坐标系的第二分析仪器进行分析。 [0032] 在其他实施例中，所述扫描系统被配置为接收与在生成的3D模型上标记至少一个感兴趣点相关的第一用户输入。该扫描系统进一步被配置为基于接收到的第一用户输入，在生成的数据结构中存储与所述至少一个感兴趣点的标记相关的信息，并输出所生成的数据结构。 [0033] 在其他实施例中，标记了至少一个感兴趣点，以便在一个或多个分析仪器下进行分析。 [0034] 在其他实施例中，所述样品对应于一个非均质样品。 [0035] 在一个方面，提供了一种用于分析样品的方法。该方法包括在第一分析仪器上渲染样品的感兴趣区域(RoI)的第一图像，其中渲染的第一图像包括至少一个基准标记，并由第一分析仪器捕获。该方法还包括从第一分析仪器接收与在渲染的第一图像内选择一个感兴趣点相关的第二用户输入。该方法还包括基于接收到的第二用户输入，确定与所选感兴趣点相关的位置信息，其中确定的位置信息包括所选感兴趣点相对于至少一个基准标记的位置。该方法还包括在数据结构中存储确定的位置信息。该方法还包括接收与在第二分析仪器上渲染感兴趣区域的第二图像相关的第三用户输入，其中第二分析仪器不同于第一分析仪器。该方法还包括控制第二分析仪器扫描存储的数据结构，以基于接收到的第三用户输入确定第二图像中至少一个基准标记的位置。该方法还包括基于扫描，对存储在数据结构中的位置信息应用至少一种变换技术。该方法还包括基于至少一种变换技术的应用，在第二分析仪器上渲染所选感兴趣点的第一图像。 [0036] 在其他方法实施例中，所选感兴趣点的第一图像由第二分析仪器捕获。 [0037] 在其他方法实施例中，应用的至少一种变换技术包括射影几何变换技术。 [0038] 在其他方法实施例中，该方法包括扫描渲染的第一图像，以确定渲染的第一图像中至少一个基准标记的第一位置，并基于对第一图像的扫描，确定与所选感兴趣点相关的位置信息。 [0039] 在其他方法实施例中，该方法包括接收与所选感兴趣点相关的第四用户输入，其中接收到的第四用户输入包括第一标签和与所选感兴趣点相关的第一信息，并基于接收到的第四用户输入，将第一标签和与所选感兴趣点相关的第一信息存储在数据结构中。 [0040] 在其他方法实施例中，数据结构对应于与样品相关联的数字分析孪生(DAT)数据结构，并且是样品的数字复制品。 [0041] 在其他方法实施例中，所述样品对应于非均质样品。 [0042] 在其他方法实施例中，所述基准标记对应于快速响应(QR)码、条形码、 ARtag或ArUco标记之一。 [0043] 在一个方面，提供了一种用于分析样品的方法。该方法包括控制多个图像捕获设备，以捕获样品和至少一个基准标记的第一组图像，其中样品放置在样品托架上，且至少一个基准标记与样品或样品托架中的至少一个相关联。该方法进一步包括基于对所捕获的第一组图像应用一个或多个摄影测量技术，生成样品的三维模型(3D模型)，其中一个或多个摄影测量技术捕获与所生成的3D模型相关联的第一坐标系的信息。该方法还包括基于所生成的3D模型生成与样品相关联的数据结构。该方法进一步包括基于所生成的3D模型生成与样品相关联的数据结构。 [0044] 在其他方法实施例中，该方法包括控制样品托架的运动，使其从第一位置旋转到第二位置，其中样品放置在样品托架上。该方法进一步包括控制多个图像捕获设备，以在样品托架处于第二位置时，捕获样品和至少一个基准标记的第二组图像。该方法进一步包括基于对所捕获的第一组图像和第二组图像应用一个或多个摄影测量技术，生成样品的3D模型。 [0045] 在其他方法实施例中，所述基准标记对应于以下之一：快速响应(QR)码、条形码、ARtag或ArUco标记。 [0046] 本发明包括一个便携式分析配准软件(PARS)系统，这是一个与运行分析仪器的软件并行运行的第三方系统(但不是其一部分)，并且优选地将信息记录到用于所涉样品的数字分析孪生(DAT)数据结构中。数字分析孪生(DAT)数据结构是通过DAT扫描仪(一种用于从物理样品创建DAT数据结构的硬件设备)获取的。 [0047] PARS软件系统 [0048] 如上所述，PARS系统可能是一个第三方系统，可以与运行分析仪器的软件并行运行(但不是其一部分)。PARS系统的一个重要特征是PARS软件如何与用于从分析仪器获取光谱或图像的现有软件交互。这将通过一个示例进行解释。 [0049] 让我们考虑一种情况，我们有两台分析仪器，第一台分析仪器“J”和第二台分析仪器“K”。第一台分析仪器“J”可能由第一公司“JJ”制造，可能由第一软件包“JJJ”操作。同样，第二台分析仪器“K”可能由第二公司“KK”制造，可能由第二软件包“KKK”操作。第一台分析仪器“J”和第二台分析仪器“K”可以，例如，取自图5至图7或图11至图15所示的仪器类型，或上述技术列表中的仪器。在一个实施例中，第一公司“JJ”和第二公司“KK”可能是相同的，但即便如此，第一软件包“JJJ”和第二软件包“KKK”可能对于不同的显微镜仍然不兼容，并且在图像配准的可互换性方面没有任何提供。本公开包含一个第三软件包“N”，该软件包能够运行在操作第一台分析仪器“J”和第二台分析仪器“K”的采集计算机上，或者至少能够读取并显示来自第一台分析仪器“J”和第二台分析仪器“K”的文件的单台计算机。第三软件包“N”可以首先在操作第一台分析仪器“J”的计算机上运行，然后随后在操作第二台分析仪器“K”的计算机上运行。 [0050] 1.第三软件包“N”在运行第一软件包“JJJ”的同一台计算机上后台运行(即，屏幕上很少有可见特征)。它与第一软件包“JJJ”并行运行，但不直接与其交互。第一软件包“JJJ”控制第一分析仪器“J”的操作，并显示来自第一分析仪器“J”的图像。 [0051] 2.第一软件包“JJJ”显示了通过第一分析仪器“J”获得的样品表面的视图。该图像包含了视野内带有计算机可读基准标记(例如， )的样品部分，如由第一分析仪 器“J”呈现。 [0052] 3.当用户希望在样品上标记一个点时，通过按下“热键”或点击第三软件包“N”的小型图形用户界面(GUI)上的按钮(如果有显示)，来提醒第三软件包“N”。 [0053] 4.然后，用户在由第一软件包“JJJ”显示的图像中，点击要标记的位置。第三软件包“N”记录此屏幕位置，并扫描屏幕图像以寻找任何计算机可读的基准标记(在另一种实施方式中，这可以反复进行，以便在用户点击该位置时，扫描已经完成)。然后，所选点相对于计算机可读基准标记的位置被存储(例如，在USB闪存盘上的文件中，可能是DAT数据结构)。 [0054] 5.可选地，第三软件包“N”随后提示用户输入与存储点关联的标签或其他信息。然后，这些信息与点坐标一起存储在文件中。存储的数据，包括相对于基准标记的点位置和关于该点的其他信息，被作为数据“D”存储。数据“D”可能是一个DAT数据结构。 [0055] 6.之后，当在第二分析仪器“K”下查看同一样品时，可能由运行第二软件包“KKK”的不同位置的不同计算机操作，用户调用第三软件包“N”以标记先前存储的点的位置(可能通过使用热键)。 [0056] 7.第三软件包“N”扫描屏幕，搜索计算机可读的基准标记。然后，它在其存储的数据文件中(可能在USB驱动器上)找到相应的标记，以及先前相对于所述可见标记定义的点。 [0057] 8.第三软件包“N”然后在来自第二分析仪器“K”的图像上，在正确的位置指示所请求的点。这可能通过将鼠标指针移动到图像中对应于该点的像素来实现。它也可以通过在第二软件包“KKK”提供的显示上叠加这些点的标记(可能是箭头或圆圈)，以及与这些点关联的任何标签(取自存储的数据“D”)，以类似于上述“屏幕注释软件”的方式来指示。 [0058] 9.然后，用户可以选择使用第二分析仪器“K”通过第二软件包“KKK”对样品上的一个或多个这些点进行分析。通常，这意味着用户点击由第三软件包“N”标记的某个点，而第二软件包“KKK”对用户选择的鼠标位置是敏感的。事实上，鼠标也可以移动到该位置，因此如果第二软件包“KKK”已准备好获取点分析，鼠标已经设置在正确的位置进行操作。 [0059] 本发明的一些实施例可以方便地将第三软件包“N”和数据“D”从第一分析仪器“J”转移到第二分析仪器“K”。例如，这可以通过在两者都可访问的网络存储上提供第三软件包“N”来实现，其中数据“D”也可以存储。在另一种实施方式中，第三软件包“N”可以存储在用户可以从第一分析仪器“J”带到第二分析仪器“K”的便携式驱动器上(可能是USB驱动器)。 当插入第一分析仪器“J”时，数据“D”可以存储在该驱动器上，随后在与第二分析仪器“K”关联的计算机上运行第三软件包“N”时读取。一种实施方式是将数据“D”作为下面描述的数字分析孪生(DAT)。 [0060] 请注意，在上述步骤8中，需要进行坐标系的转换，以找到对应于定义点的屏幕上像素的位置。这通常是一个仿射变换，除非在第一分析仪器“J”或第二分析仪器“K”的光学系统中存在其他非投影变换(例如球面像差)。可以预期，在制造良好的商业仪器中，这种情况可能很少见。在欧几里得几何中，仿射变换可以是一种保持直线和平行性的几何变换(但不一定保持距离和角度)。提供此仿射变换的方程可以方便地用增广矩阵形式表示。距离(至少就屏幕像素而言)在第一分析仪器“J”和第二分析仪器“K”之间并不保留，因为例如这些可能是具有不同放大倍率的分析仪器。角度可能也不保留，因为在“J”和“K”中观察表面的法线方向的角度可能不同，因此在其中一个中观察到的直角在另一个中可能大于(或小于)90度。 [0061] 本公开的一个优点是，即使用户无法访问第一软件包“JJJ”和第二软件包“KKK”，也无法修改或重写它们以使其传递足以在两台仪器上找到感兴趣的样品点的坐标信息，仍然可以进行相关显微镜分析。这样的修改将是困难且昂贵的，并且依赖于仪器制造商的合作，而这种合作通常是无法获得的。 [0062] 现在，让我们从PARS系统(或第三软件包“N”)转向讨论数字分析孪生(DAT)结构，在该结构下，通过使用PARS系统获取的数据可以非常有效地利用。 [0063] 本文公开了一种方法和一种扫描系统(DAT扫描仪)。该扫描系统的功能是使用一种或多种摄影测量技术1从样品生成“数字孪生”。一般而言，摄影测量是一种数学技术，可以从以不同角度获取的同一物体的多张图像中生成识别点的三维坐标。在分析的背景下(而非目前该术语使用的制造业中)，数字孪生可以是物理对象或过程的虚拟表示，作为其实时数字对应物，通过包含空间和/或分析(成分)信息，辅助对该物理对象的系统分析。在分析环境中(出于前一节所述的原因)，数字孪生通常必须通过测量而非计算机辅助设计(CAD)生成，而一种或多种摄影测量技术可能是一个快速且有效的起点。与这些摄影测量技术相关的一种或多种软件现在已广泛可用并为业内所知，例如 2。 [0064] 此外，公开了一种新方法，通过使用固定在物理样品上的计算机可读基准标记，并在数字孪生中记录，实现对应用于样品的所有分析技术的配准。基准标记固定在样品上，或固定在可连接到样品的样品托架上(最好是能够从图像中被计算机自动读取的基准标记)。 显微镜中常见的样品托架示例如图18所示。然后，计算机可读基准标记被牢固地固定在样品托架上，或印刷在其表面，或书写(例如通过喷墨打印或激光雕刻)。样品可以牢固地固定在样品托架上(这是现有的做法)。这意味着样品现在相对于计算机可读基准标记(CRFM)具有固定的位置和方向。然后，这些基准标记用于定义一个坐标系，优选为xyz笛卡尔坐标系，以便在摄影测量提供数据文件(例如“.STL”格式的三维表示)后，用于数字孪生的三维模型。 [0065] 针对特定样品的方法如下(在此“样品”和“标本”可互换使用)： [0066] 1.将样品牢固地固定在具有一个或多个基准标记的样品载台上，或者将基准标记牢固地固定在样品本身上(例如通过印刷、粘合或聚焦离子束铣削)。 [0067] a.可选地，这些基准标记可通过计算机软件自动识别和读取(例如， [7,8])。 [0068] b.将使用足够的基准标记来定义适合样品维度的坐标系。因此，对于二维样品(例如硅芯片的表面)，基准标记将定义空间中的三个或更多点。对于三维样品，这些基准标记将至少定义四个点。 [0069] c.作为一个具体示例，在立方体的两个侧面上放置两个 可用于定义 空间中的八个点( 的角点)。该立方体被牢固地固定在样品上，使得两个 都可见。 [0070] d.样品载台可预先制造并显示基准标记。然后，样品只需像在许多种样品分析中通常做的那样，牢固地固定在样品载台上。 [0071] 2.从多个图像捕获设备获取第一组图像，通常是近乎同时获取。这些第一组图像由多个图像捕获设备(或相机)方便地捕获，提供了样品周围多个角度的视图。可以控制多个图像捕获设备以捕获样品的第一组图像。通常，第一组图像至少包括样品的五张图像。 [0072] 3.应用一种或多种摄影测量技术来生成样品的三维模型(例如以“.STL”文件形式)。关键是，这些摄影测量技术除了捕获形态外，还在图像中捕获基准标记，并使用它们来定义样品表面三维模型上点的xyz坐标系。这使得“数字分析孪生”扫描仪或扫描系统比用于快速成型的传统三维摄影测量扫描仪更为先进。基准标记还可用于生成一个三维(或对于平面样品而言的二维)坐标系，随后可使用能够成像相同基准标记但无法生成任何三维模型的其他显微镜来识别样品上的点。该坐标系及其与三维模型坐标系的(固定)关系记录在数字孪生文件中。 [0073] 4.可选地，用户可以在数字分析孪生三维模型上添加点或区域，可能还附加文本标签，以供后续分析。 [0074] 5.数字分析孪生可与样品本身一起传送到分析设施(例如，随样品附带的USB驱动器，或通过电子邮件、文件传输服务器或任何其他数字文件传输方式)。在一种实施方式中，数字分析孪生文件可存储在组织和/或安排分析实验室工作的实验室信息管理系统(LIMS)中(例如，Agilent的 [9]，或Thermo Scientific的 LIMS[10])。 [0075] 6.可选地，数字分析孪生可用于讨论分析策略(即，接下来要分析样品的哪些点以及顺序)。这可以通过在计算机上查看渲染的三维模型方便地完成，或者(如果各方在不同地点)使用如 或 等互联网会议和屏幕共享软件。 [0076] 在上面的步骤3中，需要注意一个关键问题。这里，使用一种或多种摄影测量技术来确定样品表面上许多点的坐标，从而生成“三维模型”。然而，该三维模型中还包含了由计算机可读基准标记描述的坐标系。这意味着，后来当样品被带到没有摄影测量能力的分析仪器上时，先前记录的构成三维模型的表面点，以及相对于计算机可读基准标记定义的坐标轴，都可以仅使用在所述分析仪器拍摄的样品图像中可见的计算机可读基准标记，来识别该表面上的点。 [0077] 当中央设施的分析专家使用连接到其分析工具(例如电子显微镜)的计算机查看样品时，步骤4中定义的感兴趣点将通过该计算机中的软件(例如上述的PARS系统)自动叠加在图像上，可选地附加原始用户评论或其他信息(例如存在的元素)。如果基准标记是计算机可读的，这可以自动完成，即软件在显示的分析仪器图像中识别一个或多个此类基准标记，然后通过三维三角测量找到感兴趣点在当前图像中出现的位置(其坐标记录在数字孪生文件中)。计算机可读基准标记的示例包括 ARTags[11]、ArUco标记等。重 要的是，这完全不依赖于能够修改仪器制造商的软件。相反，可以使用屏幕注释软件将标记叠加在仪器制造商软件显示的图像“之上”，即显示在屏幕上但不是由分析仪器制造商的软件显示。“数字分析孪生”文件提供的通用xyz坐标系允许更容易的相关显微镜分析，即能够将一种技术的结果叠加在另一种技术上，关联来自经常截然不同类型的显微镜或分析仪器的不同显微技术。 [0078] 步骤2和可选的步骤3由也称为“数字分析孪生扫描仪”(DATS)的扫描系统执行。这构成本发明的一个装置/系统。 [0079] 图1示意性地展示了DAT扫描仪(DATS)仪器的关键组件。样品(130)可以固定在样品托架(150)上，样品(130)和/或样品托架(150)上牢固地固定有计算机可读的基准标记(110和120)。在图1中，所示的基准标记是 由多个图像捕获设备(相机)(100)获 取样品和基准标记的第一组图像，第一组图像进一步传输到计算机(140)，通过摄影测量进行数值处理。在实验过程中，使用了 V4K相机( 公司，美国加利福尼亚州森尼 维尔，如图19所示)和通用的USB显微镜相机(例如，来自中国香港 仪器有限公 司的 200万像素型号，如图20所示)用于较小的样品，尽管大多数数字相机在此 应用中都能很好地工作。尽管该示意图是二维的，但意在显示多个图像捕获设备(110)在三维空间中从广泛的立体角度指向样品(130)，以尽可能减少摄影测量中的歧义。在一个实施例中，扫描系统可以被配置为控制样品托架(150)的运动，使其从第一位置旋转到第二位置。扫描系统还可以控制多个图像捕获设备，以在样品托架处于第二位置时，捕获样品和至少一个基准标记的第二组图像。扫描系统可以进一步基于对所捕获的第一组图像和第二组图像应用一种或多种摄影测量技术，生成样品的三维模型。需要注意的是，样品托架(150)可以至少围绕一个轴旋转，以便可以记录每个相机的多张图像，提高摄影测量的质量和准确性。 [0080] 为了确保良好的照明条件并最小化阴影，样品可以被置于一个漫反射的“积分球”中，或一个近似于积分球的结构中，并集成一组发光二极管(LED)。在一些实施例中，集成的LED组也可以是扫描系统或DATS扫描仪的组件。在实验过程中，分别使用了图24和图25所示的装置来实现这一点。 [0081] 已经有一些使用计算机可读基准标记的示例被发表[13]。简而言之，在任何连接到计算机的分析仪器上，通过显微镜在计算机监视器上显示图像，只要该分析仪器能够成像基准标记，且视野中至少有最少数量的此类基准标记，用户先前定义的点就可以在屏幕上突出显示。即使无法访问仪器制造商提供的软件，只要能够访问操作系统当前在监视器上显示的图像，这也是可行的。 [0082] 在某些情况下，当基准标记在视野中时，用户定义的感兴趣点或区域可能位于显微镜的视野之外。这种情况在图2中以示意性方式说明。在图2中，基准标记(200)是一个位于显微镜的初始视野(210)内。基准标记的四个角在可由操作显微镜的计算 机访问的数字孪生信息中具有已知位置。利用该位置信息，软件可以确定感兴趣点(220)在此初始视野中不可见，尽管可以指示其所在方向(例如，通过屏幕上的箭头注释)。在这种情况下，软件可以自动跟随屏幕上显微图像的平移，当在操作员的控制下从初始视野(FOV)(230)移动到下一个FOV(240)，再到下一个FOV(250)，最终到最后的FOV(260)，这样当感兴趣点(210)进入视野时，就会被指示出来(例如，在该位置进行屏幕注释)。当发生这样的平移时，通过计算机对连续图像(230，然后是240，然后是250，然后是260)的相关性，即使基准标记已不在视野中，也能准确定位该点。 [0083] 这需要在这些视野(FOV)中有足够的对比度和偶发特征(在图2中未显示，但假设存在于230、240、250和260中)，以便每个视野都能相对于前一个视野被准确定位。对于实际样品来说，几乎总是存在这样的对比度和特征。 [0084] 可以将分析结果信息添加到数字孪生文件中，使其与真实样品上的分析位置相关联。因此，随着时间的推移，来自多种不同分析方法的结果可以在这个数字分析孪生中累积，供中心工作人员和分析客户/用户查看。因此，可以充分利用每种分析技术的特定信息，以全面了解样品。 [0085] 实践验证：数学建模和解决方案 [0086] 首先考虑对样品表面上图案化方形标记的分析仪器的坐标系。为简单起见，我们假设方形标记在每个方向上的尺寸为单位长度。方形的真实尺寸可能是，例如，10μm或 50nm。假设方形标记的边长为样品表面跨越距离的两倍单位。 [0087] 对于方形基准标记，如 或QR码，可以形成标记中心的位置及其四个角 (A、B、C和D)的图像，如图3所示。对于 和QR码定位，可能有多个软件包可用。这些软件通常至少提供方形标记的四个角及其中心在像素阵列中的位置。在某些情况下，可能有更多的信息可从自动识别这些基准标记的软件中获得，例如可用于图像共同配准的变换矩阵。这些都可以使用。在某些实施例中，如果没有额外的校准，这些附加矩阵可能无法获得，或者可能成为这些软件输出中最不可靠的部分，因为它们不经常使用，因而没有经过深入测试。因此，可以使用基准标记的角和中心进行图像共同配准。 [0088] 基准标记的角(这里标记为A、B、C和D)可以根据AprilTag或QR码的内部图案彼此区分。因此，例如，角A绝不会与角C混淆，因为图案的对称性不足以导致这种混淆。图像的x、y平面由网格中的大量像素组成，因此，例如，AprilTag或QR码的角A在该图像中被报告为具有位置x1'和y1'的像素(图2)。通常这些坐标是整数，但在某些情况下，识别标签的软件可以给出更精确的位置作为浮点数，例如当角点位于像素之间时。 [0089] 二维线性变换有两类——投影和仿射。在大多数与显微镜相关的变换中，仿射描述已足够，但这里选择了投影模型，因为它能更好地处理某些表面的斜视图。投影变换可以用以下矩阵表示： [0090] 方程(1): [0091] [0092] 其中： [0093] 方程(2): [0094] [0095] 是旋转矩阵。该矩阵定义了将要执行的变换类型：缩放、旋转等。 [0096] 方程(3): [0097] [0098] 是平移向量。它简单地移动了方形的中心，并且 [0099] 方程(4): [0100] (c1c2) [0101] 是投影向量。在显微镜的大多数应用中，这个投影向量的元素可能很小，然而在宏观摄影的透视情况下，例如，它们可能很显著。 [0102] 如果x和y是一个点的坐标，变换可以通过简单的乘法完成： [0103] 方程(5): [0104] [0105] 这里，x′x'x′和y′y'y′是变换后的点的坐标。 [0106] 设A为变换矩阵： [0107] 方程(6): [0108] [0109] 有五个点(方形标记的四个角和中心)在聚焦离子束(FIB)的x,y平面中具有已知位置：(x,y)＝(‑1,‑1)、(1,‑1)、(1,1)、(‑1,1)和(0,0)，最后一个点是标记的中心。 [0110] 方程(7): [0111] [0112] 从图像中的标记识别可以得知这五对x′x'x′和y′y'y′的值。首先，必须为该图像找到A，以便我们可以将该图像的像素映射到原始定义的平面(x,y)。可能有过多的测量；实际上，这个方程组是超定的，可以使用原始定义平面中(x,y)值的(3×5)矩阵的Moore‑Penrose广义逆以最小二乘意义求解。实际上，由于这总是相同的，可以一次性给出Moore‑Penrose广义逆为： [0113] 方程(8): [0114] [0115] 因此，要在任何通过不同技术获取的图像中找到像素(x′,y′)(x',y')(x′,y′)在原始平面中的坐标，只需将这些坐标乘以广义逆： [0116] 方程(9): [0117] [0118] 在三维中，通过使用延伸到三维的计算机可读基准标记来扩展，例如图1所示的两个 这些标记不在样品的二维平面上，因此可用于定义三维的xyz坐标系。当以 这种方式存在两个或多个计算机可读基准标记时，摄影测量生成的样品表面点阵列和由CRFM定义的所有坐标系(除一个外)都通过线性变换参考到其中一个CRFM的单一坐标系： [0119] 方程(10): [0120] x＝x(x′,y′,z′),y＝y(x′,y′,z′),z＝z(x′,y′,z′) [0121] 实践验证II：原型软件组件 [0122] 已经对系统(“N”)进行了原型开发，如上所述，使用了来自多个来源的组件： [0123] (a)C++中的 识别软件(例如参考文献14)，用于在上述步骤4和7中识别 [0124] (b) [15]，用于实现一个小型GUI(步骤3等)，以询问样品和点的名称，在步骤4和7中将屏幕捕获保存到文件，并以正确的顺序在正确的文件上运行组件(a)、(c)和(d)。 [0125] (c) [16]，用于在(a)和(b)使用的.png文件和.jpg文件之间转换 文件格式。当由于显微镜对比机制的限制需要时，也用于对比度增强或反转。我选择了“便携式32位”版本，因为这有助于在便携式USB驱动器上使用，且一些仪器操作软件仍然使用 32位的 [0126] (d) [17]，用于屏幕注释。 [0127] 附图简要说明 [0128] 图1展示了用于分析样品(130)的扫描系统(也称为数字分析孪生扫描仪)，包括一个或多个(在此图中为五个)相机(100)、样品(130)、样品托架(150)、计算机可读基准标记(CRFM)(110和120)以及操作该系统的计算机(140)； [0129] 图2展示了PARS如何指示初始视野(230)之外的一个点(210)；通过关联这些视野内(未显示)的样品表面的随机特征，使用中间视野(240和250)，使得包含感兴趣点的视野(260)的位置和方向相对于计算机可读基准标记(CRFM)(200)是已知的； [0130] 图3在x,y坐标平面上示意性地表示了一个方形基准标记； [0131] 图4表示了在x'，y'平面中以不同方向的方形基准标记，即图3所述的标记在具有x'，y'坐标系的不同仪器中可能的外观； [0132] 图5展示了一台典型的透射电子显微镜(TEM)，包括电子柱(500)和操作显微镜的计算机(510)； [0133] 图6展示了一台典型的广域光学检查显微镜光学系统(600)，具有内置显示器(610)，其中包含操作显微镜的计算机，用于对样品(620)进行光学显微观察； [0134] 图7展示了一台具有非常高空间分辨率的典型共焦光学显微镜，包括显微镜柱(700)、光源(通常是激光)(720)和操作显微镜的计算机(710)； [0135] 图8展示了一个典型的能量色散(X射线)光谱(EDS)，包括代表样品内多种元素存在的多个峰，包括铁(800)； [0136] 图9展示了一个X射线光电子能谱(XPS)光谱，包括代表样品表面内几种元素存在的多个峰，包括碳(900)和氧(910)； [0137] 图10展示了XPS仪器操作员所看到的典型屏幕，其中在表面上有两个重要的分析感兴趣点(P1和P2)，以及从这些点获得的光谱(1000)； [0138] 图11展示了一台原子力显微镜(AFM)(1110)和操作它的计算机(1100)； [0139] 图12展示了一台传统的扫描电子显微镜(SEM)，包括样品进入的进样舱(1200)和操作SEM的计算机(1210)； [0140] 图13展示了一台最先进的氦离子显微镜(HIM)，包括氦离子柱(1300)、进样舱(1310)和操作HIM的计算机(1320)； [0141] 图14展示了一台典型的“台式”扫描电子显微镜(SEM)，包括真空腔室(1410)和操作SEM的计算机(1400)； [0142] 图15展示了一台典型的X射线光电子能谱仪(XPS)，具有半球形分析器(1520)和分析腔室(1500)，操作员坐在一旁，使用运行在操作XPS仪器的计算机(1510)上的软件规划XPS分析； [0143] 图16展示了操作扫描电子显微镜或SEM(实际上是图14所示的台式SEM)的计算机屏幕，包括样品的光学“平面视图”； [0144] 图17展示了操作X射线光电子能谱仪的计算机屏幕，包括样品的光学“平面视图”； [0145] 图18展示了用于分析仪器(如扫描电子显微镜)中使用的各种不同类型的样品托架，包括在我所进行的一些实验研究中使用的“针座”(1800)； [0146] 图19展示了由 公司制造的数字相机(型号V4K)，已成功用于图1所示的扫 描系统(或DAT扫描仪)的一部分，包括CMOS光学相机传感器(1900)、可调节支架(1910)和通过其将图像传输到计算机的USB电缆(1920)； [0147] 图20展示了一种通用的、廉价的数字显微镜，这种类型的显微镜广泛可用，并已成功用于图1所示的扫描系统(或DAT扫描仪)的一部分，包括支架(2020)、对焦旋钮(2010)和通过其将图像传输到计算机的USB电缆(2030)； [0148] 图21示意性地展示了如何将光学显微镜和电子显微镜组合成单一仪器，包括光学相机(2120)、反射镜(2110)和二次电子探测器(2100)； [0149] 图22示意性地展示了操作扫描电子显微镜的计算机屏幕，包括使用聚焦离子束刻蚀在样品表面上的计算机可读基准标记(2310)、由用户定义的样品表面上的一个点(标记为P1)(2320)，以及来自该点的能量色散X射线光谱(EDS)(2330)； [0150] 图23示意性地展示了操作X射线光电子能谱仪(XPS)的计算机屏幕，包括附着在样品托架上的计算机可读基准标记(CRFM)(2210)、在另一台仪器(如图22所示的SEM)中使用聚焦离子束刻蚀在样品表面上的不同CRFM(2220)，以及由PARS软件叠加在屏幕上的位置标记(2230)，指示用户在图22所示的SEM中标记的点； [0151] 图24展示了实验中使用的计算机可读基准标记(CRFMs)(3210、3220和3230)在样品托架上的排列，从三个不同角度(a)、(b)和(c)观看，感兴趣的样品是牢固固定在样品托架上的电子器件(3200)； [0152] 图25展示了从不同角度观看的实验装置，包括固定在样品托架(3300)上的一组CRFMs，以及附着在电动旋转台(3330)上的另一可区分的CRFMs阵列(3310)，相机(3320)类型如图20所示，这是图1所示系统的一个实施例； [0153] 所有这些都符合本公开的一个实施例。 [0154] 发明的详细描述 [0155] 假设在一个分析设施中，可能隶属于大学或商业公司，可能有100台不同的分析仪器，约100名工作人员和约3000名用户。用户可能是大学研究人员、公司研究人员或其他人。 每个用户通常需要使用100台仪器中的3到4台。假设某个特定用户需要对一组来自不同催化剂研究的10个样品进行扫描电子显微镜(SEM)、能量色散X射线分析(EDS)和X射线光电子能谱(XPS)分析。这是一个非常典型的情况。 [0156] 为了这个示例实施例的目的，让我们假设用户在距离将要进行分析工作的中心设施有一定距离的地方工作，可能是在英国的利兹。可选地，用户首先要做的是将每个样品安装在单独的样品托架上，每个托架都有一个独特的计算机可读基准标记，例如QR码、一些条形码标记或 无需特别小心地将样品相对于这些托架上的基准标记放置或定 向。相反，可选地，使用如图1所示的数字分析孪生扫描仪(DATS)来扫描每个样品，并为每个样品创建一个数字分析孪生(DAT)文件，这是一个计算机数据结构，其中包含了样品的捕获图像，以及这些图像相对于计算机可读基准标记的方向和位置信息。实际上，这些基准标记将在至少一张图像中可见。DAT数据结构可以方便地存储在USB存储器或便携式USB驱动器上，或者等效地存储在网络驱动器或云存储的特定位置上。可选地，此存储设备(例如USB存储器)还包含可执行形式的PARS软件(有时称为“便携式应用程序”)。所有这些都可以在用户位于利兹的自己实验室中完成，这可能远离用户打算使用的中心分析设施(可能在伦敦)。用户在自己实验室中使用的扫描系统(或DAT扫描仪)可能比中心设施的仪器和显微镜便宜得多。对于典型样品尺寸的扫描系统，可能是一个桌面大小的仪器，易于在实验室甚至办公室中安置。然而，在某些情况下，如果样品较大，扫描系统可能会大得多。 [0157] 此时，用户可以查看图像，选择他或她希望通过SEM、EDS或XPS研究的点或区域。这些感兴趣点(POI)或感兴趣区域(ROI)由PARS软件记录在数字分析孪生(DAT)数据结构中(PARS软件执行上述方程1‑9描述的坐标变换来实现这一点)。当用户将USB存储器带到SEM仪器上(可能在距离他或她自己的实验室数英里的中心设施，例如伦敦)，用户在屏幕上寻找一个或多个计算机可读基准标记(CRFM)。PARS软件(与SEM采集软件并行运行，但仅访问显示给用户的屏幕)在这些CRFM出现在计算机屏幕上时自动识别它们，并在先前已标记POI或ROI的屏幕上添加注释，在此过程中利用了摄影测量生成的模型和方程1‑9的坐标变换。 用户可以在屏幕上看到这些POI和ROI被标记和注释(即使运行SEM的计算机对此并不了解)。现在，SEM显示了表面的图像，用户可以向DAT数据结构中添加更多的POI或ROI。这可以通过例如用户在特定位置点击鼠标来完成。PARS软件将捕获这些信息，计算这些点相对于CRFM的三维位置，并将其记录在DAT数据结构中。这些图像可以被PARS捕获并存储在DAT数据结构中。用户可以使用SEM控件，导航SEM仪器的视野，前往屏幕上以注释形式出现的POI或ROI。 [0158] 然后，用户在一些感兴趣点(POI)上进行EDS分析。记录EDS光谱，并将光谱文件本身或链接(例如唯一的文件名)存储在DAT中，与该POI相关联。通常，EDS可以在SEM仪器中进行。 [0159] 知道自己即将将样品带到不同的仪器上，用户使用聚焦离子束(FIB)在靠近POI的特定位置上标记一个新的CRFM，该CRFM将在下一台要使用的仪器中可见。用户在操作SEM的计算机屏幕上看到的视图如图22所示。 [0160] 然后，用户将样品和包含其DAT的USB存储器带到另一台完全不同的仪器——X射线光电子能谱仪(XPS)。例如，这可能是在纽卡斯尔。用户使用XPS映射对包含一些POI和FIB CRFM的区域进行化学成像。由于该CRFM规模较小且靠近POI，使得用户能够以更高的精度和可重复性定义POI。然后，用户从一些POI记录XPS光谱，这些光谱文件被存储在USB存储器上的DAT中(或链接到DAT中)，与样品中那些POI的位置坐标相关联。图23示意性地展示了用户在使用XPS仪器计算机时将看到的屏幕。请注意FIB刻蚀的CRFM(2220)和由PARS软件叠加在屏幕上的位置标记(2230)，指示用户先前在SEM中定义的点。PARS软件基于直接从计算机屏幕识别的CRFM(2220)，计算出在何处放置该注释和标签“P1”。 [0161] 之后(可能是几个月甚至几年后)，用户可以使用USB存储器和他或她自己的个人计算机(无需连接任何分析仪器)来查看样品的分析结果。在撰写论文或行业报告的结果时，用户可以浏览所需的图像，定量分析光谱，同时知道这些光谱在样品上的来源坐标。用户可以基于来自DATS和/或SEM、EDS、XPS的成像，生成样品的二维或三维数字渲染，可能通过假彩色成像叠加以强调存在的特定化学物质。 [0162] 用户使用PARS、DAT和DATS进行此项工作的优势之一是，可以在用户自己的实验室中使用DAT扫描仪(DATS)以低成本进行准备，而无需占用诸如SEM或XPS等仪器的昂贵时间； 可以避免在描述POI或ROI时的潜在错误；分析数据以与样品一一对应的形式存储，使得用户可以轻松生成叠加了分析数据的样品视图，即使他们不是分析技术的专家，也对该样品的任何专家都有意义；DAT数据结构可以被分析设施或更广泛地标准化和认可，而实验室笔记本中的手写照片注释则无法做到；通过能够在远程会议或 会议中以不同方式 显示DAT信息，可以促进远程协作，而无需占用昂贵的SEM、XPS或其他仪器的时间来实现这一点。 [0163] 与现有技术相比，本发明具有许多新特征，包括(但不限于)以下内容： [0164] (a)PARS软件仅通过屏幕上显示的图像进行操作，查找、识别并定位这些图像中的计算机可读基准标记(CRFM)，因此可以作为第三方软件运行(不一定来自销售操作分析仪器软件的公司)。 [0165] (b)DAT扫描仪是一种新设备，其任务是通过对样品(以及附加的计算机可读基准标记)从多个(通常是几个)角度进行摄影测量，生成样品的DAT模型。它不仅仅是一个摄影测量扫描仪(文献中已有多个很好的现有技术示例12)，它还添加了CRFM的自动识别，并创建了由这些CRFM定义的xyz坐标系，其中放置了定义样品表面(通过摄影测量确定)的点。 [0166] (c)如上所述的**数字分析孪生(DAT)**与当前使用的数字孪生3不同，因为DAT不是源自制造物品或建筑物的CAD或CAM模型，而是通过对可能是制造的或发现的样品(例如考古文物或自然物体，如陨石)进行摄影测量而经验性地创建的。数字孪生可以并且经常在物理实体存在之前就存在，但DAT则不能。在创建阶段使用数字孪生可以对预期实体的整个生命周期进行建模和模拟3。在对象创建时不存在DAT；它必须通过摄影测量或其他测量技术创建。DAT以物理对象开始，允许对对象的分析生命周期进行建模和模拟，包括由于先前应用的某些技术导致的数据损坏。 [0167] DAT数据结构可以通过多种不同方式实现，其中一个示例是**可扩展标记语言(XML)**文件4。这使得已经开发的用于解析和检查XML文件的工具可以应用于DAT。在这种结构中，可以使用特定的(专有的或开放的)分析数据格式来表示关于样品的光谱、图像或其他分析数据。 [0168] [0169] [0170] [0171] 其中"s12345.vms"可能是以ISO14976格式存储的链接XPS光谱的文件名，"E98765.eds"是以专有(SEM制造商的)格式存储的链接EDS光谱的文件名。文件" s31987.stl"包含了在DAT扫描仪中通过摄影测量确定的样品形貌。 [0172] 参考文献列表 [0173] [1]Céline Loussert Fonta and Bruno M Humbel Correlative microscopy,Archives of Biochemistry and Biophysics,Volume 581,1 September 2015,Pages 98‑ 110. [0174] [2]Jeffrey Caplan,Marc Niethammer,Russell M Taylor and Kirk J Czymmek,The power of correlative microscopy:multi‑modal,multi‑scale,multi‑dimensional,Current Opinion in Structural Biology,Volume 21,Issue 5,October 2011,Pages 686‑693. [0175] [3]F Bergamasco et al,Image‑Space Marker Detection and Recognition Using Projective Invariants,IEEE Conference Paper·June 2011,DOI:10.1109/ 3DIMPVT.2011.55 [0176] [4]E.Olson“, AprilTag:a robust and flexible visual fiducial system,”Robotics and Automation(ICRA),2011 IEEE International Conference on.IEEE, 2011；M.Fiala,“ARTag,a fiducial marker system using digital techniques,”Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.Vol.2.IEEE,2005. [0177] [5]Karl Kraus“, Photogrammetry:Geometry from Images and Laser Scans: 2nd Edition”(De Gruyter,Berlin,2007) [0178] [6]https://www.pix4d.com/product/pix4dmapper‑photogrammetry‑software[0179] [7]AprilTag 2:Efficient and robust fiducial detection,Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS),John Wang and Edwin Olson,2016 [0180] [8]AprilTag:A robust and flexible visual fiducial system,Proceedings of the IEEE International Conference on Robotics and Automation(ICRA),Edwin Olson [0181] [9]https://www.agilent.com/en/service/laboratory‑services/lab‑operations‑management/sample‑processing‑management [0182] [10]https://www.thermofisher.com/order/catalog/product/INF‑11000#/INF‑11000 [0183] [11]ARTag Revision 1.A Fiducial Marker System Using Digital Techniques‑Fiala,M.,November 2004:https://www.cs.cmu.edu/afs/cs/project/skinnerbots/Wiki/AprilTags/NRC‑47419.pdf [0184] [12]“Correlative microscopy”by Céline Loussert Fonta and Bruno M Humbel,Archives of Biochemistry and Biophysics,Volume 581,1 September 2015,Pages 98‑110 [0185] [13]Computer‑readable Image Markers for Automated Registration in Correlative Microscopy–“autoCRIM”,J Sheriff,I W Fletcher,P J Cumpson,Ultramicroscopy,113322(2021). [0186] [14]https://april.eecs.umich.edu/software/apriltag；also https://april.eecs.umich.edu/software/ [0187] [15]https://www.autoitscript.com/site/autoit/ [0188] [16]https://imagemagick.org/script/download.php [0189] [17]https://github.com/geovens/gInk [0190] [18]https://www.ibm.com/topics/what‑is‑a‑digital‑twin [0191] [19]Grieves,Michael(October 5,2015)."Can the digital twin transform manufacturing".World Economic Forum Emerging Technologies.Retrieved November 19,2022. [0192] [20]Elliotte Harold,XML in a nutshell,3rd Edn(O’Reilly,North Sebastopol,CA,USA 2004). [0193] [21]Jeffrey Caplan,Marc Niethammer,Russell M Taylor II,Kirk J Czymmek,The power of correlative microscopy:multi‑modal,multi‑scale,multi‑dimensional,Current Opinion in Structural Biology 2011,21:686–693 [0194] [22]The 2018 correlative microscopy techniques roadmap,Toshio Ando et al2018 J.Phys.D:Appl.Phys.51 443001. [0195] [23]“Multi‑modal analysis of 2D materials with the XPS‑SEM CISA workflow”,Thermo Scientific Applications Note [0196] [24]J.J.H.A.Van Hest et al,Towards robust and versatile single nanoparticle fiducial markers for correlative light and electron microscopy,Journal of Microscopy,Vol.274,Issue 1 2019,pp.13–22 doi:10.1111/jmi.12778[0197] [25] B,Schmelzle S,Blüthgen N,Heethoff M(2018)An automated device for the digitization and 3D modelling of insects,combining extended‑depth‑of‑field and all‑side multi‑view imaging.ZooKeys 759:1–27.https://doi.org/10.3897/zookeys.759.24584 [0198] [26]Plum F,Labonte D.2021.scAnt—an open‑source platform for the creation of 3D models of arthropods(and other small objects).PeerJ 9:e11155 DOI 10.7717/peerj.11155。