[0001] 本申请涉及智能分析领域，且更为具体地，涉及一种基于模式识别的眼底图像诊断分析系统及方法。

[0002] 眼底疾病，如糖尿病视网膜病变、青光眼和黄斑病变等，是导致视力丧失的主要原因之一。早期诊断对治疗这些疾病至关重要，但由于医疗资源分布不均，特别是在偏远地区，专业的眼科医生可能难以获得。因此需要一种高效、准确的自动化诊断工具。

[0016] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

[0017] 如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素。

[0018] 虽然本申请对根据本申请的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。

[0019] 本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

[0020] 下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

[0021] 在本申请的技术方案中，提出了一种基于模式识别的眼底图像诊断分析系统。图1为根据本申请实施例的基于模式识别的眼底图像诊断分析系统的框图。图2为根据本申请实施例的基于模式识别的眼底图像诊断分析系统的系统架构图。如图1和图2所示，根据本申请的实施例的基于模式识别的眼底图像诊断分析系统300，包括：眼底彩照获取模块310，用于获取被诊断患者对象的眼底彩照；颜色分布特征提取模块320，用于提取所述眼底彩照的颜色特征以得到眼底颜色分布特征向量；眼底结构语义特征提取模块330，用于提取所述眼底彩照的图像语义特征以得到眼底结构语义特征图；全局上下文信息强化融合模块340，用于对所述眼底结构语义特征图进行全局上下文信息强化和多尺度信息融合以得到眼底结构多尺度融合语义特征图；跨模态联合编码模块350，用于将所述眼底颜色分布特征向量和所述眼底结构多尺度融合语义特征图输入跨模态联合编码器以得到眼底多模态特征融合图；眼底异常诊断模块360，用于基于所述眼底多模态特征融合图来确定诊断结果，所述诊断结果用于表示眼底异常类型标签。

[0022] 特别地，所述眼底彩照获取模块310，用于获取被诊断患者对象的眼底彩照。其中，所述眼底彩照提供了患者眼底的详细图像记录，包括视网膜、血管、黄斑区等重要结构。由于在实际的应用场景中，眼底彩照中的颜色信息对于诊断某些眼底疾病非常重要，如糖尿病视网膜病变中的微血管瘤和出血点。

[0023] 特别地，所述颜色分布特征提取模块320，用于提取所述眼底彩照的颜色特征以得到眼底颜色分布特征向量。特别地，在本申请的一个具体示例中，使用颜色直方图来提取所述眼底彩照的颜色特征以得到所述眼底颜色分布特征向量。其中，颜色直方图能够展示图像中颜色的分布情况，这种关于颜色的特征信息可以辅助识别并区分不同类型的眼底病变，特别是在病变初期，颜色变化可能是最明显的信号。

[0024] 在本申请的具体实施例中，使用颜色直方图来提取所述眼底彩照的颜色特征以得到所述眼底颜色分布特征向量的过程包括：对所述眼底彩照进行网格划分以得到眼底彩照块的序列；计算所述眼底彩照块的序列中的各个眼底彩照块的颜色直方图以得到颜色直方图的序列；将各个所述颜色直方图中的各个元素值除以对应所述颜色直方图的元素值之和以对各个所述颜色直方图进行归一化以得到归一化颜色直方图向量的序列；将所述归一化颜色直方图向量的序列进行一维拼接以得到所述眼底颜色分布特征向量。

[0025] 特别地，所述眼底结构语义特征提取模块330，用于提取所述眼底彩照的图像语义特征以得到眼底结构语义特征图。特别地，在本申请的一个具体示例中，如图3所示，所述眼底结构语义特征提取模块330，包括：灰度处理单元331，用于对所述眼底彩照进行灰度处理以得到眼底灰度图像；眼底结构语义信息局部编码单元332，用于将所述眼底灰度图像输入基于空洞卷积神经网络模型的眼底语义特征提取器以得到所述眼底结构语义特征图。

[0026] 具体地，所述灰度处理单元331，用于对所述眼底彩照进行灰度处理以得到眼底灰度图像。这里，灰度图像凸显图像中的亮度信息，有助于更清晰地显示眼底的结构特征，如血管等。同时，相比于彩色图像，灰度图像对计算资源的需求更低，可以加快对眼底结构语义特征的提取。

[0027] 具体地，所述眼底结构语义信息局部编码单元332，用于将所述眼底灰度图像输入基于空洞卷积神经网络模型的眼底语义特征提取器以得到所述眼底结构语义特征图。其中，空洞卷积神经网络模型能够扩大感受野，捕捉所述眼底灰度图像中更远距离的上下文信息，从而理解眼底结构信息和抽象的眼底病变语义表示。

[0028] 值得注意的是，空洞卷积神经网络是一种卷积神经网络结构，通过在卷积核之间引入空洞来增加感受野的大小，从而在保持参数数量相对较少的情况下有效扩展网络的视野范围。以下是空洞卷积神经网络模型的一般特点和原理：空洞卷积核：传统的卷积操作是在输入特征图上以固定的步幅进行滑动，而空洞卷积引入了一个称为“空洞”的概念，通过在卷积核中引入间隔，使得卷积核在输入特征图上跳跃式地进行卷积操作，从而扩大了感受野；感受野的扩展：空洞卷积通过增加卷积核的间隔，可以显著增加每一层神经元的感受野，使得网络能够捕获更广阔范围内的信息，有利于处理全局信息依赖性的任务；参数共享：空洞卷积仍然保持了参数共享的特性，即卷积核在整个特征图上共享权重，这有助于减少模型参数数量，降低过拟合风险；多尺度特征提取：通过调整空洞卷积的空洞率，可以实现不同尺度的特征提取，从而在网络中引入多尺度特征信息，有助于提高模型对于不同尺度物体的识别能力。

[0029] 值得一提的是，在本申请的其他具体示例中，还可以通过其他方式提取所述眼底彩照的图像语义特征以得到眼底结构语义特征图，例如：输入所述眼底彩照；对眼底彩照图像进行预处理，包括图像去噪、亮度调整、尺寸标准化等，确保图像质量和一致性；使用预训练的深度学习模型（如卷积神经网络）进行特征提取，可以采用以下方法：迁移学习：利用在大规模图像数据集上预训练的模型（如ResNet、VGG等）来提取图像特征；卷积层特征提取：提取卷积神经网络中某些层的特征图，这些特征图捕获了图像的语义信息；将不同卷积层提取的特征进行融合，以获得更丰富的语义信息。可以采用池化、拼接等方式进行特征融合；将提取的特征表示重新构建成眼底结构语义特征图，可以通过以下方法实现：上采样：
对低分辨率特征图进行上采样，使其与原始图像尺寸相匹配；可视化技术：利用可视化技术将特征与原始图像进行关联，以得到所述眼底结构语义特征图。

[0030] 特别地，所述全局上下文信息强化融合模块340，用于对所述眼底结构语义特征图进行全局上下文信息强化和多尺度信息融合以得到眼底结构多尺度融合语义特征图。特别地，在本申请的一个具体示例中，如图4所示，所述全局上下文信息强化融合模块340，包括：全局语义抽象表示单元341，用于将所述眼底结构语义特征图输入上下文编码模块以得到全局语义权重向量；上下文信息强化单元342，用于基于所述全局语义权重向量，对所述眼底结构语义特征图的沿通道维度的各个局部特征矩阵进行加权以得到上下文强化眼底结构语义特征图；多尺度语义信息融合单元343，用于融合所述上下文强化眼底结构语义特征图和所述眼底结构语义特征图以得到所述眼底结构多尺度融合语义特征图。

[0031] 具体地，所述全局语义抽象表示单元341，用于将所述眼底结构语义特征图输入上下文编码模块以得到全局语义权重向量。在本申请的技术方案中，虽然空洞卷积神经网络模型能够在一定程度上扩大特征提取的感受野，但其仍然受限于卷积核的大小和尺度，无法捕捉到更全局和更全面的上下文依赖关系。因此，期待将所述眼底结构语义特征图输入上下文编码模块以整合所述眼底结构语义特征图当中的全局上下文信息，从而得到全局语义权重向量。

[0032] 在本申请的实施例中，将所述眼底结构语义特征图输入上下文编码模块以得到全局语义权重向量的过程包括：对所述眼底结构语义特征图进行全局平均池化以得到眼底结构全局语义特征向量；使用全连接层对所述眼底结构全局语义特征向量进行编码以得到所述全局语义权重向量。

[0033] 具体地，所述上下文信息强化单元342，用于基于所述全局语义权重向量，对所述眼底结构语义特征图的沿通道维度的各个局部特征矩阵进行加权以得到上下文强化眼底结构语义特征图。应可以理解，基于所述全局语义权重向量，对所述眼底结构语义特征图的沿通道维度的各个局部特征矩阵进行加权，以此来将图像的全局上下文信息融入到局部的邻域语义特征之中，以强化眼底病变的特征表示。

[0034] 具体地，所述多尺度语义信息融合单元343，用于融合所述上下文强化眼底结构语义特征图和所述眼底结构语义特征图以得到所述眼底结构多尺度融合语义特征图。也就是，将加权后的局部特征与原始的局部特征进行融合，以形成眼底结构语义特征的多尺度表示。更具体地，在本申请的一个具体示例中，将所述上下文强化眼底结构语义特征图和所述眼底结构语义特征图进行级联以得到所述眼底结构多尺度融合语义特征图。

[0035] 值得一提的是，在本申请的其他具体示例中，还可以通过其他方式对所述眼底结构语义特征图进行全局上下文信息强化和多尺度信息融合以得到眼底结构多尺度融合语义特征图，例如：输入所述眼底结构语义特征图；对眼底结构语义特征图进行全局池化操作，将整个特征图的信息进行压缩，以捕获全局上下文信息；将全局池化后的特征输入全连接层，以综合全局信息并生成全局上下文信息强化的特征表示；从眼底结构语义特征图中提取不同尺度的特征表示，可以通过不同大小的卷积核或池化操作实现；将不同尺度的特征表示进行融合，可以采用拼接、加权求和等方式将多尺度特征融合到一起；将全局上下文信息强化的特征和多尺度信息融合的特征进行融合，以得到所述眼底结构多尺度融合语义特征图。

[0036] 特别地，所述跨模态联合编码模块350，用于将所述眼底颜色分布特征向量和所述眼底结构多尺度融合语义特征图输入跨模态联合编码器以得到眼底多模态特征融合图。其中，在本申请的一个具体示例中，将所述眼底颜色分布特征向量和所述眼底结构多尺度融合语义特征图输入基于MetaNet的跨模态联合编码器以得到眼底多模态特征融合图。其中，所述眼底颜色分布特征向量和所述眼底结构多尺度融合语义特征图分别表示不同层面的关于眼底结构的信息。具体来说，所述眼底颜色分布特征向量是使用颜色直方图来得到，其表示所述眼底彩照的颜色分布统计特征，而所述眼底结构多尺度融合语义特征图是通过神经网络模型得到的高维图像语义抽象表示，其更多地捕捉到了所述眼底彩照的复杂模式。在本申请的技术方案中，利用MetaNet模型来构建所述跨模态联合编码器能够对来自不同模态的特征分布进行整合，从而提供更完善和全面的眼底图像表示，揭示眼底病变的多模态变化模式。

[0037] 特别地，所述眼底异常诊断模块360，用于基于所述眼底多模态特征融合图来确定诊断结果，所述诊断结果用于表示眼底异常类型标签。特别地，在本申请的一个具体示例中，将所述眼底多模态特征融合图输入基于分类器的眼底图像诊断结果生成器以得到所述诊断结果。具体地，将所述眼底多模态特征融合图输入基于分类器的眼底图像诊断结果生成器以得到所述诊断结果的过程包括：将所述眼底多模态特征融合图基于行向量或列向量展开为分类特征向量；使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述诊断结果。

[0038] 进一步地，将所述眼底多模态特征融合图输入基于分类器的眼底图像诊断结果生成器以得到诊断结果，所述诊断结果用于表示眼底异常类型标签。

[0039] 在一个优选实施例中，将所述眼底多模态特征融合图输入基于分类器的眼底图像诊断结果生成器以得到诊断结果包括：对所述眼底多模态特征融合图的各个特征值进行基于概率激活函数，例如
sigmoid函数进行概率化以获得概率化的眼底多模态特征融合图；
获得所述眼底多模态特征融合图输入基于分类器的眼底图像诊断结果生成器得
到的与 个眼底异常类型标签对应的 个标签概率值；
将所述 个标签概率值分别减去 分之一后，计算其平方和的平方根，并与 分之一相加以得到类型概率值；
基于所述概率化的眼底多模态特征融合图的每个特征值与所述类型概率值的比
较确定眼底多模态特征类型认知符号值，其中，所述眼底多模态特征类型认知符号值分别响应于所述概率化的眼底多模态特征融合图的特征值大于、等于和小于所述类型概率值而等于一、零和负一；
计算所述概率化的眼底多模态特征融合图的所有特征值的均值以得到眼底多模
态特征类型整体移相值；
将所述概率化的眼底多模态特征融合图的每个特征值分别乘以所述眼底多模态
特征类型认知符号值和所述眼底多模态特征类型整体移相值后，进行加权差分计算，并取绝对值以获得所述概率化的眼底多模态特征融合图的优化的特征值；
将由所述优化的特征值组成的优化的眼底多模态特征融合图输入基于分类器的
眼底图像诊断结果生成器以得到诊断结果。

[0040] 具体地，优化步骤表示为：；
；
；
其中，和 是所述概率化的眼底多模态特征融合图的优化前和优化后的特征
值，是所述类型概率值， 是第j个标签概率值，是所述标签概率值的个数，和 分别是第一加权超参数和第二加权超参数， 是所述眼底多模态特征类型认知符号值，是眼底多模态特征类型整体移相值， 表示取绝对值。

[0041] 这里，所述眼底颜色分布特征向量和所述眼底结构多尺度融合语义特征图分别表达眼底彩照的颜色直方特征和眼底灰度图像的通道上下文关联融合的图像语义特征，由此，将所述眼底颜色分布特征向量和所述眼底结构多尺度融合语义特征图输入基于MetaNet的跨模态联合编码器后，得到的所述眼底多模态特征融合图会由于通道维度的相异图像语义模态特征分布差异化约束而存在相对于源图像语义特征表示的先验‑后验类概率因果关联缺失，从而影响分类结果的准确性。

[0042] 因此，本申请在上述优选实施例中，通过将所述眼底多模态特征融合图的特征值的概率化幅值与类型概率表示进行对比，来获得所述眼底多模态特征融合图的类型认知相变换响应，并对所述眼底多模态特征融合图的特征值相对于特征图整体的类型概率表示的移相响应进行基于类型标签概率的差分分布展开的特征分布序列不变性变换，以实现所述眼底多模态特征融合图的后验类概率对其先验特征分布表示的因果制约，以提升所述眼底多模态特征融合图输入基于分类器的眼底图像诊断结果生成器得到的诊断结果的准确性。

[0043] 如上所述，根据本申请实施例的基于模式识别的眼底图像诊断分析系统300可以实现在各种无线终端中，例如具有基于模式识别的眼底图像诊断分析算法的服务器等。在一种可能的实现方式中，根据本申请实施例的基于模式识别的眼底图像诊断分析系统300可以作为一个软件模块和/或硬件模块而集成到无线终端中。例如，该基于模式识别的眼底图像诊断分析系统300可以是该无线终端的操作系统中的一个软件模块，或者可以是针对于该无线终端所开发的一个应用程序；当然，该基于模式识别的眼底图像诊断分析系统300同样可以是该无线终端的众多硬件模块之一。

[0044] 替换地，在另一示例中，该基于模式识别的眼底图像诊断分析系统300与该无线终端也可以是分立的设备，并且该基于模式识别的眼底图像诊断分析系统300可以通过有线和/或无线网络连接到该无线终端，并且按照约定的数据格式来传输交互信息。

[0045] 进一步地，本实施例还提供一种基于模式识别的眼底图像诊断分析方法。

[0046] 图5为根据本申请实施例的基于模式识别的眼底图像诊断分析方法的流程图。如图5所示，根据本申请实施例的基于模式识别的眼底图像诊断分析方法，包括：S1，获取被诊断患者对象的眼底彩照；S2，提取所述眼底彩照的颜色特征以得到眼底颜色分布特征向量；S3，提取所述眼底彩照的图像语义特征以得到眼底结构语义特征图；S4，对所述眼底结构语义特征图进行全局上下文信息强化和多尺度信息融合以得到眼底结构多尺度融合语义特征图；S5，将所述眼底颜色分布特征向量和所述眼底结构多尺度融合语义特征图输入跨模态联合编码器以得到眼底多模态特征融合图；S6，基于所述眼底多模态特征融合图来确定诊断结果，所述诊断结果用于表示眼底异常类型标签。

[0047] 综上，根据本申请实施例的基于模式识别的眼底图像诊断分析方法被阐明，其通过结合模式识别技术和图像处理技术，对被诊断患者对象的眼底彩照进行全面且多尺度的特征提取，以学习和捕捉眼底的异常状态，并进一步地实现眼底异常类型的判别。通过这样的方式，辅助医生进行眼底病变筛查，有助于减轻医生的工作负担。

[0048] 以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。