具体技术细节
[0004] 针对现有技术中存在的缺陷，本发明的目的在于面向节点链接图数据提供一种基于深度扩散模型的图可视化可控布局交互式生成方法。该方法支持用户高效地获得符合用户期望的图可视化结果。用户基于自己对图布局的期望指定特定节点的位置作为图布局的约束，这些节点可形成一个相连的子图或者多个不相连的部分。系统包含前端和后端两部分。用户通过系统前端载入待处理的图数据，且用户可针对此数据添加布局约束，然后系统前端将这些数据与可能带有的约束传输至系统后端。系统后端解析布局约束并基于预训练模型生成图可视化布局，并将生成的数据传输至前端，前端根据这些数据展示图可视化布局结果。整个系统根据用户提供的约束自动生成图可视化布局形式，并且保证生成的布局结果与用户的约束相匹配以及输出图布局结果的多样性，从而直接生成符合用户期望的图可视化结果，降低了用户探索不同图可视化形式的难度。
[0005] 为实现上述目的，本发明面向节点链接图可视化生成所采用的技术方案为：
[0006] 基于深度扩展模型的图可视化可控布局交互式生成方法，包括以下八个步骤：(1)图数据增强；(2)图布局模型结构设计；(3)图布局模型预训练；(4)用户通过系统前端上传JSON格式的图数据；(5)用户通过系统前端交互构建期望布局约束；(6)系统后端解析布局约束并基于预训练模型生成图可视化布局；(7)系统前端展示图可视化布局结果并支持用户探索不同模型的输出；(8)用户迭代创建布局约束构建数据流式可视探索流程。
[0007] 具体的：
[0008] (1)图数据增强；
[0009] 图数据增强涉及节点特征的增强以及图结构的增强。其中节点特征的增强对于生成非属性图的布局至关重要。由于图形布局在很大程度上依赖于图形的拓扑结构，节点编码方法的选择必须准确地表示图的拓扑特征，因此本发明采用拉普拉斯位置编码方法作为初始节点特征。拉普拉斯位置编码是一种谱技术，将拓扑图嵌入欧几里得空间中，节点编码结果结合了位置和结构信息，建立了有意义的局部坐标系，同时保留了全局图形结构。在图中远离的节点具有不同的编码，而靠近的节点应具有相似的编码。拉普拉斯位置编码L通过对图拉普拉斯矩阵进行因子分解而定义:
[0010]
[0011] 这里I是N×N的单位矩阵，D是节点度矩阵，A表示邻接矩阵，Λ和U分别表示特征值和特征向量。本发明将k个最小的非平凡特征向量用作初始节点特征，k是一个超参数。特征向量编码了相邻节点的平滑位置坐标，使节点能够在消息传递过程中有效捕获其感知域内的结构信息，从而帮助模型更好的获取节点与节点间的拓扑关系。
[0012] 此外，本发明对原始图拓扑结构进行增强来提高节点间的消息传递效率。图结构增强涉及在节点之间建立连接，分为三种类型：原始边、局部边和全局边。
[0013] (a)原始边表示来自原始图的边，保留了给定图中的固有连接，直接反映其拓扑结构。
[0014] (b)局部边作为原始图拓扑的扩展将每个节点连接到其n阶邻居，扩展了节点的感知范围帮助模型有效生成每个节点周围的局部结构，其中n通过网格搜索的超参数调整确定。
[0015] (c)原始边和局部边都来源于原始图的拓扑结构，促进了在拓扑上相邻的节点之间的信息交换，然而在图布局中每个节点处于二维空间中的不同位置，物理位置接近的节点可以显著影响图形布局，但它们可能存在相当大的拓扑距离，限制了其信息的交流。因此本发明引入了全局边用于动态连接距离阈值τ范围内的节点，半径截止值根据布局的具体尺度确定。全局边有助于更一致和全面的全局结构。
[0016] (2)面向图布局的深度扩散模型结构设计
[0017] 基于扩散模型设计了针对节点链接图生成模型主要包括两个过程：正向过程和逆向过程。本发明将图形布局定义为二维空间中由多个节点和边组成的系统。正向过程涉及将该系统从平衡状态转变为混乱状态，而逆向过程从混乱状态优化系统以恢复到平衡状态。平衡状态表示一个井然有序的布局，而混乱状态表示一个混乱和嘈杂的布局。本发明定义X0为平衡状态的图布局。Xt混乱状态的图布局(t＝1，...，T)，其中t表示扩散步骤的索引。模型的总体目标是学习如何从XT中恢复X0。对于给定的图G，正向过程逐渐引入轻微的高斯噪声(从标准高斯分布中采样)到布局X0中。通过若干步扰动，它被转化为完全嘈杂的布局XT，同时确保XT遵循先验分布N(0，1)。在每一步中，信噪比由固定的方差模式β1，…，βT决定。
本发明将正向过程表示为一个马尔可夫链：
[0018]
[0019] 即对于给定的图G，状态Xt在前一状态Xt‑1的条件下，服从一个高斯分布其中 表示高斯分布的均值，βtI表示协方差矩阵，其中I为单位矩阵；
[0020] 对于t个独立同分布的高斯噪声N(μ，σ2)，其叠加后依旧是一个高斯噪音；为了简化这个过程，本发明定义αt＝1‑βt和 这使本发明能够在任意时间步t中给定X0采样Xt:
[0021]
[0022] 即对于给定的图G，状态Xt在初始状态X0的条件下，服从一个高斯分布这意味着对于图G的任何状态Xt，都可以在初始状态X0上添加对应的高斯
噪音 获得；
[0023] 逆向过程是一个迭代优化过程，从先验分布N(0，1)中采样一个完全嘈杂的布局XT；这个过程涉及T个去噪步骤，逐渐将布局系统从混乱状态优化到平衡状态。逆向过程也是一个马尔可夫链：
[0024]
[0025] 即对于给定的图G，状态Xt‑1在状态Xt的条件下，服从一个高斯分布
[0026] 其中，μθ是用于估计分布均值的函数，σt2表示任意方差。μθ的计算方式如下：
[0027]
[0028] ∈θ是可训练函数用来预测布局Xt上的噪音，也是本发明模型的训练目标：
[0029]
[0030] 该函数为一个损失函数，用于衡量在第t步时预测得到的噪音∈θ与真实噪音∈之间的差异；通过最小化这个损失函数，能够训练出一个准确预测未来噪音∈θ的模型；
[0031] 对于图形布局生成任务，确保图形布局在旋转和平移下的不变性至关重要。因此，函数∈θ必须保证旋转和平移的不变性。本发明采用等变图神经网络来参数化∈θ。等变图神经网络由多层等变卷积层组成：
[0032]
[0033] 第一公式代表等变图神经网络中的消息传递机制：每个节点i向它的邻居节点j发送消息mij。消息的内容包括节点i和j当前层的隐藏状态 和 它们之间的距离平方 以及边特征eij。φe是一个全连接的神经网络，用于聚合边的端点嵌入和节点距离；
[0034] 第二个公式表示等变图神经网络更新节点的隐藏状态的机制：节点i的下一层数字状态 是通过对来自所有邻居的消息求和之后，再通过一个全连接的神经网络φh更新得到。这里N(i)表示节点i的邻居集合；
[0035] 第三个公式表示等变图神经网络更新节点的坐标的机制：节点i的下一层数字坐标 是通过当前坐标 加上一个修正项得到的。修正项考虑到了节点间相对位置的信息以及更新后的隐藏状态。φx是一个全连接的神经网络，负责将更新的端点嵌入以及边嵌入投影到二维空间中；
[0036] 其中：l是层的索引；hl表示节点嵌入向量，初始值从拉普拉斯特征向量位置编码中获得；xl对应于节点坐标， 量化了节点i和节点j之间的欧几里德距离；eij表示边的类型，包括原始、局部和全局边；N(i)表示节点i的邻域；φe是一个全连接的神经网络，用于聚合边的端点嵌入和节点距离；φh通过利用邻居节点的信息来更新节点嵌入，并使用图同构神经网络进行参数化；由于节点坐标通过不变特征的加权差xi‑xj更新，∈θ确保了图布局的旋转和平移不变性。
[0037] 此外，为了减轻模型的布局负担，本发明确保整体布局的位置在二维空间内保持相对稳定，将X0布局的质心变换至原点得到布局 质心表示布局中所有节点位置的加权平均值，具体变换操作如下：
[0038]
[0039] (3)面向图布局的深度扩散模型预训练
[0040] 对于图布局模型的预训练，本发明收集了若干图的布局结果，包括不同种类的图以及同一个图使用不同的布局算法得到的布局结果。在训练过程中，本发明选择一个随机的时间步t，向平衡状态的图布局X0添加从先验分布N(0，1)中采样的噪声∈，信噪比由t和预定义的方差模式β1，…，βT决定，扰动得到混乱态的布局Xt。接着，将扰动后的布局Xt输入到去噪网络∈θ中，并使用∈作为监督信号训练网络预测布局噪音的能力。当∈θ能够准确预测Xt上的噪音时，模型就可以通过上述定义的逆向过程将混乱态的图布局恢复为平衡态的高质量图布局。
[0041] (4)用户通过系统前端上传JSON格式的图数据；
[0042] 用户通过系统前端加载并向系统后端上传JSON格式的图数据，系统后端接受后自动对数据进行解析，并对原有的图数据进行增强，丰富图中的节点属性，增强图的拓扑结构。系统将使用预训练模型为上传的图数据生成一个没有任何约束的初始布局。模型的输出结果会自动在系统中进行可视化。
[0043] (5)用户通过系统前端交互构建期望布局约束；
[0044] 本系统支持用户根据其对图布局的期望快速构建布局约束来引导图布局的生成，用户在系统前端可视化结果中选择特定的节点移动到他们期望的位置，或者通过框选和拖动来集体移动多个节点。系统控制面板为用户针对此图添加的期望布局约束约束信息。为了帮助用户高效的构建图布局约束，系统前端提供了四种常见的交互操作：水平翻转、垂直翻转、缩放、旋转，以及四种常用的布局模式将选定的节点排列成相应的形状：直线、螺旋、圆形和正多边形。通过构建布局约束，用户可以控制图布局生成过程，引导模型生成与布局约束相适配的布局结果，从而生成符合用户期望的图布局可视化形式。
[0045] (6)系统后端解析布局约束并基于预训练模型生成图可视化布局；
[0046] 系统后端将用户在步骤(5)中构建的布局约束解析为模型可接受的输入并将其融合到布局生成过程中的每一步。在步骤(2)中的逆向过程中的每一个时间步t中，本发明将用户提供的约束与模型的生成结果合并。考虑到图形布局的旋转和平移不变性，布局约束和模型生成结果通常在二维空间中的整体位置存在偏差。为了促进布局约束和模型生成结果间的有效协调，本发明在每个时间步t进行重采样，通过 将Xt‑1退回到Xt，该过程重复执行n次，以保证模型能够将布局约束和生成结果对齐。通过有约束的生成过程，模型实现将用户布局约束无缝地融入到模型生成结果中。
[0047] (7)系统前端展示图可视化布局结果并支持用户探索不同模型的输出；
[0048] 系统前端可视化模块将系统后端模型生成的图布局结果进行可视化。系统的可视化部分基于可视化工具包D3完成。图可视化形式绘制结果可以根据窗口大小自动调整。将图可视化形式显示在电脑屏幕之后，用户可以与图可视化形式进行交互，对可视化结果进行旋转、缩放或者交互刷选一部分数据进行细节的查看，从而探索该图布局结果。同时用户可以选择不同数据集得到的预训练模型以及调整布局超参数来探索不同模型的图布局结果。
[0049] (8)用户迭代创建布局约束构建数据流式可视探索流程；
[0050] 系统支持用户迭代创建布局约束构建数据流式可视探索流程。系统借鉴了经典的数据流模型，用户在数据流的每一个模块中按照步骤(5)定义布局约束，系统基于提供的约束生成图布局结果，布局结果作为下一个模块的输入。当一个模块中的数据更新后，与其连接的所有后续模块输入和输出都将被自动更新。同时，为了支持图布局约束的复用，系统也提供了模块复制功能，用户可以复制数据流中的部分模块，复制后的子数据流的输入由新的连接关系决定。用户可以迭代创建布局约束调整图布局结果，直到得到符合自己需求的图布局可视化形式。
[0051] 本发明的有益效果在于：
[0052] 本发明提供的方法支持用户交互构建布局约束引导图可视化生成过程，进而直接得到符合用户期望的图可视化布局形式。在预训练图布局模型的基础上，系统引入了交互式布局约束构建方法和数据流模型实现了一个完整的探索式图可视化形式生成系统，支持用户根据需求对图可视化形式进行高效的生成。
[0053] 具体地，本发明的效果包括：
[0054] 具备节点链接图可视化形式生成的能力：上述步骤(2)(3)设计并预训练基于扩散模型的图可视化生成模型，支持对图数据生成合适的节点链接可视化布局形式。
[0055] 支持用户引导图布局生成过程，降低得到期望布局的难度：上述步骤(5)支持用户构建反映其期望的布局约束，步骤(6)根据用户提供的布局约束生成与之适配的布局结果。该生成过程不需要用户去筛选布局结果、不要求用户具有编程基础，因此方法具有较低的学习曲线。
法律保护范围
涉及权利要求数量9：其中独权1项，从权-1项
1.基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，包括以下八个步骤：(1)图数据增强；(2)图布局模型结构设计；(3)图布局模型预训练；(4)用户通过系统前端上传JSON格式的图数据；(5)用户通过系统前端交互构建期望布局约束；(6)系统后端解析布局约束并基于预训练模型生成图可视化布局；(7)系统前端展示图可视化布局结果并支持用户探索不同模型的输出；(8)用户迭代创建布局约束构建数据流式可视探索流程。
2.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(1)具体方法为：
图数据增强涉及节点特征的增强以及图结构的增强；采用拉普拉斯位置编码方法作为初始节点特征；拉普拉斯位置编码L通过对图拉普拉斯矩阵进行因子分解而定义：
这里，是N×N的单位矩阵，D是节点度矩阵，A表示邻接矩阵，Λ和U分别表示特征值和特征向量；将k个最小的非平凡特征向量用作初始节点特征，k是一个超参数；
对原始图拓扑结构进行增强来提高节点间的消息传递效率；图结构增强涉及在节点之间建立连接，分为三种类型：原始边、局部边和全局边；
(a)原始边表示来自原始图的边，保留了给定图中的固有连接，直接反映其拓扑结构；
(b)局部边作为原始图拓扑的扩展将每个节点连接到其n阶邻居，扩展了节点的感知范围帮助模型有效生成每个节点周围的局部结构，其中n通过网格搜索的超参数调整确定；
(c)全局边用于动态连接距离阈值τ范围内的节点，半径截止值根据布局的具体尺度确定。
3.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(2)具体方法为：
针对节点链接图生成模型包括两个过程：正向过程和逆向过程；
将图形布局定义为二维空间中由多个节点和边组成的系统；正向过程涉及将该系统从平衡状态转变为混乱状态，而逆向过程从混乱状态优化系统以恢复到平衡状态；平衡状态表示一个井然有序的布局，而混乱状态表示一个混乱和嘈杂的布局；定义Xo为平衡状态的图布局；Xt混乱状态的图布局(t＝1，…，T)，其中t表示扩散步骤的索引；模型的总体目标是学习如何从XT中恢复Xo；对于给定的图G，正向过程逐渐引入轻微的高斯噪声到布局Xo中；通过若干步扰动，它被转化为完全嘈杂的布局XT，同时确保XT遵循先验分布N(0，1)；在每一步中，信噪比由固定的方差模式β1，…，βT决定；将正向过程表示为一个马尔可夫链：
即对于给定的图G，状态Xt在前一状态Xt‑1的条件下，服从一个高斯分布
其中 表示高斯分布的均值，βtI表示协方差矩阵，其中，
为单位矩阵；
2
对于t个独立同分布的高斯噪声N(μ，σ)，其叠加后依旧是一个高斯噪音；因此，定义αt＝1‑βt和 则能够在任意时间步t中给定Xo采样Xt：
即对于给定的图G，状态Xt在初始状态X0的条件下，服从一个高斯分布
这意味着对于图G的任何状态Xt，都可以在初始状态X0上添加对应的高斯噪音
获得；
逆向过程是一个迭代优化过程，从先验分布N(0，1)中采样一个完全嘈杂的布局XT；这个过程涉及T个去噪步骤，逐渐将布局系统从混乱状态优化到平衡状态；逆向过程也是一个马尔可夫链：
即对于给定Xt‑1的图G，状态在状态Xt的条件下，服从一个高斯分布 其
中，μθ是用于估计分布均值的函数， 表示任意方差；μθ的计算方式如下：
∈θ是可训练函数用来预测布局Xt上的噪音，也是训练目标：
该函数为一个损失函数，用于衡量在第t步时预测得到的噪音∈θ与真实噪音∈之间的差异；通过最小化这个损失函数，能够训练出一个准确预测未来噪音∈θ的模型；
采用等变图神经网络来参数化∈θ；等变图神经网络由多层等变卷积层组成：
第一公式代表等变图神经网络中的消息传递机制：每个节点i向它的邻居节点j发送消息mij；消息的内容包括节点i和j当前层的隐藏状态 和 它们之间的距离平方 以及边特征eij；φe是一个全连接的神经网络，用于聚合边的端点嵌入和节点距离；
第二个公式表示等变图神经网络更新节点的隐藏状态的机制：节点i的下一层数字状态 是通过对来自所有邻居的消息求和之后，再通过一个全连接的神经网络φh更新得到；这里N(i)表示节点i的邻居集合；
第三个公式表示等变图神经网络更新节点的坐标的机制：节点i的下一层数字坐标是通过当前坐标 加上一个修正项得到的；修正项考虑到了节点间相对位置的信息以及更新后的隐藏状态；φx是一个全连接的神经网络，负责将更新的端点嵌入以及边嵌入投影到二维空间中；
其中：l是层的索引；hl表示节点嵌入向量，初始值从拉普拉斯特征向量位置编码中获得；xl对应于节点坐标， 量化了节点i和节点j之间的欧几里德距离；eij表示边的类型，包括原始、局部和全局边；N(i)表示节点i的邻域；φe是一个全连接的神经网络，用于聚合边的端点嵌入和节点距离；φh通过利用邻居节点的信息来更新节点嵌入，并使用图同构神经网络进行参数化；由于节点坐标通过不变特征的加权差xi‑xj更新，∈θ确保了图布局的旋转和平移不变性；
将Xo布局的质心变换至原点得到图布局 质心表示布局中所有节点位置的加权平均值，具体变换操作如下：
4.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(3)具体方法为：
对于图布局模型的预训练，收集若干图的布局结果，包括不同种类的图以及同一个图使用不同的布局算法得到的布局结果；在训练过程中，选择一个随机的时间步t，向平衡状态的图布局X0添加从先验分布N(0，1)中采样的噪声∈，信噪比由t和预定义的方差模式β1，…，βT决定，扰动得到混乱态的布局Xt；接着，将扰动后的布局Xt输入到去噪网络∈θ中，并使用∈作为监督信号训练网络预测布局噪音的能力；当∈θ能够准确预测Xt上的噪音时，模型通过定义的逆向过程将混乱态的图布局恢复为平衡态的高质量图布局。
5.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(4)具体方法为：
用户通过系统前端加载并向系统后端上传JSON格式的图数据，系统后端接受后自动对数据进行解析，并对原有的图数据进行增强，丰富图中的节点属性，增强图的拓扑结构；系统将使用预训练模型为上传的图数据生成一个没有任何约束的初始布局；模型的输出结果会自动在系统中进行可视化。
6.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(5)具体方法为：
支持用户根据其对图布局的期望快速构建布局约束来引导图布局的生成，用户在系统前端可视化结果中选择特定的节点移动到他们期望的位置，或者通过框选和拖动来集体移动多个节点；系统控制面板为用户针对此图添加的期望布局约束约束信息；为了帮助用户高效的构建图布局约束，系统前端提供了四种常见的交互操作：水平翻转、垂直翻转、缩放、旋转，以及四种常用的布局模式将选定的节点排列成相应的形状：直线、螺旋、圆形和正多边形；通过构建布局约束，用户控制图布局生成过程，引导模型生成与布局约束相适配的布局结果，从而生成符合用户期望的图布局可视化形式。
7.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(6)具体方法为：
系统后端将用户在步骤(5)中构建的布局约束解析为模型可接受的输入并将其融合到布局生成过程中的每一步；在步骤(2)中的逆向过程中的每一个时间步t中，将用户提供的约束与模型的生成结果合并；考虑到图形布局的旋转和平移不变性，布局约束和模型生成结果在二维空间中的整体位置存在偏差；为了促进布局约束和模型生成结果间的有效协调，在每个时间步t进行重采样，通过 将Xt‑1退回到Xt，该过程重复执
行n次，以保证模型能够将布局约束和生成结果对齐；通过有约束的生成过程，模型实现将用户布局约束无缝地融入到模型生成结果中。
8.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(7)具体方法为：
系统前端可视化模块将系统后端模型生成的图布局结果进行可视化；系统的可视化部分基于可视化工具包D3完成；图可视化形式绘制结果根据窗口大小自动调整；将图可视化形式显示在电脑屏幕之后，用户与图可视化形式进行交互，对可视化结果进行旋转、缩放或者交互刷选一部分数据进行细节的查看，从而探索该图布局结果；同时用户选择不同数据集得到的预训练模型以及调整布局超参数来探索不同模型的图布局结果。
9.根据权利要求1所述的基于深度扩展模型的图可视化可控布局交互式生成方法，其特征在于，步骤(8)具体方法为：
系统支持用户迭代创建布局约束构建数据流式可视探索流程；系统借鉴经典的数据流模型，用户在数据流的每一个模块中按照步骤(5)定义布局约束，系统基于提供的约束生成图布局结果，布局结果作为下一个模块的输入；当一个模块中的数据更新后，与其连接的所有后续模块输入和输出都将被自动更新；同时，为了支持图布局约束的复用，系统也提供模块复制功能，用户能够复制数据流中的部分模块，复制后的子数据流的输入由新的连接关系决定；用户能够迭代创建布局约束调整图布局结果，直到得到符合自己需求的图布局可视化形式。
