首页 / 优化方法及系统

优化方法及系统实质审查 发明

具体技术细节

[0004] 本发明的主要目的在于提供一种优化方法及系统,旨在解决现有技术对处理器优化的效果较差的技术问题。
[0005] 为实现上述目的,本发明提供了一种优化方法,所述方法包括以下步骤:
[0006] 计算任务在不同阶段的时间权重占比;
[0007] 根据所述时间权重占比计算任务基于全局进度和局部进度的运行时间;
[0008] 根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化。
[0009] 可选地,所述计算任务在不同阶段的时间权重占比,包括:
[0010] 获取任务数据集合,并对所述任务数据集合进行遍历,得到核心点;
[0011] 将所述核心点进行聚类,得到核心点簇族;
[0012] 根据所述核心点簇族计算返回任务数据集合中各个点的平均值,并将所述平均值作为对应任务在不同阶段的时间权重占比。
[0013] 可选地,所述根据所述时间权重占比计算任务基于全局进度和局部进度的运行时间,包括:
[0014] 根据所述时间权重占比计算任务实际进度信息;
[0015] 获取任务消耗时间;
[0016] 通过所述任务实际进度信息和所述任务消耗时间计算任务的平均速度;
[0017] 通过所述平均速度得到任务基于全局进度和局部进度的运行时间。
[0018] 可选地,所述根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化之后,还包括:
[0019] 获取载入到预设存储库中的数组;
[0020] 将所述数组分割到各个节点的系统实例上,得到子数组数据,并接收各个节点通过自身的引擎对所述子数组数据中的子数组进行组块分割后的组块信息。
[0021] 可选地,所述将所述数组分割到各个节点的系统实例上,得到子数组数据,并接收各个节点通过自身的引擎对所述子数组数据中的子数组进行组块分割后的组块信息之后,还包括:
[0022] 根据载入到预设存储库中的数据总量计算磁盘每个柱面的容量信息;
[0023] 根据所述容量信息得到系统中读写单元容量;
[0024] 根据所述读写单元容量得到初始组块总数;
[0025] 根据载入到预设存储库中的数组得到每个维度的长度比值,并根据所述每个维度的长度比值得到组块中每条边长的比值,得到组块的维度长度,对组块进行分割优化。
[0026] 可选地,所述根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化之后,还包括:
[0027] 获取云端节点中集群的各个节点的系统信息;
[0028] 根据所述系统信息得到监控日志;
[0029] 根据所述监控日志进行系统调优和优化分析。
[0030] 可选地,所述根据所述监控日志进行系统调优和优化分析,包括:
[0031] 根据所述监控日志得到云平台的计算资源;
[0032] 确定所述计算资源是否达到扩容阈值;
[0033] 在所述计算资源未达到所述扩容阈值时,在系统中的容器运行完成第一计算任务后,控制容器串行运行第二计算任务,完成系统调优和优化分析。
[0034] 可选地,所述计算任务在不同阶段的时间权重占比之前,还包括:
[0035] 获取用户的访问需求;
[0036] 根据所述访问需求得到任务信息;
[0037] 对所述任务信息进行分析,确定任务类型;
[0038] 根据所述任务类型对任务进行弹性扩展,得到任务的存储信息。
[0039] 可选地,所述根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化之后,还包括:
[0040] 获取用户上传的科学数据;
[0041] 将所述科学数据分布式存储在集群的节点上;
[0042] 通过数据分析引擎对所述科学数据进行分析,得到用户输入的任务信息。
[0043] 此外,为实现上述目的,本发明还提出一种优化系统,所述优化系统包括云端大数据模块、数据存储模块、数据分析模块以及安全监控模块,所述云端大数据模块包括服务部署模块以及性能优化模块;
[0044] 所述云端大数据模块,用于根据用户的访问需求确定任务信息,并根据所述任务信息对任务进行优化;
[0045] 所述数据存储模块,用于将用户上传的数据分布式存储在集群的节点上;
[0046] 所述数据分析模块,用于对用户输入的数据进行分析;
[0047] 所述安全监控模块,用于获取系统信息,并通过所述系统信息进行系统调优和优化分析。
[0048] 本发明通过将优化方法应用于优化系统,方法包括计算任务在不同阶段的时间权重占比;根据所述时间权重占比计算任务基于全局进度和局部进度的运行时间;根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化,缩短任务完成时间,提高处理效率。

法律保护范围

涉及权利要求数量10:其中独权2项,从权-2项

1.一种优化方法,其特征在于,所述优化方法应用于优化系统,所述方法包括:
计算任务在不同阶段的时间权重占比;
根据所述时间权重占比计算任务基于全局进度和局部进度的运行时间;
根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化。
2.如权利要求1所述的优化方法,其特征在于,所述计算任务在不同阶段的时间权重占比,包括:
获取任务数据集合,并对所述任务数据集合进行遍历,得到核心点;
将所述核心点进行聚类,得到核心点簇族;
根据所述核心点簇族计算返回任务数据集合中各个点的平均值,并将所述平均值作为对应任务在不同阶段的时间权重占比。
3.如权利要求1所述的优化方法,其特征在于,所述根据所述时间权重占比计算任务基于全局进度和局部进度的运行时间,包括:
根据所述时间权重占比计算任务实际进度信息;
获取任务消耗时间;
通过所述任务实际进度信息和所述任务消耗时间计算任务的平均速度;
通过所述平均速度得到任务基于全局进度和局部进度的运行时间。
4.如权利要求1所述的优化方法,其特征在于,所述根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化之后,还包括:
获取载入到预设存储库中的数组;
将所述数组分割到各个节点的系统实例上,得到子数组数据,并接收各个节点通过自身的引擎对所述子数组数据中的子数组进行组块分割后的组块信息。
5.如权利要求4所述的优化方法,其特征在于,所述将所述数组分割到各个节点的系统实例上,得到子数组数据,并接收各个节点通过自身的引擎对所述子数组数据中的子数组进行组块分割后的组块信息之后,还包括:
根据载入到预设存储库中的数据总量计算磁盘每个柱面的容量信息;
根据所述容量信息得到系统中读写单元容量;
根据所述读写单元容量得到初始组块总数;
根据载入到预设存储库中的数组得到每个维度的长度比值,并根据所述每个维度的长度比值得到组块中每条边长的比值,得到组块的维度长度,对组块进行分割优化。
6.如权利要求1所述的优化方法,其特征在于,所述根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化之后,还包括:
获取云端节点中集群的各个节点的系统信息;
根据所述系统信息得到监控日志;
根据所述监控日志进行系统调优和优化分析。
7.如权利要求6所述的优化方法,其特征在于,所述根据所述监控日志进行系统调优和优化分析,包括:
根据所述监控日志得到云平台的计算资源;
确定所述计算资源是否达到扩容阈值;
在所述计算资源未达到所述扩容阈值时,在系统中的容器运行完成第一计算任务后,控制容器串行运行第二计算任务,完成系统调优和优化分析。
8.如权利要求1至7中任一项所述的优化方法,其特征在于,所述计算任务在不同阶段的时间权重占比之前,还包括:
获取用户的访问需求;
根据所述访问需求得到任务信息;
对所述任务信息进行分析,确定任务类型;
根据所述任务类型对任务进行弹性扩展,得到任务的存储信息。
9.如权利要求1至7中任一项所述的优化方法,其特征在于,所述根据任务基于全局进度和局部进度的运行时间规划任务在各个节点的执行策略,进行任务优化之后,还包括:
获取用户上传的科学数据;
将所述科学数据分布式存储在集群的节点上;
通过数据分析引擎对所述科学数据进行分析,得到用户输入的任务信息。
10.一种优化系统,其特征在于,所述优化系统包括:云端大数据模块、数据存储模块、数据分析模块以及安全监控模块,所述云端大数据模块包括服务部署模块以及性能优化模块;
所述云端大数据模块,用于根据用户的访问需求确定任务信息,并根据所述任务信息对任务进行优化;
所述数据存储模块,用于将用户上传的数据分布式存储在集群的节点上;
所述数据分析模块,用于对用户输入的数据进行分析;
所述安全监控模块,用于获取系统信息,并通过所述系统信息进行系统调优和优化分析。

当前第2页 第1页 第2页 第3页
相关技术
方法系统相关技术
张愚发明人的其他相关专利技术