[0001] 本公开涉及大数据技术领域，更具体地涉及一种碎片管理方法、装置、设备、介质和程序产品。

[0002] 金融行业的大数据平台通常选用分布式并行结构化数据库集群作为数据仓库的核心技术。在分布式数据库中，数据的删除、更新、插入等操作常常会导数据存储变得不连续，形成包含碎片的数据表。大量的碎片表会降低数据库集群的性能，相关技术中，通过手动定期回收（Vacuum）或定期自动回收（AutoVacuum）对碎片表进行定期整理。

[0003] 在实现本公开构思的过程中，相关技术中至少存在如下问题：相关技术中的碎片整理操作可能会占用大量系统资源，影响业务执行，尤其是在业务高峰期进行时，会阻断其他业务操作，导致业务处理延迟、系统处理性能降低。

[0027] 以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。

[0028] 在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。

[0029] 在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。

[0030] 在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。

[0031] 在本公开的技术方案中，所涉及的数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理，均遵守相关法律法规和标准，采取了必要保密措施，不违背公序良俗，并提供有相应的操作入口，供用户选择授权或者拒绝。

[0032] 在利用个人信息进行自动化决策的场景下，本公开实施例提供的方法、设备和系统均为用户提供相应的操作入口，供用户选择同意或者拒绝自动化决策结果；若用户选择拒绝，则进入专家决策流程。此处的表述“自动化决策”是指通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动。此处的表述“专家决策”是指专门从事某一领域的工作、具有专门的经验、知识和技能并达到一定的专业水平的人员进行决策的活动。

[0033] 金融行业的大数据平台通常选用分布式并行结构化数据库集群作为数据仓库的核心技术，以承载海量的金融信息。这类数据库特别适用于处理大规模数据加工和支持数据分析师进行高效的数据查询。为了优化资源利用和性能，数据加工作业通常在夜间执行，利用低峰时段进行大量的数据更新、删除和插入操作，而数据查询主要在日间进行。

[0034] 在分布式数据库中，碎片表（Fragmented Tables）是指数据存储和使用过程中产生的碎片化数据表。这种碎片化通常由以下几个因素引起：（1）数据删除操作：当从表中删除数据时，被删除数据所占用的空间往往不会立即回收，导致数据存储变得不连续，形成碎片；（2）数据更新操作：在某些情况下，数据更新操作可能会导致旧数据被标记为无效，同时新数据被写入到表的其他位置，进一步增加碎片；（3）数据插入操作：如果数据插入不是顺序进行的，或者分布式环境下各节点数据分配不均，也可能产生碎片。

[0035] 大数据批量加工和分析挖掘并行应用的场景下，大量的碎片表对分布式数据库集群的运行有以下负面影响：（1）降低查询效率：碎片化导致数据不连续，查询时可能需要跨多个碎片读取数据，增加了I/O操作，从而降低查询效率。（2）增加存储空间的额外占用：碎片化意味着存在大量未被有效利用的空间，增加了存储空间的额外占用需求。（3）影响数据加载和导出性能：碎片化可能导致数据加载和导出操作的性能下降，特别是在处理大量数据时。

[0036] 通常解决分布式数据库中碎片表的方法包括：（1）手动定期回收（Vacuum）：通过定期执行维护任务，通过数据库的碎片整理机制回收空间。对于分布式数据库，一般采用Vacuum Full机制实现，Vacuum Full通过创建表的一个全新拷贝来消除碎片，这个过程中会临时需要更多的磁盘空间。完成后，旧的表数据会被删除。这种方法虽然有效，但因为需要大量的I/O操作和额外空间，以及高锁定成本。（2）定期自动回收（AutoVacuum）：为了减少手动维护的需要并实现更高效的空间回收，一般分布式数据库通过AutoVacuum机制实现。AutoVacuum机制是一个自动后台进程，能够监控数据库表的活动，如插入、更新和删除操作，并在碎片达到一定程度时自动执行碎片整理。与Vacuum Full不同，AutoVacuum不会重写整个表，而是只回收无用的空间，因此对数据库的影响较小，不会锁定表，允许在数据库运行时自动进行。

[0037] 尽管上述方法在理论上能够应对碎片化问题，但在实际运营中，金融大数据平台面临以下挑战：

[0038] （1）时间分界不严格：由于数据加工批量作业的不确定性，如上游数据延迟、系统维护等问题，批量作业和数据查询活动时常交叉运行，导致无法在理想的时间窗口内完成所有碎片整理任务。

[0039] （2）碎片整理对业务的影响：执行Vacuum Full时，数据表的排他锁会阻断其他业务操作，这在日间分析师工作时尤为突出，可能导致业务分析延迟，影响决策的时效性。在高并发的数据库环境中，过度使用Vacuum Full可能会导致性能瓶颈，增加等待时间，甚至引起业务批量报错或查询业务投诉。

[0040] （3）AutoVacuum的局限性：虽然AutoVacuum能够自动化地进行碎片整理，减少对数据库性能的直接影响，但它基于数据库统计信息触发，缺乏对业务优先级的理解，无法精确控制碎片整理的最佳时机。特别是在处理常用的业务表、超大数据量表时，AutoVacuum的机制可能不足以满足金融数据分析查询的高要求。且由于AutoVaccum作为数据库的后台进程，对系统资源有一定的占用，在MPP分布式数据库集群规模极庞大，表数量众多，业务满负荷运转时，AutoVaccum的额外资源占用可能引起CPU、I/O等资源使用超限，进而导致业务中断。

[0041] （4）缺乏业务角度的优化：现有的碎片整理机制没有集中考虑表的使用频率、数据量大小、业务重要性等因素，导致无法针对性地优化最需要整理的表，进而影响整体数据库性能和业务的运行效率。

[0042] 综上所述，尽管分布式数据库提供了强大的数据管理能力，现有的碎片整理机制在金融大数据分析查询场景下仍然存在诸多不足，需要更智能、更灵活的解决方案来满足金融行业对业务处理性能和业务处理时效性的严格要求。

[0043] 本公开的实施例提供了一种碎片管理方法，根据数据库集群中每个数据库服务器的负载信息、和每个数据库中多个数据表各自的表日志信息，确定多个数据表各自的时间序列数据，其中，时间序列数据包括表调用频率序列、碎片率序列、空间使用率序列和运行参数序列，数据库服务器上运行有一个或多个数据库；将各个时间序列数据分别输入预测模型中，分别输出多个数据表各自的预测时间数据；根据多个数据表各自的预测时间数据，从多个数据表中确定至少一个目标数据表；对于每个目标数据表，根据目标数据表的表日志信息和预测时间数据，创建碎片整理任务，其中，碎片整理任务用于对目标数据表中的碎片进行整理；向作业调度子系统提交碎片整理任务；响应于接收到所述作业调度子系统发送的碎片整理请求，对所述目标数据表进行碎片整理。

[0044] 图1示意性示出了根据本公开实施例的碎片管理方法的应用场景图。

[0045] 如图1所示，根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104和服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

[0046] 用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等（仅为示例）。

[0047] 第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

[0048] 服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。

[0049] 需要说明的是，本公开实施例所提供的碎片管理方法一般可以由服务器105执行。相应地，本公开实施例所提供的碎片管理装置一般可以设置于服务器105中。本公开实施例所提供的碎片管理方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的碎片管理装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。

[0050] 应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

[0051] 以下将基于图1描述的场景，通过图2 图3对公开实施例的碎片管理方法进行详细~描述。

[0052] 图2示意性示出了根据本公开实施例的碎片管理方法的流程图。

[0053] 如图2所示，该实施例的碎片管理方法包括操作S210 操作S260。~

[0054] 在操作S210，根据数据库集群中每个数据库服务器的负载信息、和每个数据库中多个数据表各自的表日志信息，确定多个数据表各自的时间序列数据。

[0055] 时间序列数据包括表调用频率序列、碎片率序列、空间使用率序列和运行参数序列，数据库服务器上运行有一个或多个数据库。

[0056] 在操作S220，将各个时间序列数据分别输入预测模型中，分别输出多个数据表各自的预测时间数据。

[0057] 在操作S230，根据多个数据表各自的预测时间数据，从多个数据表中确定至少一个目标数据表。

[0058] 在操作S240，对于每个目标数据表，根据目标数据表的表日志信息和预测时间数据，创建碎片整理任务，其中，碎片整理任务用于对目标数据表中的碎片进行整理。

[0059] 在操作S250，向作业调度子系统提交碎片整理任务。

[0060] 在操作S260，响应于接收到作业调度子系统发送的碎片整理请求，对目标数据表进行碎片整理。

[0061] 根据本公开的实施例，数据库集群包括一个或多个数据库服务器，数据库服务器是运行数据库的物理或虚拟机器，数据库服务器上运行有一个或多个数据库。数据库服务器的负载信息为用于衡量数据库服务器的性能和资源使用情况的信息，例如，磁盘的输入输出效率等。表日志信息是对数据表进行的所有操作产生的记录，表日志信息可以包括对数据表执行的多个操作以及各个操作的时间戳。

[0062] 根据本公开的实施例，时间序列数据多个时间点的数据构成的序列，时间序列数据包括表调用频率序列、碎片率序列、空间使用率序列和运行参数序列，其中，表调用频率序列可以为各个时间点数据表的使用频率；碎片率序列可以为各个时间点数据表的碎片率；空间使用率序列可以为各个时间点数据表的存储空间使用率；运行参数序列可以为数据表所在数据库服务器在各个时间点的性能参数。

[0063] 根据本公开的实施例，以数据表为单位，将数据表所在的数据库服务器的负载信息作为数据表的负载信息，根据数据库集群中每个数据库服务器的负载信息、和每个数据库中多个数据表各自的表日志信息，确定多个数据表各自的时间序列数据。

[0064] 根据本公开的实施例，预测模型用于对输入的时间序列数据进行分析，以确定多个数据表进行碎片整理的开始时间。预测时间数据表征数据表进行碎片整理的开始时间，在预测时间数据对数据表进行整理，不仅可以有效减少碎片对数据库性能的影响，还能确保碎片整理过程对正在运行的业务干扰最小。

[0065] 根据本公开的实施例，由于数据表碎片率、空间使用率，碎片率、空间使用率的变化趋势，以及数据表所在数据库服务器性能的变化，可以反应数据表需要进行碎片整理的紧急程度，表调用频率序列和运行参数序列可以反应数据表的使用情况，以及数据表所在数据库服务器的繁忙程度。因此，可以利用长短期记忆网络学习表调用频率序列、碎片率序列、空间使用率序列和运行参数序列，与预测时间数据之间的映射关系，以得到可以根据数据表的使用模式和碎片化趋势，预测数据表的预测时间数据的预测模型。

[0066] 根据本公开的实施例，利用表调用频率序列、碎片率序列、空间使用率序列和运行参数序列作为预测模型的输入，不仅可以有效减少碎片对数据库性能的影响，还能降低碎片整理过程对正在运行的业务的干扰，实现数据库性能的持续优化和业务的稳定运行。

[0067] 根据本公开的实施例，考虑到数据库和业务环境是不断变化的，预测模型的准确性往往会随着预测时间数据的推移而降低，即预测模型难以基于当前确定的时间序列数据，准确预测时间较为滞后的预测时间数据。因此，根据多个数据表各自的预测时间数据，从多个数据表中确定至少一个目标数据表，以利用准确率较高的时间序列数据，执行后续的操作。

[0068] 根据本公开的实施例，根据多个数据表各自的预测时间数据，从多个数据表中选择预测时间数据在预设时间范围内的数据表作为目标数据表。

[0069] 根据本公开的实施例，根据多个数据表各自的预测时间数据，从多个数据表中确定至少一个目标数据表，还可以通过预设进行碎片整理的数据表数量实现，具体的，通过比较多个数据表各自的预测时间数据，选择预测时间数据距离当前时刻较近的预设数量的数据表，作为目标数据表。

[0070] 根据本公开的实施例，碎片整理任务用于向作业调度子系统提供碎片整理的目标数据表，和开始对目标数据表进行碎片整理的时间。根据目标数据表的表日志信息和预测时间数据，创建碎片整理任务，并向作业调度子系统发送碎片整理任务，以便于作业调度子系统基于预测时间数据发起碎片整理请求。

[0071] 根据本公开的实施例，碎片整理请用于请求碎片管理系统对碎片整理请求中包括的目标数据表进行碎片整理。在碎片管理系统接收到碎片整理请求的情况下，可以对目标数据表加锁，并创建与目标数据表对应的一个新数据表，将目标数据表中的数据拷贝到新数据表的连续存储空间中，利用新数据表替代目标数据表，从而完成碎片整理。在完成拷贝之后还可以删除目标数据表。

[0072] 根据本公开的实施例，根据数据库集群中每个数据库服务器的负载信息、和每个数据库中多个数据表各自的表日志信息，确定各个数据表各自的表调用频率序列、碎片率序列、空间使用率序列和运行参数序列，将上述时间序列数据输入预先训练的预测模型中，以确定各个数据表的预测时间数据，从而为各个数据表提供不影响业务运行且能有效降低碎片对数据库性能影响的碎片整理开始时间。由于预测时间数据与当前时间的时差越大，预测时间数据的准确性越低，因此，在多个数据表中确定的预测时间数据接近当前时刻的目标数据表，从而利用目标数据表的表日志信息和预测时间数据，创建向作业调度子系统发送的碎片整理任务，以便于作业调度子系统基于碎片整理任务中的预测时间数据向碎片管理系统发送碎片整理请求，对目标数据表进行碎片整理，这样不仅可以有效减少碎片对数据库性能的影响，还能减少碎片整理操作对正在运行的业务的影响，从而提高系统处理性能，降低业务处理延迟。

[0073] 图3示意性示出了根据本公开实施例的碎片管理方法的实施场景图。

[0074] 如图3所示，根据该实施例的实施场景可以包括数据库集群301_1、数据库集群301_2……数据库集群301_n、碎片管理系统302、作业调度子系统303_1、作业调度子系统
303_2……作业调度子系统303_n，其中，作业调度子系统303_1用于管理与其对应的数据库集群301_1；作业调度子系统303_n用于管理与其对应的数据库集群301_n。碎片管理系统
302可以与多个数据库集群建立连接，以对多个集群进行碎片管理。

[0075] 根据本公开的实施例，根据数据库集群中每个数据库服务器的负载信息、和每个数据库服务器中多个数据表各自的表日志信息确定多个数据表各自的时间序列数据，包括：对于每个数据表，根据表日志信息的表标识，确定数据表在预设历史时段的第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率；根据第一数据写入频率、第一数据删除频率和第一数据查询频率，计算数据表的初始调用频率；根据第一碎片率确定碎片率序列；根据第一空间使用率确定空间使用率序列；根据初始调用频率确定表调用频率序列。

[0076] 根据本公开的实施例，表日志信息中包括表标识，其中，表标识用于区别数据库中的数据表。利用表标识获取与表标识对应的数据表在预设历史时段的第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率。数据表在预设历史时段的第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率可以利用用于记录数据表信息的插件收集。

[0077] 根据本公开的实施例，预设历史时段可以是基于运维人员的工作经验设置的时间段，还可以是经过多次分析确定的可以满足对预测时间数据准确度要求的时间段。第一碎片率可以为插件在预设历史时间段收集的数据表的碎片率；第一空间使用率可以为插件在预设历史时间段收集的数据表的空间使用率。碎片率可以为（数据索引占用空间+数据表中空闲空间）/数据表总空间，空间使用率可以为（数据索引占用空间+数据占用空间）/数据表总空间。

[0078] 根据本公开的实施例，第一数据写入频率可以为对数据表执行写入操作的频率；第一数据删除频率对数据表执行删除操作的频率；第一数据查询频率对数据表执行查询操作的频率。通过对第一数据写入频率、第一数据删除频率和第一数据查询频率进行求和，确定数据表的初始调用频率。

[0079] 根据本公开的实施例，在预设历史时段的第一碎片率中，确定多个预设时间节点的第一碎片率，从而得到碎片率序列；在预设历史时段的第一空间使用率中，确定多个预设时间节点的第一空间使用率，从而得到空间使用率序列；在预设历史时段的始调用频率，确定多个预设时间节点的始调用频率率，从而得到表调用频率序列。

[0080] 根据本公开的实施例，通过表调用频率序列、碎片率序列、空间使用率序列丰富预测模型的输入，以提高预测模型的准确性，从而降低碎片整理操作对数据库中其他数据的影响，提高业务执行效率和业务系统的性能。

[0081] 根据本公开的实施例，根据表日志信息的表标识，确定数据表在预设历史时段的第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率包括：根据表日志信息的表标识，查询数据表的第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率和第二数据查询频率；对第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率、和第二数据查询频率分别进行数据补齐，得到第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率。

[0082] 根据本公开的实施例，在数据库集群中，通常配置有用于计算数据表的性能指标的工具或插件，可以利用数据表的表标识在存储数据表的性能指标的空间中，查找与数据表对应的第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率和第二数据查询频率。

[0083] 根据本公开的实施例，由于对多个性能指标的查询操作从开始执行到结束的时间不同，可能无法得到同一时间节点对应的第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率、和第二数据查询频率，因此，可以利用数据补齐方法对第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率、和第二数据查询频率分别进行数据补齐，得到预设历史时间段的第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率。其中，数据补齐方法可以包括基于线性回归模型预测缺失值等。

[0084] 根据本公开的实施例，通过对获取到的第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率和第二数据查询频率分别进行数据补全，以为预测模型的输入提供多个时间节点的数据，消除因数据缺失对预测时间数据准确性的影响，以降低碎片整理操作对数据库中其他数据的影响，提高业务执行效率和业务系统的性能。

[0085] 根据本公开的实施例，负载信息包括第一处理器利用率、第一输入输出利用率、第一内存利用率和第一业务处理时间；根据数据库集群中每个数据库服务器的负载信息、和每个数据库服务器中多个数据表各自的表日志信息，确定多个数据表各自的时间序列数据，还包括：对于每个数据表，对第一处理器利用率、第一输入输出利用率、第一内存利用率和第一业务处理时间分别进行数据补齐，得到第二处理器利用率、第二输入输出利用率、第二内存利用率和第二业务处理时间；基于第二处理器利用率、第二输入输出利用率、第二内存利用率和第二业务处理时间，确定处理器利用率序列、输入输出利用率序列、内存利用率序列和业务处理时间序列；对处理器利用率序列、输入输出利用率序列、内存利用率序列和业务处理时间序列进行加权计算，得到运行参数序列。

[0086] 根据本公开的实施例，获取数据表所在的数据库服务器的第一处理器利用率、第一输入输出频率、第一内存利用利用率和第一业务处理时间，其中，第一业务处理时间为数据库服务器处理一个业务所花费的平均时间。通过对收集到的数据进行数据补齐，得到预设历史时间段的第二处理器利用率、第二输入输出利用率、第二内存利用率和第二业务处理时间。

[0087] 根据本公开的实施例，根据预设历史时间段的第二处理器利用率、第二输入输出利用率、第二内存利用率和第二业务处理时间，提取多个预设时间节点的处理器利用率、输入输出利用率、内存利用率和业务处理时间，得到处理器利用率序列、输入输出利用率序列、内存利用率序列和业务处理时间序列。基于为处理器利用率序列、输入输出利用率序列、内存利用率序列和业务处理时间序列配置的权重，进行加权计算，得到运行参数序列。

[0088] 根据本公开的实施例，通过数据库服务器的处理器利用率、输入输出利用率、内存利用率和业务处理时间的加权结果，作为运行参数序列，以丰富预测模型的输入数据，便于预测模型基于运行参数序列学习数据库服务器的性能指标对碎片整理开始时间的影响，从而提高预测时间数据的准确性，以便于及时进行碎片整理，降低碎片对业务处理效率的影响。

[0089] 根据本公开的实施例，碎片整理方法还包括：基于目标数据表的历史整理数据，预测目标数据表的表维护时间；其中，历史整理数据包括历史时间段内对目标数据表进行整理的表对象名称、任务开始时间和任务结束时间；通过应用程序接口向下游业务系统发送表维护时间和预测时间数据。

[0090] 根据本公开的实施例，历史整理数据表征过去对数据表进行碎片整理的数据。历史整理数据可以包括目标数据表的表对象名称、任务开始时间、任务结束时间、碎片率和空间利用率。表维护时间为对目标数据表进行碎片整理多花费的时间。可以利用基于多个数据表的历史整理数据训练的模型，预测目标数据表的表维护时间。

[0091] 根据本公开的实施例，在碎片管理系统中，可以为下游的业务系统提供一个应用程序接口，允许下游的业务系统查询目标数据表当前的维护状态和预计的维护时间。这使得业务系统能够在碎片整理期间调整自己的操作，以降低因数据表不可用而导致服务中断事件发生的概率。

[0092] 根据本公开的实施例，在碎片整理开始前，向所有注册的下游业务系统发送维护通知，包括预测时间数据和表维护时间。以确保业务系统有足够的时间进行准备，例如，暂停对目标数据表的查询或写入操作。

[0093] 根据本公开的实施例，在碎片整理过程中和结束后，还可以基于应用程序接口向下游业务系统发送维护状态提示，以使得下游系统获知可以恢复对目标数据表正常操作的确切时间。

[0094] 根据本公开的实施例，通过历史整理数据预测对目标数据表进行碎片整理所耗费的时间，以确定目标数据表被占用的时间段，从而预先通知下游的业务系统，以尽可能减少在目标数据表被占用的时间段执行需要对目标数据表的访问的业务，从而减少业务被中断的概率，提高业务系统的处理性能。

[0095] 图4示意性示出了根据本另一公开实施例的碎片管理方法的流程图。该碎片管理方法应用于作业调度子系统。

[0096] 如图4所示，该实施例的碎片管理方法包括操作S410 操作S430。~

[0097] 在操作S410，根据由碎片管理系统提交的碎片整理任务，确定待进行碎片整理的目标数据表。

[0098] 碎片整理任务是根据目标数据表的表日志信息和预测时间数据创建的，目标数据表是根据多个数据表各自的预测时间数据从多个数据表中确定的，多个数据表各自的预测时间数据是将多个数据表各自的时间序列数据输入预测模型中得到的，时间序列数据是根据数据库集群中每个数据库服务器的负载信息，和每个数据库中多个数据表各自的表日志信息确定的。

[0099] 在操作S420，获取目标数据表在整理时间段内的多个表状态信息，其中，多个表状态信息的采集时刻分布在预测时间数据两侧。

[0100] 在操作S430，在多个表状态信息满足预设条件的情况下，向碎片管理系统发送碎片整理请求。

[0101] 根据本公开的实施例，碎片整理任务用于向作业调度子系统提供碎片整理的目标数据表，和开始对目标数据表进行碎片整理的时间。根据由碎片管理系统提交的碎片整理任务，确定待进行碎片整理的目标数据表。表状态信息可以包括被访问和空闲。在以预测时间数据为中点的时间区间中，获取目标数据表在多个时间节点的表状态信息，从而得到多个表状态信息。多个表状态信息的采集时刻分布在预测时间数据两侧。

[0102] 根据本公开的实施例，预设条件表征可以对目标数据表进行碎片整理的条件，预设条件可以包括在预测时间数据之前的表状态信息为空闲，且在预测时间数据之后的表状态信息均为空闲；或者在预测时间数据之后的表状态信息均为空闲；或者多个表状态信息均为空闲。在多个表状态信息满足预设条件的情况下，向碎片管理系统发送碎片整理请求。

[0103] 根据本公开的实施例，在确定预测时间数据的基础上，获取目标数据表在预测时间数据周围的多个表状态信息，从而基于表状态信息确定对目标数据表进行碎片整理的时间，以降低因执行碎片整理操作而中断当前正在执行的业务的概率，提高业务的执行效率和业务系统的处理效率。

[0104] 图5示意性示出了根据本公开实施例的碎片管理方法的交互图。

[0105] 如图5所示，碎片管理系统从数据库集群中获取数据库服务器的负载信息和数据表各自的表日志信息，以构建碎片整理任务，并将碎片整理任务发送给作业调度子系统，由作业调度子系统基于多个表状态信息发送向碎片管理系统发送碎片整理请求，由碎片管理系统响应于碎片整理请求，对目标数据表进行碎片整理。在预测时间数据的基础上，获取目标数据表在预测时间数据周围的多个表状态信息，便于根据目标数据表在预测时间数据周围的实际使用情况确定对目标数据表进行碎片整理的时间，以降低因执行碎片整理操作而中断当前正在执行的业务的概率，提高业务的执行效率和业务系统的处理效率。

[0106] 根据本公开的实施例，表状态信息包括第一表状态信息和第二表状态信息，第一表状态信息的采集时刻和第二表状态信息的采集时刻位于预测时间数据两侧，且间隔一个预设周期，预设条件包括第一表状态信息与第二表状态信息均表征目标数据表未被调用。

[0107] 根据本公开的实施例，第一表状态信息的采集时刻可以早于第二状态信息的采集时刻。可以通过分析目标数据表的使用模式和频率，确定一个合理的时间段来采集数据表状态信息，即采集第一表状态信息和第二表状态信息，以减少表状态信息的采集次数，提高碎片处理效率，借此提高业务的执行效率和业务系统的处理效率。

[0108] 基于上述碎片管理方法，本公开还提供了一种碎片管理装置。以下将结合图6对该装置进行详细描述。

[0109] 图6示意性示出了根据本公开实施例应用于碎片关系系统的碎片管理装置的结构框图。

[0110] 如图6所示，该实施例的碎片管理装置600包括数据确定模块610、时间预测模块620、第一确定模块630、任务创建模块640、任务提交模块650和碎片整理模块660。

[0111] 数据确定模块610，用于根据数据库集群中每个数据库服务器的负载信息，和每个数据库中多个数据表各自的表日志信息，确定多个数据表各自的时间序列数据，其中，时间序列数据包括表调用频率序列、碎片率序列、空间使用率序列和运行参数序列，数据库服务器上运行有一个或多个数据库。

[0112] 时间预测模块620，用于将各个时间序列数据分别输入预测模型中，分别输出多个数据表各自的预测时间数据。

[0113] 第一确定模块630，用于根据多个数据表各自的预测时间数据，从多个数据表中确定至少一个目标数据表。

[0114] 任务创建模块640，用于对于每个目标数据表，根据目标数据表的表日志信息和预测时间数据，创建碎片整理任务，其中，碎片整理任务用于对目标数据表中的碎片进行整理。

[0115] 任务提交模块650，用于向作业调度子系统提交碎片整理任务。

[0116] 碎片整理模块660，用于响应于接收到所述作业调度子系统发送的碎片整理请求，对所述目标数据表进行碎片整理。

[0117] 根据本公开的实施例，数据确定模块610，包括：数据确定单元、频率计算单元、、第一确定单元、第二确定单元、第三确定单元。

[0118] 数据确定单元，用于对于每个数据表，根据表日志信息的表标识，确定数据表在预设历史时段的第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率。

[0119] 频率计算单元，用于根据第一数据写入频率、第一数据删除频率和第一数据查询频率，计算数据表的初始调用频率。

[0120] 第一确定单元，用于根据第一碎片率确定碎片率序列。

[0121] 第二确定单元，用于根据第一空间使用率确定空间使用率序列。

[0122] 第三确定单元，用于根据初始调用频率确定表调用频率序列。

[0123] 根据本公开的实施例，数据确定单元包括：数据查询子单元、数据补齐单元。

[0124] 数据查询子单元，用于根据表日志信息的表标识，查询数据表的第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率和第二数据查询频率。

[0125] 数据补齐子单元，用于对第二碎片率、第二空间使用率、第二数据写入频率、第二数据删除频率、和第二数据查询频率分别进行数据补齐，得到第一碎片率、第一空间使用率、第一数据写入频率、第一数据删除频率和第一数据查询频率。

[0126] 根据本公开的实施例，负载信息包括第一处理器利用率、第一输入输出利用率、第一内存利用率和第一业务处理时间。

[0127] 数据确定模块610还包括：数据补齐单元、序列确定单元、第四确定单元。

[0128] 数据补齐单元，用于对于每个数据表，对第一处理器利用率、第一输入输出利用率、第一内存利用率和第一业务处理时间分别进行数据补齐，得到第二处理器利用率、第二输入输出利用率、第二内存利用率和第二业务处理时间。

[0129] 序列确定单元，用于基于第二处理器利用率、第二输入输出利用率、第二内存利用率和第二业务处理时间，确定处理器利用率序列、输入输出利用率序列、内存利用率序列和业务处理时间序列。

[0130] 第四确定单元，用于对处理器利用率序列、输入输出利用率序列、内存利用率序列和业务处理时间序列进行加权计算，得到运行参数序列。

[0131] 根据本公开的实施例，碎片管理装置600还包括：维护预测模块、数据发送模块。

[0132] 维护预测模块，用于基于目标数据表的历史整理数据，预测目标数据表的表维护时间。其中，历史整理数据包括历史时间段内对目标数据表进行整理的表对象名称、任务开始时间和任务结束时间。

[0133] 数据发送模块，用于通过应用程序接口向下游业务系统发送表维护时间和预测时间数据。

[0134] 根据本公开的实施例，数据确定模块610、时间预测模块620、第一确定模块630、任务创建模块640、任务提交模块650和碎片整理模块660中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，数据确定模块610、时间预测模块620、第一确定模块630、任务创建模块640、任务提交模块650和碎片整理模块660中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，数据确定模块610、时间预测模块620、第一确定模块630、任务创建模块640、任务提交模块650和碎片整理模块660中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

[0135] 基于上述另一实施例的碎片管理方法，本公开还提供了一种碎片管理装置。以下将结合图7对该装置进行详细描述。

[0136] 图7示意性示出了根据本公开实施例应用于作业调度子系统的碎片管理装置的结构框图。

[0137] 如图7所示，该实施例的碎片管理装置700包括第二确定模块710、信息获取模块720、请求发送模块730。

[0138] 第二确定模块710，用于根据由碎片管理系统提交的碎片整理任务，确定待进行碎片整理的目标数据表，其中，碎片整理任务是根据目标数据表的表日志信息和预测时间数据创建的，目标数据表是根据多个数据表各自的预测时间数据从多个数据表中确定的，多个数据表各自的预测时间数据是将多个数据表各自的时间序列数据输入预测模型中得到的，多个时间序列数据是根据数据库集群中每个数据库服务器的负载信息，和每个数据库中多个数据表各自的表日志信息确定的；

[0139] 信息获取模块720，用于获取目标数据表在整理时间段内的多个表状态信息，其中，多个表状态信息的采集时刻分布在预测时间数据两侧；以及

[0140] 请求发送模块730，用于在多个表状态信息满足预设条件的情况下，向碎片管理系统发送碎片整理请求。

[0141] 根据本公开的实施例， 表状态信息包括第一表状态信息和第二表状态信息，第一表状态信息的采集时刻和第二表状态信息的采集时刻位于预测时间数据两侧，且间隔一个预设周期，预设条件包括第一表状态信息与第二表状态信息均表征目标数据表未被调用。

[0142] 根据本公开的实施例，第二确定模块710、信息获取模块720、请求发送模块730中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本公开的实施例，第二确定模块710、信息获取模块720、请求发送模块730中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，第二确定模块710、信息获取模块720、请求发送模块730中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。

[0143] 图8示意性示出了根据本公开实施例的适于实现碎片管理方法的电子设备的方框图。

[0144] 如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器（ROM）802中的程序或者从存储部分808加载到随机访问存储器（RAM）803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。

[0145] 在RAM 803中，存储有电子设备800操作所需的各种程序和数据。处理器 801、ROM 802以及RAM 803通过总线804彼此相连。处理器801通过执行ROM 802和/或RAM 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 802和RAM 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。

[0146] 根据本公开的实施例，电子设备800还可以包括输入/输出（I/O）接口805，输入/输出（I/O）接口805也连接至总线804。电子设备800还可以包括连接至输入/输出（I/O）接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至输入/输出（I/O）接口805。可拆卸介质
811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

[0147] 本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。

[0148] 根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD‑ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的ROM 802和/或RAM 803和/或ROM 802和RAM 803以外的一个或多个存储器。

[0149] 本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时，该程序代码用于使计算机系统实现本公开实施例所提供的碎片管理方法。

[0150] 在该计算机程序被处理器801执行时执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。

[0151] 在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

[0152] 在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。

[0153] 根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java，C++，python，“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网（LAN）或广域网（WAN），连接到用户计算设备，或者，可以连接到外部计算设备（例如利用因特网服务提供商来通过因特网连接）。

[0154] 附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

[0155] 本领域技术人员可以理解，本公开的各个实施例中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。

[0156] 以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。