技术领域
[0001] 本发明属于计算机技术领域，尤其涉及一种数据统计方法及装置。
相关背景技术
[0002] 传统的数据统计方法通常是通过查询语句从检索数据库中取出基础数据，并对基础数据进行统计。
[0003] 然而，当业务关系复杂、数据量大、需要对数据进行多维度统计时，需要编写大量复杂的查询语句及统计语句，检索效率及统计效率低，系统的稳定性差。
具体实施方式
[0026] 以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
[0027] 为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。请参见图1，图1是本发明实施例提供的一种数据统计方法的示意流程图。本实施例中数据统计的方法的执行主体为终端，终端包括但不限于台式计算机、智能手机、平板电脑、个人数字助理PAD等终端。如图所示的数据统计的方法可包括：
[0028] 在S101中，获取待处理的第一数据，确定所述第一数据的数据类型。
[0029] 终端获取待处理的第一数据，触发数据统计的流程，对第一数据进行处理，确定第一数据的数据类型。待处理的第一数据即为待处理的数据对象，可以是任何需要统计的数据，例如广告数据、网上商城订单数据、员工考核成绩数据等等。数据类型实际上是对待处理的数据对象做一个分类。比如，如果网上商城订单数据作为待处理的数据对象，那么网上商城订单数据可以分为普通用户购买订单、团购订单、派送订单等等。终端在获取到网上商城订单后，确定该网上商城订单数据的数据类型，是普通用户购买订单、团购订单、派送订单中的哪一种。
[0030] 可选的，S101可以包括S1011～S1012，如图2所示。具体如下：
[0031] S1011：获取待处理的第一数据，并获取所述第一数据的数据属性。
[0032] 终端获取待处理的第一数据，触发数据统计的流程，从待处理的第一数据中提取的一个预设的数据字段，基于该数据字段标识的含义确定第一数据的数据属性。其中，数据属性，用于标识待处理的第一数据的数据特征。
[0033] S1012：根据所述第一数据的数据属性、数据属性与数据类型之间的预设的对应关系，确定所述第一数据的数据类型。
[0034] 终端内预先设置并存储有数据属性与数据类型之间的对应关系，在获取到数据属性时，根据数据属性与数据类型之间的对应关系，获取第一数据的数据属性对应的数据类型，从而得到第一数据的数据类型。第一数据的数据类型用于确定待处理的第一数据所属的分类。例如，当检测到第一数据中用于标识数据属性的字段为a字段时，该数据属性对应的数据类型即为网上商城团购信息；当检测到第一数据中用于标识数据属性的字段为b字段时，该数据属性对应的数据类型为网上商城使用优惠券的购买信息。
[0035] 在本实施方式中，通过预先设置并存储数据属性与数据类型之间的对应关系，终端获取第一数据的数据属性后，能够确定该数据属性对应的数据类型，从而确定待处理的第一数据对应的数据类型。这样获取的数据类型更加的准确，效率也更高。
[0036] 在S102中，根据所述数据类型确定所述第一数据对应的统计维度。
[0037] 在一实施方式中，终端可以解析数据类型，得到第一数据对应的统计维度。其中，因为数据类型是对第一数据所属类型的一个定义，所以在描述数据类型的信息中会包含该类型数据需要统计的统计维度，通过解析描述数据类型的信息即可获取第一数据对应的统计维度。
[0038] 在另一实施方式中，预先为每种数据类型设置其对应的统计维度，由于每一种类型的数据都有一个对应的统计维度，因此，终端在确定了待处理的第一数据的数据类型时，即可根据数据类型与统计维度之间的关联关系以及第一数据的数据类型，确定第一数据对应的统计维度。
[0039] 进一步地，第一数据可以为商城订单数据，第一数据的数据类型为购买订单。S102具体包括：根据所述购买订单，确定所述购买订单对应的统计维度；其中，所述购买订单对应的统计维度包括商户的销售额、购买的商品的销售额、购买的商品对应的生产工厂的销售额。
[0040] 例如，第一数据可以为商城订单数据，第一数据的数据类型为购买订单，根据购买的订单可以确定商城订单数据对应的统计维度包括：商户的销售额、购买的商品的销售额、购买的商品对应的生产工厂的销售额，等等。其中，商户的销售额即为销售该商品的商户的销售额；购买的商品的销售额即为在本商城该商品的总销售额；购买的商品对应的生产工厂的销售额即为生产该商品的工厂销售该商品的销售额。在后续统计的过程中，对与商城订单信息的统计要从商户的销售额、购买的商品的销售额、购买的商品对应的生产工厂的销售额这几个维度去处理。
[0041] 可选地，S102可以包括：根据数据类型与统计维度的对应关系，确定所述第一数据的数据类型对应的统计维度，得到所述第一数据对应的统计维度。
[0042] 终端预先设置并存储有数据类型与统计维度的对应关系，同一数据类型对应了这一类型数据在统计时应当统计的所有统计维度，这一对应关系的可以预先根据需求自行设置。通过预先设置数据类型与统计维度的对应关系，可以快速的获取到数据类型对应的统计维度。并且，由于数据类型与统计维度的对应关系是可以预先设置的，所以可以灵活的调整每种数据类型对应的统计维度，比如，当数据类型为团购订单时，根据用户的需求可以预先设置团购订单对应的统计维度包括：团购数量，团购商品销售数量，团购商品利润；当用户需要增加新的统计维度团购用户信息时，可以对团购订单对应的统计维度进行调整，在原有的基础上加入团购用户信息。这样，使得用户可以根据自己的需求调整不同数据类型需要统计的维度，提高了系统的灵活性，也提高了统计的效率。
[0043] 在S103中，从所述第一数据中分别提取每个所述统计维度对应的第二数据。
[0044] 终端确定了第一数据需要统计的维度后，对第一数据进行处理和拆分，提取出第一数据中每一个需要统计维度所对应的数据信息，即每个所述统计维度对应的第二数据。例如第一数据为商城订单数据，根据商城订单数据获取到的数据类型为购买订单，根据购买的订单可以确定商城订单数据对应的统计维度包括：商户的销售额、购买用户的个人信息、购买商品的单价。其中，第一数据商城订单信息为张三以单价68元，购买了2个杯子，从第一数据商城订单信息中提取出用于统计商户的销售额对应的第二数据为136、购买用户的个人信息对应的第二数据为张三、购买商品的单价对应的第二数据为68。
[0045] 在S104中，基于每个所述统计维度的数据统计策略、每个所述统计维度对应的第二数据进行统计，得到统计结果。
[0046] 终端预先设置了每个统计维度的数据统计策略，不同的统计维度的数据统计策略可以不同。比如商品销售额的统计策略可以为加法的运算，将用户购买的商品数量加到原有的销售额数据上即可；统计维度的数据统计策略也可以设成一个映射关系，例如已知订单金额，统计这笔订单商品所属商户的销售额，加上相应的值订单的价格即可，映射关系可以为orderPrice->commercialSales。在获取了每个统计维度对应的第二数据以后，根据每个统计维度的数据统计策略，对每个统计维度对应的第二数据进行统计，得到每个维度对应的统计结果。
[0047] 可选地，S104可以包括S1041～S1042，如图3所示。具体如下：
[0048] S1041：基于每个所述统计维度的数据统计策略、每个所述统计维度对应的第二数据，确定每个所述统计维度对应的更新信息。
[0049] 例如第一数据为商城订单数据，根据商城订单数据获取到的数据类型为购买订单，根据购买的订单可以确定商城订单数据对应的统计维度包括：商户的销售额、购买用户的个人信息、购买商品的单价。其中，第一数据商城订单信息为张三以单价68元，购买了2个杯子，从第一数据商城订单信息中提取出商户的销售额对应的第二数据为136、购买用户的个人信息对应的第二数据为张三、购买商品的单价对应的第二数据为68。此时，根据不同维度对应的统计策略对商户的销售额对应的第二数据为136；购买用户的个人信息对应的第二数据为张三；购买商品的单价对应的第二数据为68，进行统计。商户的销售额的统计策略可以为在原有数据上累加新数据，根据商户的销售额的统计策略和商户的销售额对应的第二数据得到的需要更新的信息为：商户的销售额累加136。其中更新信息包括待更新的数据以及更新的策略。
[0050] S1042：基于所述更新信息更新数据库中的统计数据。
[0051] 终端在获取到更新信息时，根据更新信息中不同的更新策略，可以将更新信息作为新条目存入数据库中，也可以直接对数据库进行局部更新，得到统计结果。例如，商户的销售额的统计策略可以为在原有数据上累加新数据，根据商户的销售额的统计策略和商户的销售额对应的第二数据得到的需要更新的信息为：商户的销售额累加136，此时，在数据库中将该商户的销售额在原来的基础上增加136，从而得到该商户当前的销售额。
[0052] 本实施方式中，根据第二数据获取需要更新到数据库中的更新信息，将更新信息存入数据库中，得到统计结果，通过获取更新信息，方便对数据进行存储，同时也输出的统计结果是经过了数据库更新后的结果，提升了统计以及存储的效率。
[0053] 可选地，S1042可以包括S10421～S10422，如图4所示。具体如下：
[0054] S10421：获取所述每个所述统计维度对应的第二数据的标签信息；
[0055] 终端获取到每个统计维度对应的第二数据，提取第二数据信息中的标签信息。其中，第二数据的标签信息用于标识每个统计维度对应的第二数据的数据类型，例如，标签信息用于标识该数据类型是属于数据量大但是价值不高这一类型的数据、还是属于频繁访问这一类型的数据。其中，标签信息可以有很多种，对应的第二数据类型也可以有很多种，不同的标签信息对应着不同的数据类型，用户可以根据自己需求设置不同的标签信息，在此不做限制。
[0056] S10422：根据所述标签信息、标签信息与数据库标识之间的预设对应关系，将所述每个所述统计维度对应的更新信息更新至所述第二数据的标签信息对应的数据库。
[0057] 终端预先设置了标签信息与数据库标识之间的预设对应关系，终端获取标签信息，根据标签信息与数据库标识之间的预设对应关系，将所述每个所述统计维度对应的更新信息更新至所述第二数据的标签信息对应的数据库。其中，标签信息标识了第二数据的数据类型，不同类型的数据可以存储到不同类型的数据库中，标签信息对应的数据库就是存储该类型的第二数据的数据库。比如，标签信息a代表的是会频繁读取的数据类型，判定需要缓存标签信息a对应的数据，那么标签信息a在标签信息与数据库标识之间的预设对应关系中对应的是redis数据库，redis数据库的特点是查找搜索非常方便快捷，经常被用作缓存数据库。如果根据第二数据获取的第二数据对应的标签信息为a的话，那么就说明该第二数据为频繁读取的数据类型，需要缓存第二数据，将其存储至redis数据库中。此外，数据库还包括：mongo数据库，由于mongo数据库在进行海量数据访问时效率很高，写入性能好，但是并不安全，所以可以用来存储数据量大价值不够高、查询频率相对高的数据；hbash数据库，由于hbash数据库存储的时候比较方便，但是不方便查询，所以可以用来存储不需要经常查询的数据。
[0058] 本实施方式中，通过获取第二数据的标签信息找到适合第二数据存储的数据库，实现了根据数据的特性将数据存储在不同的数据库中，从而提升了统计、存储数据的效率。
[0059] 可选地，在S10422之后，还可以包括S105～S107，如图5所示。具体如下：
[0060] S105：当接收到查找数据的指令时，确定待查找的目标数据的数据属性。
[0061] 终端接收到查找数据的指令时，触发数据查找的流程，其中，查找数据指令包括待查找的目标数据的信息、待查找的目标数据的信息对应的统计维度的信息。终端从查找数据指令中提取出待查找的目标数据的统计维度的信息，基于统计维度与数据属性之间的预设对应关系，确定待查找的目标数据的每个统计维度各自对应的数据属性，待查找的目标数据可能需要获取有多个统计维度的数据，由于每个统计维度的数据都有相应的数据属性，因此，多个统计维度的数据就会有多个数据属性。
[0062] S106：根据数据属性和数据库之间的预设对应关系，确定所述目标数据的数据属性对应的目标数据库。
[0063] 终端预设待查找的目标数据的数据属性和数据库之间的对应关系，不同维度的数据由于数据特征不同，存储的数据库也不相同，所以根据待查找数据的数据属性就可以确定该数据存储的数据库。
[0064] 例如，接收到查找数据指令包含的待查找目标信息为A牌水杯的销量和单价，那么待查找数据信息对应的维度信息为：A牌水杯的销量、A牌水杯的单价，终端从A牌水杯的销量、A牌水杯的单价中提取出A牌水杯的销量的数据属性为c、A牌水杯的单价的数据属性为d，那么基于数据属性与数据库之间的预设对应关系，就可以确定代表着A牌水杯的销量这一维度的数据是存储在数据属性c对应的数据库中，A牌水杯的单价这一维度的数据是存储在数据属性d对应的数据库中。
[0065] S107：从所述目标数据库中获取所述目标数据。
[0066] 终端确定了存储待查找的目标数据的目标数据库，从查找指令中提取出待查找的目标数据的字段，可以在目标数据库中查找目标数据的字段，从目标数据库提取该字段对应的全部数据，即为目标数据。也可以通过解析查找数据的指令，解析出待查找的目标数据的关键信息，作为筛选条件，根据筛选条件直接从数据库中筛选出目标数据。
[0067] 本实施方式通过对查找数据指令的分析，解析出需要查找的数据维度，确定不同数据维度的数据存储的数据库，从中查找提取目标数据。这样无需遍历每一个数据库，就可以有针对性的查找出多维度的目标数据，提高了查找数据的效率。
[0068] 本发明实施例通过获取待处理的第一数据，确定第一数据的数据类型，根据数据类型确定第一数据对应的统计维度，从所述第一数据中分别提取每个所述统计维度对应的第二数据，基于每个所述统计维度的数据统计策略、每个所述统计维度对应的第二数据进行统计，得到统计结果。通过对待处理的第一数据进行分类，确定待处理的第一数据需要统计的维度，根据需要统计的维度从第一数据中提取每个需要统计维度对应的第二数据，这样在统计的过程中，无需先遍历数据库进行查找，直接就可以对待处理的数据进行统计，提高了统计的效率。
[0069] 应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0070] 请参阅图6，图6是本发明一实施例提供的一种数据统计装置的示意图。包括的各单元用于执行图1～图5对应的实施例中的各步骤。具体请参阅图1～图5各自对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图6，数据统计装置6包括：
[0071] 获取单元610，用于获取待处理的第一数据，确定所述第一数据的数据类型；
[0072] 确定单元620，用于根据所述数据类型确定所述第一数据对应的统计维度；
[0073] 提取单元630，用于从所述第一数据中分别提取每个所述统计维度对应的第二数据；
[0074] 处理单元640，用于基于每个所述统计维度的数据统计策略、每个所述统计维度对应的第二数据进行统计，得到统计结果。
[0075] 进一步地，获取单元610具体用于：
[0076] 获取待处理的第一数据，并获取所述第一数据的数据属性；
[0077] 根据所述第一数据的数据属性、数据属性与数据类型之间的预设的对应关系，确定所述第一数据的数据类型。
[0078] 进一步地，处理单元640包括：
[0079] 第一处理单元，用于基于每个所述统计维度的数据统计策略、每个所述统计维度对应的第二数据，确定每个所述统计维度对应的更新信息；
[0080] 第二处理单元，用于基于所述更新信息更新数据库中的统计数据。
[0081] 进一步地，第二处理单元具体用于：
[0082] 获取所述每个所述统计维度对应的第二数据的标签信息；
[0083] 根据所述标签信息、标签信息与数据库标识之间的预设对应关系，将所述每个所述统计维度对应的更新信息更新至所述第二数据的标签信息对应的数据库。
[0084] 进一步地，确定单元620具体用于：
[0085] 根据数据类型与统计维度的对应关系，确定所述第一数据的数据类型对应的统计维度，得到所述第一数据对应的统计维度。
[0086] 进一步地，数据统计装置还包括：
[0087] 第一确定单元，用于当接收到查找数据的指令时，确定待查找的目标数据的数据属性；
[0088] 第二确定单元，用于根据数据属性和数据库之间的预设对应关系，确定所述目标数据的数据属性对应的目标数据库；
[0089] 查找单元，用于从所述目标数据库中获取所述目标数据。
[0090] 图7是本发明一实施例提供的数据统计终端的示意图。如图7所示，该实施例的数据统计终端7包括：处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72，例如数据统计程序。所述处理器70执行所述计算机程序72时实现上述各个数据统计方法实施例中的步骤，例如图1所示的步骤101至104。或者，所述处理器70执行所述计算机程序72时实现上述各装置中各模块/单元的功能。
[0091] 示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器71中，并由所述处理器70执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序72在所述数据统计终端7中的执行过程。例如，所述计算机程序72可以被分割成获取单元、确定单元、提取单元、处理单元，各模块具体功能如下：
[0092] 获取单元，用于获取待处理的第一数据，确定所述第一数据的数据类型；
[0093] 确定单元，用于根据所述数据类型确定所述第一数据对应的统计维度；
[0094] 提取单元，用于从所述第一数据中分别提取每个所述统计维度对应的第二数据；
[0095] 处理单元，用于基于每个所述统计维度的数据统计策略、每个所述统计维度对应的第二数据进行统计，得到统计结果。
[0096] 所述数据统计终端7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述数据统计终端可包括，但不仅限于，处理器70、存储器71。本领域技术人员可以理解，图7仅仅是数据统计终端7的示例，并不构成对数据统计终端7的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述数据统计终端还可以包括输入输出设备、网络接入设备、总线等。
[0097] 所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0098] 所述存储器71可以是所述数据统计终端7的内部存储单元，例如数据统计终端7的硬盘或内存。所述存储器61也可以是所述数据统计终端7的外部存储设备，例如所述数据统计终端7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器71还可以既包括所述数据统计终端7的内部存储单元也包括外部存储设备。所述存储器71用于存储所述计算机程序以及所述数据统计终端所需的其他程序和数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
[0099] 所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0100] 在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0101] 本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0102] 在本发明所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
[0103] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0104] 另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0105] 所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0106] 以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
