[0001] 本申请涉及计算机技术领域，尤其是涉及一种数据并发处理方法、数据并发处理装置、设备及介质。

[0002] 随着互联网技术的发展，接入的设备越来越多，特别是视频业务的爆发，使得网络数据流呈指数级的增长。

[0003] 面对如此多高带宽的实时网络数据，需要不断的提升CPU及接口的处理能力，来应对大流量的处理要求。这对直接进行数据流处理的CPU性能要求也越来越高，这就使得CPU性能成为瓶颈，容易存在拥塞、丢包、数据遗漏以及数据不完整的问题。

[0037] 为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

[0038] 首先，对本申请可适用的应用场景进行介绍。本申请可应用于计算机技术领域。

[0039] 随着互联网技术的发展，接入的设备越来越多，特别是视频业务的爆发，使得网络数据流呈指数级的增长。

[0040] 面对如此多高带宽的实时网络数据，需要不断的提升CPU及接口的处理能力，来应对大流量的处理要求。这对直接进行数据流处理的CPU性能要求也越来越高，这就使得CPU性能成为瓶颈，容易存在拥塞、丢包、数据遗漏以及数据不完整的问题。

[0041] 基于此，本申请实施例提供了一种数据并发处理方法，以降低数据对CPU及接口处理能力的要求，解决了高带宽传输接口下数据量过大导致处理能力受限的问题。

[0042] 请参阅图1，图1为本申请实施例所提供的一种数据并发处理方法的流程图。如图1中所示，本申请实施例提供的数据并发处理方法，包括：

[0043] S101，接收多条外部输入数据，并对每条外部输入数据进行数据报文解析以得到多条报文数据流。

[0044] 这里，首先接收网络设备上的多条外部输入数据。针对上述步骤S101，在具体实施时，首先接收多条外部输入数据，如将千兆或万兆的网络数据流对等的接收到接收接口上。然后对接收到的每条外部输入数据进行数据报文解析，以得到多条报文数据流。

[0045] 作为一种可选的实施例，在接收到多条外部输入数据后，本申请所提供的数据并发处理方法还包括：

[0046] 针对于每条外部输入数据，基于接收到该外部输入数据的时间为该外部输入数据添加对应的时间戳标签。

[0047] 针对上述步骤，在具体实施时，在接收到多条外部输入数据后，针对于每条外部输入数据，确定接收到该外部输入数据的时间，并基于接收到该外部输入数据的时间为该外部输入数据添加对应的时间戳标签。这样，本申请将引流过来的数据基于以太网物理层信号同步，在形成报文的基础上增加时间戳标签来标记接收到每条外部输入数据的精准时间，也是在网络上真实的传输数据序列。

[0048] S102，基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组。

[0049] 具体的，每个数据流组中包括多个存在映射关系的报文数据流。

[0050] 这里，报文数据流的特征信息可以为MAC地址、EthType类型、IP地址协议、UDP数据报文/TCP会话流等，对此本申请不做具体限定。

[0051] 针对上述步骤S102，在具体实施时，基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组。这里，每个数据流组中包括多个存在映射关系的报文数据流。这样，基于具体的匹配规则对每条报文数据流进行组合匹配，以形成多组存在映射关系的数据流组。

[0052] 作为一种可选的实施例，针对上述步骤S102，当所述匹配规则为基于特征信息中的特定特征值进行匹配时，所述基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组，包括：

[0053] 针对于每个特定特征值，将特征信息中包括该特定特征值的报文数据流进行组合匹配，以得到该特定特征值对应的数据流组。

[0054] 针对上述步骤，在具体实施时，当匹配规则为基于特征信息中的特定特征值进行匹配时，针对于每个特定特征值，将特征信息中包括该特定特征值的报文数据流进行组合匹配，以得到该特定特征值对应的数据流组。这样，数据流组中则存在多个特征信息中存在相同的特定特征值的报文数据流。

[0055] 作为一种可选的实施例，针对上述步骤S102，当所述匹配规则为基于不同特定特征值的组合进行匹配时，所述基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组，包括：

[0056] 将不同的特定特征值进行组合，得到组合特征值；针对于每个组合特征值，将特征信息中包括该组合特征值的报文数据流进行组合匹配，以得到该组合特征值对应的数据流组。

[0057] 针对上述两个步骤，在具体实施时，当匹配规则为基于不同特定特征值的组合进行匹配时，将不同的特定特征值进行组合，得到组合特征值。针对于每个组合特征值，将特征信息中包括该组合特征值的报文数据流进行组合匹配，以得到该组合特征值对应的数据流组。这样，数据流组中则存在多个特征信息中存在相同的组合特征值的报文数据流。

[0058] S103，将多个数据流组发送至不同的并发传输通路，以使每个并发传输通路同时将接收到数据流组中的报文数据流发送至相对应的数据处理单元，以实现对多条外部输入数据的并发处理。

[0059] 针对上述步骤S103，在具体实施时，将多个数据流组发送至不同的并发传输通路，以使每个并发传输通路同时将接收到数据流组中的报文数据流发送至相对应的数据处理单元，以实现对多条外部输入数据的并发处理。这样，针对多组不同组合的映射关系数据流，将每组数据流分发到不同的并发传输通路，对应的并发传输通路将基于对应的传输速率方式将数据流传输至对应的数据处理单元。多个数据处理单元同时对接收到的报文数据流进行处理，即可实现对多条外部输入数据的并发处理。根据本申请提供的数据并发处理方法，将高带宽数据流分流形成多路并发的低速数据流，从而降低每路并发数据流带宽，以降低数据对CPU及接口处理能力的要求，解决了高带宽传输接口下数据量过大导致处理能力受限的问题。

[0060] 作为一种可选的实施例，本申请所提供的数据并发处理方法还包括：

[0061] 实时对每个并发传输通路进行流量监测，并基于每个并发传输通路的当前流量对每个并发传输通路进行负载均衡。

[0062] 针对上述步骤，在具体实施时，在并发传输通路进行数据传输时，实时对每个并发传输通路进行流量监测，得到每个并发传输通路的当前流量。并基于每个并发传输通路的当前流量对每个并发传输通路做负载均衡，以实时进行流量数据分发处理。

[0063] 作为一种可选的实施例，在所述将多个数据流组发送至不同的并发传输通路之后，所述数据并发处理方法还包括：

[0064] 针对于每个数据流组中的每条报文数据流，接收所述数据处理单元对该报文数据流进行数据处理后的目标数据；按照每条外部输入数据对应的时间戳标签对每条外部输入数据对应的目标数据进行镜像还原。

[0065] 针对上述两个步骤，在具体实施时，在将多个数据流组发送至不同的并发传输通路之后，针对于每个数据流组中的每条报文数据流，接收数据处理单元对该报文数据流进行数据处理后的目标数据。由于每条外部输入数据均携带有对应的时间戳标签，这时即可按照每条外部输入数据对应的时间戳标签对每条外部输入数据对应的目标数据进行镜像还原。这样，通过对外部输入数据添加时间戳标签，支持对分离的数据流基于时间戳进行镜像还原数据的能力，可有效镜像还原历史流量数据，能做到数据流的严格序列化，为多路并发处理后的数据根据时间戳镜像还原。

[0066] 本申请实施例所提供的数据并发处理方法可作为一个嵌入模块嵌入在数据处理设备内部，通过对应的多路数据传输接口并发传输到数据处理单元模块。也可作为一个独立设备装置，根据数据处理设备的不同处理能力使用不同的分级装置。当处理高带宽数据流时，可以使用级联分流器装置进行有效降速，以达到数据处理能力要求。可以分为通用型分流装置或级联型分流装置，在级联型装置中，通过同步级联消息在二次分流中将使用一级装置时间戳，确保时间同步的一致性。

[0067] 本申请实施例提供的数据并发处理方法，首先，接收多条外部输入数据，并对每条外部输入数据进行数据报文解析以得到多条报文数据流；然后，基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组；其中，每个数据流组中包括多个存在映射关系的报文数据流；最后，将多个数据流组发送至不同的并发传输通路，以使每个并发传输通路同时将接收到数据流组中的报文数据流发送至相对应的数据处理单元，以实现对多条外部输入数据的并发处理。

[0068] 本申请通过流量数据特征基于一定的规则方法，将高带宽数据流分流形成多路并发的低速数据流，从而降低每路并发数据流带宽。并且通过时间戳标签，能做到数据流的严格序列化，为多路并发处理后的数据根据时间戳镜像还原。这样，本申请通过对多条数据流进行分组得到多个数据流组，多个数据流组分别分流到不同的并发传输通路中进行传输，以将数据流发送至不同的数据处理单元进行并发处理，以降低数据对CPU及接口处理能力的要求，降低CPU处理负荷，有效提高CPU使用率，解决了高带宽传输接口下数据量过大导致处理能力受限的问题。

[0069] 请参阅图2和图3，图2为本申请实施例所提供的一种数据并发处理装置的结构示意图之一，图3为本申请实施例所提供的一种数据并发处理装置的结构示意图之二。如图2中所示，本申请实施例提供的数据并发处理装置200，包括：

[0070] 数据接收模块201，用于接收多条外部输入数据，并对每条外部输入数据进行数据报文解析以得到多条报文数据流；

[0071] 数据分流模块202，用于基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组；其中，每个数据流组中包括多个存在映射关系的报文数据流；

[0072] 并发传输模块203，用于将多个数据流组发送至不同的并发传输通路，以使每个并发传输通路同时将接收到数据流组中的报文数据流发送至相对应的数据处理单元，以实现对多条外部输入数据的并发处理。

[0073] 请参阅图3，所述数据并发处理装置200还包括标签添加模块204，在接收到多条外部输入数据后，所述标签添加模块204用于：

[0074] 针对于每条外部输入数据，基于接收到该外部输入数据的时间为该外部输入数据添加对应的时间戳标签。

[0075] 请参阅图3，所述数据并发处理装置200还包括镜像还原模块205，在所述将多个数据流组发送至不同的并发传输通路之后，所述镜像还原模块205用于：

[0076] 针对于每个数据流组中的每条报文数据流，接收所述数据处理单元对该报文数据流进行数据处理后的目标数据；

[0077] 按照每条外部输入数据对应的时间戳标签对每条外部输入数据对应的目标数据进行镜像还原。

[0078] 进一步的，当所述匹配规则为基于特征信息中的特定特征值进行匹配时，所述数据分流模块202在用于基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组时，所述数据分流模块202还用于：

[0079] 针对于每个特定特征值，将特征信息中包括该特定特征值的报文数据流进行组合匹配，以得到该特定特征值对应的数据流组。

[0080] 进一步的，当所述匹配规则为基于不同特定特征值的组合进行匹配时，所述数据分流模块202在用于基于每条报文数据流的特征信息以及匹配规则对每条报文数据流进行组合匹配映射，以形成多个数据流组时，所述数据分流模块202还用于：

[0081] 将不同的特定特征值进行组合，得到组合特征值；

[0082] 针对于每个组合特征值，将特征信息中包括该组合特征值的报文数据流进行组合匹配，以得到该组合特征值对应的数据流组。

[0083] 请参阅图3，所述数据并发处理装置200还包括流量监测模块206，所述流量监测模块206用于：

[0084] 实时对每个并发传输通路进行流量监测，并基于每个并发传输通路的当前流量对每个并发传输通路进行负载均衡。

[0085] 请参阅图4，图4为本申请实施例所提供的一种电子设备的结构示意图。如图4中所示，所述电子设备400包括处理器410、存储器420和总线430。

[0086] 所述存储器420存储有所述处理器410可执行的机器可读指令，当电子设备400运行时，所述处理器410与所述存储器420之间通过总线430通信，所述机器可读指令被所述处理器410执行时，可以执行如上述图1所示方法实施例中的数据并发处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

[0087] 本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的数据并发处理方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

[0088] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0089] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0090] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0091] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

[0092] 所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read‑Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

[0093] 最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。