技术领域
[0001] 本发明涉及计算机技术领域，尤其涉及一种音视频通信服务质量策略确定方法和装置。
相关背景技术
[0002] 音视频通信服务质量(Quality of Service，Qos)策略可以表明信息在数据通信系统中传递时所获得的性能保证，即在有影响音视频质量因素存在的网际互连协议(Internet Protocol，IP)网络上，为保障音视频业务提供所需要的服务。在网络条件保持不变的情况下，通过在音视频终端和微控制单元(Microcontroller Unit，MCU)等网元上进行速率和误码控制等处理，可以在一定程度上做到QoS保障，提高音视频通话效果。
[0003] 在现有的Qos策略中，通信Qos策略的核心锚点为通信双方的实时网络状态，如带宽、抖动、时延和丢包率，当有了网络状态信息后客户端才能有针对性的执行相关的Qos策略来对抗通话期间的异常网络达到传输质量提升的目的。然而，核心锚点数据是在通话双方通话期间进行获取和应用的，会影响通话质量，同时增加客户端处理压力。
具体实施方式
[0046] 为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047] 在现有的Qos策略中，在客户端方面，在通话建立初期通话两端就会启动带宽估计功能，会发送网络嗅探数据包进行网络带宽的估计以确定传输媒体数据的初始码率等关键参数，带宽估计在整个通话过程中提供带宽参考；通话期间，通话两端首先会通过NACK(Negative Acknowledgement，一种负向反馈)重传来保证传输双方的数据完整性，其次通话两端通过收到的实时传输协议(Real‑time Transport Protocol，RTP)包的Seq值判断是否丢包，丢包多少并通过RTP控制协议(RTP Control Protocol，RTCP)包回传给发送端，发送端根据RTCP包中的SR(Segment Routing，一种源路由协议)字段得知网络丢包情况并指导客户端是否需要调整码率，同时根据计算出来的丢包率来选择客户端采用的前向纠错(Forward Error Correction，FEC)模式和冗余包的数量。
[0048] 在服务端方面，服务器侧主要采用分段式传输控制进行音视频通话Qos的提升。服务器会将通话两端的通信链路以p2p的方式进行分段控制，从而降低通话两端的往返时延(Round‑Trip Time，RTT)和提升Qos策略效率，同时还能分散因某段网络异常导致对整条通信链路影响。
[0049] 然而，在现有的Qos策略中，通信Qos策略的核心锚点数据是在通话双方通话期间进行获取和应用的，会影响通话质量，同时增加客户端处理能力。
[0050] 图1是本发明实施例提供的音视频通信服务质量策略确定方法的流程示意图之一。参照图1，本发明实施例提供一种音视频通信服务质量策略确定方法，应用于客户端，所述方法具体可以包括如下步骤：
[0051] 步骤101，在未进行音视频通信时，获取网络状态数据，将所述网络状态数据上传至服务器。
[0052] 在客户端未进行音视频通信时(用户未使用音视频通话功能)，即在通话双方进行通话之前，客户端可以首先获取客户端自身的网络状态数据，将网络状态数据上传至服务器。
[0053] 服务器可以接收到各个客户端上传的网络状态数据，对网络状态数据进行网格化划分，针对各个网格下的网络状态数据，采用各个网格下的网络状态数据，对预先构建的深度学习神经网络进行训练，确定各个网格对应的最优Qos策略。
[0054] 步骤102，在进行音视频通信时，在建立通话前将当前通话参数上传至所述服务器。
[0055] 在客户端进行音视频通信时(用户使用音视频通话功能)，在建立通话前可以上传当前通话参数给服务器。其中，上传的通话参数可以包括位置信息、通话时间、网络连接方式和运营商名称中的至少一种。
[0056] 同时，客户端可以检测用户位置是否发生变化，若超出网格定位，可以向服务器再次发送最新的通话参数。
[0057] 步骤103，接收所述服务器基于所述当前通话参数下发的最优Qos策略，并执行所述最优Qos策略。
[0058] 服务器在接收到客户端上传的当前通话参数后，可以基于当前通话参数确定对应的最优Qos策略，并立即下发最优Qos策略给客户端。客户端可以接收到服务器实时下发的最优Qos策略，根据返回的最优Qos策略执行网络优化，从而提高音视频通话质量。
[0059] 在一种场景中，在建立通话前，若客户端位置没有超出当前网格定位，客户端可以接收到服务器基于当前网格定位下发的最优Qos策略，并执行该最优Qos策略；在另一种场景中，在建立通话前，若客户端位置超出当前网格定位，客户端可以接收到服务器基于最新网格定位下发的最优Qos策略，并执行该最优Qos策略。
[0060] 在本发明实施例中，通过在未进行音视频通信时预先获取网络状态数据并上传至服务器，以及在建立会话前将当前通话参数上传至服务器，可以在通话前进行所有网络状态的获取，从而不会增加通话期间的客户端的负担，提高通话质量；通过向服务器发送当前通话参数，使得服务器基于当前通话参数实时下发最优Qos策略，从而提升音视频通信Qos策略决策及下发效率。
[0061] 在一种可选的实施例中，所述获取网络状态数据，将所述网络状态数据上传至服务器，包括：检测当前的网络连接状态；基于所述网络连接状态，确定传输网络；通过所述传输网络向服务器发送网络嗅探包，记录网络状态数据，将所述网络状态数据上传至服务器。
[0062] 具体的，客户端可以先判断客户端自身是否正在使用音视频通话功能，若未使用音视频通话功能，客户端可以准备进行网络状态数据采集。首先检测客户端当前的网络连接状态，基于网络连接状态确定对应的传输网络，可以通过传输网络有规律地在客户端与服务器之间发送网络嗅探包，并将嗅探结果，即网络状态数据上传至服务器的数据库中。
[0063] 若判断出客户端正在使用音视频通话功能，则不对网络状态数据进行采集。
[0064] 在一种可选的实施例中，所述基于所述网络连接状态，确定传输网络，包括：若当前的网络连接状态为Wi‑Fi网络连接状态，采用Wi‑Fi网络作为传输网络；若当前的网络连接状态为运营商网络连接状态，在检测到有正在使用的应用时，采用所述应用的网络作为传输网络；若连续多次检测到当前的网络连接状态为运营商网络连接状态，采用运营商网络作为传输网络。
[0065] 具体的，在网络状态数据采集之前，客户端可以判断客户端当前的网络连接状态的类型。若客户端当前是Wi‑Fi网络连接状态，则可以采用Wi‑Fi网络开始向服务器发送嗅探包，并记录网络状态数据，最终上传至服务器。其中，上传的网络状态数据可以以固定格式封装，网络状态数据可以包括上传时的位置信息、嗅探时间点、Wi‑Fi网络的运营商、网络连接方式(Wi‑Fi)，网络嗅探结果(上下行带宽、丢包率、抖动、时延)。
[0066] 若客户端当前是运营商网络连接状态，则可以暂停网络状态数据的采集，检测客户端中是否有正在使用中的应用且足够模拟网络嗅探的网络交互。若客户端中有正在使用中的应用且足够模拟网络嗅探的网络交互，则可以记录网络状态数据，并上传服务器。其中，上传的网络状态数据可以包括上传时的位置信息、嗅探时间点、运营商名称、网络连接方式(4G/5G)，网络嗅探结果(上下行带宽、丢包率、抖动、时延)。
[0067] 若网络连接状态为运营商网络，且无任何使用中的应用可以提供网络状态数据参考，可以等待待下一个采集周期时再做判断。若在连续多次的采集周期内，均检测到网络连接状态为运营商网络且无法有效采集，则可以借助运营商网络向服务器发送嗅探包并记录网络状态数据，并将网络状态数据上传至服务器。
[0068] 在每次网络状态数据采集完成后，可以将所有状态标志位清空，并继续判断客户端自身是否正在使用音视频通话功能，若未使用音视频通话功能，客户端可以准备再次进行网络状态数据采集。
[0069] 图2是本发明实施例提供的网络状态数据采集的流程示意图。参照图2，在网络状态数据采集的流程开始后，可以首先判断客户端是否正在使用音视频通话功能，若客户端正在使用音视频通话功能，可以停止网络状态数据采集。
[0070] 若客户端没有使用音视频通话功能，可以进一步判断当前网络连接状态是否为运营商网络。若当前网络连接状态不是运营商网络，客户端可以向服务器发送嗅探包并将嗅探结果上传至服务器。
[0071] 若当前网络连接状态是运营商网络，可以暂停采集，判断是否可以借助别的正在使用的应用进行网络嗅探。若可以借助别的正在使用的应用进行网络嗅探，可以将嗅探结果上传至服务器。
[0072] 若不能借助别的正在使用的应用进行网络嗅探，可以暂停采集等待下一个采集周期时在做判断。若连续3次检测到当前网络连接状态是运营商网络且可以借助其他正在使用中的应用，可以借助运营商网络向服务器发送嗅探包并记录网络状态数据，并上传至服务器，单周期网络数据采集结束。
[0073] 在本发明实施例中，通过在未进行音视频通信时预先获取网络状态数据并上传至服务器，以及在建立会话前将当前通话参数上传至服务器，可以在通话前进行所有网络状态的获取，从而不会增加通话期间的客户端的负担，提高通话质量。
[0074] 图3是本发明实施例提供的音视频通信服务质量策略确定方法的流程示意图之二。参照图3，本发明实施例提供一种音视频通信服务质量策略确定方法，应用于服务器，所述方法具体可以包括如下步骤：
[0075] 步骤301，在所述客户端未进行音视频通信时，接收各个客户端上传的网络状态数据，对所述网络状态数据进行网格化划分。
[0076] 在客户端未进行音视频通信时(用户未使用音视频通话功能)，即在通话双方进行通话之前，客户端可以首先获取客户端自身的网络状态数据，将网络状态数据上传至服务器。
[0077] 服务器可以与多个客户端进行通信，服务器可以接收到各个客户端上传的网络状态数据，对所有网络状态数据以区域、时域两个维度进行网格化划分，得到多个网格下的网络状态数据。
[0078] 步骤302，针对各个网格下的网络状态数据，采用所述网格下的网络状态数据，对预先构建的深度学习神经网络进行训练，确定所述网格对应的最优Qos策略。
[0079] 具体的，可以针对各个网络下的网络状态数据，采用同一网格下的网络状态数据，对预先构建的深度学习神经网络进行训练。
[0080] 经过大数据深度学习和训练后，针对每个网格可以得出一套适合该网格内所有网络模式的最优Qos策略，且该最优Qos策略可以继续通过采集的用户数据进行实时更新和训练。
[0081] 步骤303，在所述客户端使用音视频通信功能时，在建立通话前，接收所述客户端上传的当前通话参数。
[0082] 在客户端进行音视频通信时(用户使用音视频通话功能)，在建立通话前可以客户端上传当前通话参数给服务器，服务器可以接收到客户端上传的当前通话参数。
[0083] 步骤304，基于所述当前通话参数确定所述客户端所处网格，将所述客户端所处网格对应的最优Qos策略发送至所述客户端。
[0084] 其中，客户端上传的当前通话参数可以包括位置信息、通话时间、网络连接方式和运营商名称中的至少一种。
[0085] 具体的，服务器可以基于客户端当前的位置信息确定客户端所处网格，将客户端所处网格对应的最优Qos策略发送至客户端。
[0086] 在本发明实施例中，通过在未进行音视频通信时，预先获取各个客户端上传的实时网络状态大数据，对网络状态数据进行网格化划分，可以通过深度学习和训练得出基于真实数据的不同网络状态下的最优Qos策略，并下发至各个网格中；当处于该网格下的客户端建立音视频实时通信时，服务器通过将客户端所处网格对应的最优Qos策略下发至客户端，使得客户端可以第一时间采用精准可靠的Qos策略，从而可以提高音视频实时通信质量。
[0087] 在一种可选的实施例中，所述网络状态数据包括上传时的位置信息、运营商名称、网络连接方式和网络嗅探结果中的至少一种；所述对所述网络状态数据进行网格化划分，包括：对各个客户端上传时的位置信息按照网格进行区域划分，对同一网格下的网络状态数据按照网络连接方式、运营商名称进行分类，得到同一网格下分类后的多组网络状态数据。
[0088] 具体的，服务器在收到各个客户端上传的网络状态数据后，可以对数据进行分类并归纳为数据集。
[0089] 首先，可以将所有位置信息以4平方米为一个网格进行区域的划分，所有位置信息在同一个网格下的网络状态数据并归为一类。接着，可以将同一个网格下的网络状态数据根据网络连接方式进行细分归类，Wi‑Fi连接方式为一类，运营商网络为一类。Wi‑Fi连接方式中可以根据不同运营商网络按类进行划分；运营商网络连接方式也可以根据不同运营商进行类别划分。
[0090] 对网络状态数据进行分类后，可以得到所有数据分类的格式为：网格标识‑Wi‑Fi/4G/5G‑运营商A/运营商B/运营商C/其他‑上传时间‑网络状态(上下行带宽、丢包率、抖动、时延)。
[0091] 在一种可选的实施例中，所述采用所述网格下的网络状态数据，对预先构建的深度学习神经网络进行训练，确定所述网格对应的最优Qos策略，包括：以同一网格下分类后的多组网络状态数据为预先构建的深度学习神经网络的输入值，以各Qos策略以及音视频通信参数为所述深度学习神经网络的隐藏层，以音视频通话质量Mos分值为所述深度学习神经网络的输出值，对所述深度学习神经网络进行训练；获取训练好的深度学习神经网络输出的多个Mos分值，将最高Mos分值对应的最优Qos策略作为所述网格对应的最优Qos策略。
[0092] 图4是本发明实施例提供的深度学习神经网络的架构图。参照图4，可以构建以分类整理后的网络状态大数据为深度学习神经网络的输入值进行，各Qos策略方法及音视频关键参数为隐藏层，音视频通话Mos分值为最终的输出值的训练框架。其中，隐藏层数据可以分别为FEC、码率、分辨率、帧率、H264/H265、Jitter Buffer、NACK；音视频通话Mos分值则通过PESQ(Perceptual Evaluation of Speech Quality，客观语音质量评估)/POLQA(Perceptual Objective Listening Quality Analysis，感知客观听力质量评估)/VMAF(Visual Multimethod Assessment Fusion，视频质量多方法评价融合)/PSNR(Peak Signal‑to‑Noise Ratio，峰值信噪比)构成。
[0093] 其中，分类整理后的大数据可以包括网络数据网格坐标、网络连接状态(Wi‑Fi/4G/5G)、运营商标识、网络数据上传时间、上行带宽、下行带宽、丢包率、抖动和延时。
[0094] 在本发明实施例中，通过将核心锚点数据的获取前移至通话前，通过大数据实时下发网络状态数据，可以减轻客户端处理压力，提高音视频通话质量。
[0095] 在现有的Qos策略方案中，应用时采用的Qos策略往往是通过人为经验而并非可靠的实验数据。在本发明实施例中，通过应用各类现网实际网络状态数据进行大数据分析和深度学习后得出的Qos模型来提供Qos策略指导，与现有技术方案相比，基于真实数据确定出的最优Qos策略更为客观和可靠。
[0096] 下面对本发明提供的音视频通信服务质量策略确定装置进行描述，下文描述的音视频通信服务质量策略确定装置与上文描述的音视频通信服务质量策略确定方法可相互对应参照。
[0097] 图5是本发明实施例提供的音视频通信服务质量策略确定装置的结构示意图之一。参照图5，本发明实施例提供一种音视频通信服务质量策略确定装置，应用于客户端，所述装置具体可以包括如下模块：
[0098] 获取模块501，用于在未进行音视频通信时，获取网络状态数据，将所述网络状态数据上传至服务器；
[0099] 上传模块502，用于在进行音视频通信时，在建立通话前将当前通话参数上传至所述服务器；
[0100] 执行模块503，用于接收所述服务器基于所述当前通话参数下发的最优Qos策略，并执行所述最优Qos策略。
[0101] 在一种可选的实施例中，所述获取模块501，具体用于：
[0102] 检测当前的网络连接状态；
[0103] 基于所述网络连接状态，确定传输网络；
[0104] 通过所述传输网络向服务器发送网络嗅探包，记录网络状态数据，将所述网络状态数据上传至服务器。
[0105] 在一种可选的实施例中，所述获取模块501，具体用于：
[0106] 若当前的网络连接状态为Wi‑Fi网络连接状态，采用Wi‑Fi网络作为传输网络；
[0107] 若当前的网络连接状态为运营商网络连接状态，在检测到有正在使用的应用时，采用所述应用的网络作为传输网络；
[0108] 若连续多次检测到当前的网络连接状态为运营商网络连接状态，采用运营商网络作为传输网络。
[0109] 在本发明实施例中，通过在未进行音视频通信时预先获取网络状态数据并上传至服务器，以及在建立会话前将当前通话参数上传至服务器，可以在通话前进行所有网络状态的获取，从而不会增加通话期间的客户端的负担，提高通话质量；通过向服务器发送当前通话参数，使得服务器基于当前通话参数实时下发最优Qos策略，从而提升音视频通信Qos策略决策及下发效率。
[0110] 图6是本发明实施例提供的音视频通信服务质量策略确定装置的结构示意图之二。参照图6，本发明实施例提供一种音视频通信服务质量策略确定装置，应用于服务器，所述装置具体可以包括如下模块：
[0111] 划分模块601，用于在所述客户端未进行音视频通信时，接收各个客户端上传的网络状态数据，对所述网络状态数据进行网格化划分；
[0112] 训练模块602，用于针对各个网格下的网络状态数据，采用所述网格下的网络状态数据，对预先构建的深度学习神经网络进行训练，确定所述网格对应的最优Qos策略；
[0113] 参数接收模块603，用于在所述客户端使用音视频通信功能时，在建立通话前，接收所述客户端上传的当前通话参数；
[0114] 发送模块604，用于基于所述当前通话参数确定所述客户端所处网格，将所述客户端所处网格对应的最优Qos策略发送至所述客户端。
[0115] 在一种可选的实施例中，所述网络状态数据包括上传时的位置信息、运营商名称、网络连接方式和网络嗅探结果中的至少一种；所述划分模块601，具体用于：
[0116] 对各个客户端上传时的位置信息按照网格进行区域划分，对同一网格下的网络状态数据按照网络连接方式、运营商名称进行分类，得到同一网格下分类后的多组网络状态数据。
[0117] 在一种可选的实施例中，所述训练模块602，具体用于：
[0118] 以同一网格下分类后的多组网络状态数据为预先构建的深度学习神经网络的输入值，以各Qos策略以及音视频通信参数为所述深度学习神经网络的隐藏层，以音视频通话质量Mos分值为所述深度学习神经网络的输出值，对所述深度学习神经网络进行训练；
[0119] 获取训练好的深度学习神经网络输出的多个Mos分值，将最高Mos分值对应的最优Qos策略作为所述网格对应的最优Qos策略。
[0120] 在本发明实施例中，通过在未进行音视频通信时，预先获取各个客户端上传的实时网络状态大数据，对网络状态数据进行网格化划分，可以通过深度学习和训练得出基于真实数据的不同网络状态下的最优Qos策略，并下发至各个网格中；当处于该网格下的客户端建立音视频实时通信时，服务器通过将客户端所处网格对应的最优Qos策略下发至客户端，使得客户端可以第一时间采用精准可靠的Qos策略，从而可以提高音视频实时通信质量。
[0121] 图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行音视频通信服务质量策略确定方法，应用于客户端，所述方法包括：
[0122] 在未进行音视频通信时，获取网络状态数据，将所述网络状态数据上传至服务器；
[0123] 在进行音视频通信时，在建立通话前将当前通话参数上传至所述服务器；
[0124] 接收所述服务器基于所述当前通话参数下发的最优Qos策略，并执行所述最优Qos策略；
[0125] 或，执行音视频通信服务质量策略确定方法，应用于服务器，所述方法包括：
[0126] 在所述客户端未进行音视频通信时，接收各个客户端上传的网络状态数据，对所述网络状态数据进行网格化划分；
[0127] 针对各个网格下的网络状态数据，采用所述网格下的网络状态数据，对预先构建的深度学习神经网络进行训练，确定所述网格对应的最优Qos策略；
[0128] 在所述客户端使用音视频通信功能时，在建立通话前，接收所述客户端上传的当前通话参数；
[0129] 基于所述当前通话参数确定所述客户端所处网格，将所述客户端所处网格对应的最优Qos策略发送至所述客户端。
[0130] 此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read‑Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0131] 又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的音视频通信服务质量策略确定方法，应用于客户端，所述方法包括：
[0132] 在未进行音视频通信时，获取网络状态数据，将所述网络状态数据上传至服务器；
[0133] 在进行音视频通信时，在建立通话前将当前通话参数上传至所述服务器；
[0134] 接收所述服务器基于所述当前通话参数下发的最优Qos策略，并执行所述最优Qos策略；
[0135] 或，执行上述各方法提供的音视频通信服务质量策略确定方法，应用于服务器，所述方法包括：
[0136] 在所述客户端未进行音视频通信时，接收各个客户端上传的网络状态数据，对所述网络状态数据进行网格化划分；
[0137] 针对各个网格下的网络状态数据，采用所述网格下的网络状态数据，对预先构建的深度学习神经网络进行训练，确定所述网格对应的最优Qos策略；
[0138] 在所述客户端使用音视频通信功能时，在建立通话前，接收所述客户端上传的当前通话参数；
[0139] 基于所述当前通话参数确定所述客户端所处网格，将所述客户端所处网格对应的最优Qos策略发送至所述客户端。
[0140] 以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0141] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0142] 最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
