[0001] 本发明实施例涉及通信领域，具体而言，涉及一种画质增强网络训练方法及装置。

[0002] 随着互联网技术的不断发展，显示设备性能的不断提升，用户对于视频图像画质的要求也与日俱增。为了满足消费群体对视频图像画质的需求，画质增强已逐渐成为目前视频图像处理领域的关注重点。通常会对显示的视频图像进行画质增强处理，达到优化视频内容，改善画面质量和丰富视频信息量的目的。

[0003] 目前画质增强相关技术中存在采用传统视频图像算法处理的方法来增强单一损失的画质情况，或者级联多个传统算法来恢复多种损失(例如：噪声、模糊、雨雾效应、块效应等损失)同时出现的情况，但这种增强方式前后算法相互影响，耦合性极高，考虑到损失场景的多样性，在保证画质增强准确的前提下，各算法模块的最佳参数确定耗时会较长。随着深度学习热度的不断攀升，基于现有丰富的损失数据集，更多地采用深度学习的方式来提升整体的视频图像画质。但在现下设计深度学习目标函数时，多直接计算网络输出和目标输出的平均绝对误差等，或者依据经验实验给出多个目标函数子项的组合权重，对于多种损失同时存在的问题场景，没有从理论上考虑多种损失类型的耦合力度，因此画质增强网络对视频图像进行画质增强训练后输出的训练结果与输入的视频图像的画质损失类型及对应的损失强度权重没有关联，无法同时且有效恢复多种损失导致的退化。

[0021] 下文中将参考附图并结合实施例来详细说明本发明的实施例。

[0022] 需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

[0023] 本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图1是本发明实施例的一种画质增强网络训练方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述计算机终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

[0024] 存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的画质增强网络训练方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器
102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

[0025] 传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

[0026] 图2是根据本发明实施例的画质增强网络训练方法的流程图，如图2所示，该流程包括如下步骤：

[0027] 步骤S202，确定视频图像的画质损失类型及所述画质损失类型对应的损失强度权重；

[0028] 在本实施例的步骤S202中，包括：基于目标视频图像对所述视频图像进行画质评估，以确定所述视频图像的所述画质损失类型及所述画质损失类型对应的所述损失强度权重。

[0029] 在一个示例性实施例中，确定所述视频图像的所述画质损失类型对应的所述损失强度权重，包括：对所述视频图像进行指标计算，生成所述画质损失类型对应的第一指标；判断所述第一指标是否小于预设阈值，若所述第一指标大于等于所述预设阈值，所述画质损失类型对应的损失强度权重为0，若所述第一指标小于所述预设阈值，判断所述第一指标是否位于预设范围，若所述第一指标不位于所述预设范围内，对所述第一指标进行指标压缩，生成第二指标，若所述第一指标位于所述预设范围内，所述第二指标等于所述第一指标；对所述第二指标进行指标反转，生成第三指标，对所述第三指标进行归一化，得到所述损失强度权重。

[0030] 通过对视频图像进行画质评估，得到视频图像的画质损失类型可以用于指导之后目标函数的设计，得到的画质损失类型对应的损失强度权重用于对目标函数和所述画质增强网络训练的结果进行加权。

[0031] 在本实施例的步骤S202之前，还包括：设定需要评估的所述画质损失类型；其中，所述画质损失类型包括：噪声、模糊、雨雾效应、块效应和色彩失真。

[0032] 步骤S204，根据所述画质损失类型生成对应的画质增强网络并对所述画质增强网络进行训练，直至由所述损失强度权重进行加权的目标函数的目标函数曲线收敛时，输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果。

[0033] 在本实施例的步骤S204中，根据所述画质损失类型对所述视频图像进行所述画质增强训练至由所述损失强度权重进行加权的所述目标函数的所述目标函数曲线收敛时，输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果，包括：通过画质增强网络对所述视频图像进行所述画质增强训练，获得由所述损失强度权重进行加权的所述画质增强网络训练的结果，其中，所述画质增强网络包括多个画质增强子网络，所述画质增强子网络与所述画质损失类型相对应；根据所述画质损失类型及所述画质损失类型对应的所述损失强度权重、所述画质增强子网络训练的结果和目标视频图像计算得到由所述损失强度权重进行加权的所述目标函数；判断根据所述目标函数生成的所述目标函数曲线是否收敛，当所述目标函数曲线收敛的情况下，结束所述画质增强训练，输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果，当所述目标函数曲线不收敛的情况下，继续通过所述画质增强网络对所述视频图像进行所述画质增强训练。

[0034] 与画质损失类型相对应的画质增强子网络对视频图像的不同损失类型各自进行训练，每种损失类型都对应一个子网络，目标函数根据画质损失类型及画质损失类型对应的损失强度权重、画质增强子网络训练的结果和目标视频图像计算得到，由于是通过目标函数约束整个画质增强网络训练，目标函数生成的曲线是否收敛决定是否结束画质增强训练，画质增强网络输出的训练结果也与损失强度有关，因此实现了将训练的反馈机制和输入损失类型和损失强度相关联。

[0035] 在一个示例性实施例中，通过画质增强网络对所述视频图像进行所述画质增强训练，根据所述画质损失类型及所述画质损失类型对应的所述损失强度权重、画质增强子网络训练的结果和所述目标视频图像计算得到由所述损失强度权重进行加权的所述目标函数，包括：根据对应画质损失类型i的画质增强子网络输出的结果相对所述目标视频图像的损失确定目标子函数lossi；根据所述损失强度权重a＝[a1，a2，...，an]对所述目标子函数lossi进行加权得到目标函数loss＝a1loss1+a2loss2+...+anlossn，其中，i＝1,2,...,n。

[0036] 在一个示例性实施例中，获得由所述损失强度权重进行加权的所述画质增强网络训练的结果，包括：计算得到由所述损失强度权重进行加权的所述画质增强网络训练的结果out＝a1out1+a2out2+...+anoutn；其中，outi为每个画质增强子网络的输出，ai为所述outi对应的损失强度权重。

[0037] 在本实施例的步骤S204之后，还包括：对输出的收敛的所述画质增强网络训练的结果的画质增强效果进行评估，当收敛的所述画质增强网络训练的结果的画质增强效果符合预设标准时，保存所述画质增强网络的参数，结束对所述画质增强网络的训练，当收敛的所述画质增强网络训练的结果的画质增强效果不符合预设标准时，继续对所述画质增强网络进行训练。

[0038] 在本实施例中还提供了一种画质增强网络训练装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

[0039] 图3是根据本发明实施例的画质增强网络训练装置的结构框图，如图3所示，该画质增强网络训练装置300包括：确定模块10、输出模块20。

[0040] 确定模块10，用于确定视频图像的画质损失类型及所述画质损失类型对应的损失强度权重；

[0041] 输出模块20，用于根据所述画质损失类型生成对应的画质增强网络并对所述画质增强网络进行训练，直至由所述损失强度权重进行加权的目标函数的目标函数曲线收敛时，输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果。

[0042] 图4是根据本发明再一实施例的画质增强网络训练装置的结构框图，如图4所示，该画质增强网络训练装置400除包括图3所示的所有模块外，所述输出模块20还包括：第一训练单元21、计算单元22、第二训练单元23。

[0043] 第一训练单元21，用于通过画质增强网络对所述视频图像进行所述画质增强训练，获得由所述损失强度权重进行加权的所述画质增强网络训练的结果，其中，所述画质增强网络包括多个画质增强子网络，所述画质增强子网络与所述画质损失类型相对应；

[0044] 计算单元22，用于根据所述画质损失类型及所述画质损失类型对应的所述损失强度权重、所述画质增强子网络训练的结果和目标视频图像计算得到由所述损失强度权重进行加权的所述目标函数；

[0045] 第二训练单元23，用于判断根据所述目标函数生成的所述目标函数曲线是否收敛，当所述目标函数曲线收敛的情况下，结束所述画质增强训练，输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果，当所述目标函数曲线不收敛的情况下，继续通过所述画质增强网络对所述视频图像进行所述画质增强训练。

[0046] 图5是根据本发明另一实施例的画质增强网络训练装置的结构示意图,如图5所示，该画质增强网络训练装置500除包括图3所示的所有模块外，所述确定模块10还包括：确定单元11，用于基于目标视频图像对所述视频图像进行画质评估，以确定所述视频图像的所述画质损失类型及所述画质损失类型对应的所述损失强度权重。

[0047] 图6是根据本发明又一实施例的画质增强网络训练装置的结构示意图，如图6所示，该画质增强网络训练装置600除包括图3所示的所有模块外，所述装置还包括：评估模块30，用于对输出的所述收敛的画质增强网络训练结果的效果进行评估，当所述收敛的画质增强网络训练结果的画质增强效果符合预设标准时，保存画质增强网络的参数，结束对所述视频图像的画质增强训练，当所述收敛的画质增强网络训练结果的画质增强效果不符合预设标准时，继续对所述视频图像进行所述画质增强训练。

[0048] 为便于对本发明所提供的技术方案的理解，下面将结合具体场景的实施例进行详细的阐述。

[0049] 图7是根据本发明再一实施例的画质增强网络训练方法的流程图，如图7所示，该方法包括如下步骤：

[0050] S702，获得损失强度权重a；

[0051] 具体地，输入视频图像和目标视频图像一同经过画质评估模块，该模块用于计算输入视频图像的损失强度权重a＝[a1，a2，...，an]，n表示损失类型的数量。需要说明这里画质评估的损失类型是已经设定的，包括但不限于噪声、模糊、雨雾效应、块效应、色彩失真等损失类型。各损失类型的强度计算方式可以用客观评价指标标定。

[0052] 例如，损失模式1为图像模糊损失，通过图像模糊损失说明画质评估的处理过程，即需要画质评估模块计算出模糊损失强度权重a1。例如采用点锐度标定模糊程度，点锐度P计算公式如下：

[0053]

[0054] 其中，H、W为图像的长和宽，df为灰度变化幅值，dx为像元间的距离增量。公式可描述为：逐个对图像中的每点取8邻域点与之相减，先求8个差值的加权和，再将所有点所得值相加除以像素总个数。公式可以理解为对图像每点周围的灰度扩散程度的统计，即扩散程度越剧烈，其值越大，图像越清晰。

[0055] 其中，图8是根据本发明实施例的画质评估模块示意图，如图8所示，所述画质评估模块对输入视频图像进行指标计算生成点锐度指标c1，对点锐度c1进行指标压缩生成c1'，对c1'进行指标反转生成c1”，将所有指标进行归一化，具体步骤如下：

[0056] 对输入视频图像进行指标计算，计算出点锐度指标c1。当c1大于设定点锐度阈值S时，说明输入视频图像模糊程度低，具有清晰的边缘和细节，不需要进行模糊增强处理，则直接输出a1＝0，不需要再进行指标压缩和指标反转；当c1小于设定阈值S时，说明输入视频图像存在明显模糊。

[0057] 进行指标压缩，将点锐度c1转换到[0，1]范围内变成c1'，c1'表示[0，1]范围内的点锐度指标，方便后续多损失模式统一进行归一化。特别说明，如果计算的指标本来就是范围[0，1]则不需要经过指标压缩c1'＝c1。后续处理对权重越大的损失模式关注度越高，[0058] 进行指标反转，对于点锐度c1’再进行c1”＝1‑c1’的操作，c1”表示符合损失严重度的[0，1]范围内点锐度指标。特别说明，如果c1或c1'符合评价指标越大，对应的损失严重度越高，则不需要进行指标反转c1”＝c1'。同样的，可以得到其他损失模式2‑n的客观指标，由于指标的计算方式不是发明点，这里不详细介绍具体计算。假设模式2评价指标结果为c2”，...，模式n评价指标结果为cn”。

[0059] 最后，对于所有指标进行归一化，如公式(2)所示，这样画质评估模块就输出了各损失模式对应的损失强度权重a＝[a1，a2，...，an]。

[0060]

[0061] 步骤S704，将归一化的损失强度权重a＝[a1，a2，...，an]和输入视频图像共同输入到基于深度学习的画质增强模块中进行网络训练，直至训练收敛；

[0062] 具体地，图9是根据本发明实施例的画质增强网络示意图，如图9所示，深度学习网络根据每种损失类型都对应一个子网络，由多个子网络共同组成完整的画质增强网络。训练时，整体网络的目标函数由关注各类损失的目标子函数加权构成，这里加权权重就是画质评估输出的损失强度权重a＝[a1，a2，...，an]，目标子函数lossi是对应模式i的子网络输出和目标视频图像计算的损失，该损失计算方式和损失类型相关，比如颜色损失可以采用余弦相似性作为目标子函数。通过目标函数来约束整个网络训练，使得网络前向传播结果和目标输出不断接近，达到训练的目的。画质增强模块的整体目标函数loss如公式(3)所示。

[0063] loss＝a1loss1+a2loss2+...+anlossn，a1+a2+...+an＝1   (3)

[0064] 每个子网络输出outi会乘以对应的损失强度ai，i＝1,2,...,n，加权融合成深度学习网络最终输出out，如公式(4)所示。

[0065] out＝a1out1+a2out2+...+anoutn，a1+a2+...+an＝1   (4)

[0066] 步骤S706，画质增强网络训练目标函数曲线收敛，输出增强结果，若输出的画质增强结果主观效果良好，则保存此时网络模型参数，完成训练；否则继续训练，直到主观效果达标。

[0067] 图10是根据本发明再一实施例的画质增强网络示意图，如图10所示，画质增强网络采用多头多尾的结构相当于多个子网络输出。

[0068] 本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

[0069] 在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read‑Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

[0070] 本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

[0071] 在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

[0072] 本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

[0073] 显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

[0074] 以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。