首页 / 画质增强网络训练方法及装置

画质增强网络训练方法及装置公开 发明

具体技术细节

[0004] 本发明实施例提供了一种画质增强网络训练方法及装置,以至少解决相关技术中画质增强网络对视频图像进行画质增强训练后输出的训练结果与输入的视频图像的画质损失类型及对应的损失强度权重没有关联的问题。
[0005] 根据本发明的一个实施例,提供了一种画质增强网络训练方法,包括:确定视频图像的画质损失类型及所述画质损失类型对应的损失强度权重;根据所述画质损失类型生成对应的画质增强网络并对所述画质增强网络进行训练,直至由所述损失强度权重进行加权的目标函数的目标函数曲线收敛时,输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果。
[0006] 在一个示例性实施例中,根据所述画质损失类型对所述视频图像进行所述画质增强训练至由所述损失强度权重进行加权的所述目标函数的所述目标函数曲线收敛时,输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果,包括:通过画质增强网络对所述视频图像进行所述画质增强训练,获得由所述损失强度权重进行加权的所述画质增强网络训练的结果,其中,所述画质增强网络包括多个画质增强子网络,所述画质增强子网络与所述画质损失类型相对应;根据所述画质损失类型及所述画质损失类型对应的所述损失强度权重、所述画质增强子网络训练的结果和目标视频图像计算得到由所述损失强度权重进行加权的所述目标函数;判断根据所述目标函数生成的所述目标函数曲线是否收敛,当所述目标函数曲线收敛的情况下,结束所述画质增强训练,输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果,当所述目标函数曲线不收敛的情况下,继续通过所述画质增强网络对所述视频图像进行所述画质增强训练。
[0007] 根据本发明的另一个实施例,提供了一种画质增强网络训练装置,包括:确定模块,用于确定视频图像的画质损失类型及所述画质损失类型对应的损失强度权重;输出模块,用于根据所述画质损失类型生成对应的画质增强网络并对所述画质增强网络进行训练,直至由所述损失强度权重进行加权的目标函数的目标函数曲线收敛时,输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果。
[0008] 根据本发明的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0009] 根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0010] 通过本发明,由于在确定了视频图像的画质损失类型的基础上,可以针对不同的画质损失类型生成对应的画质增强网络并进行训练,在确定了画质损失类型对应的损失强度权重的基础上,可以对目标函数进行加权,进而在加权的目标函数生成的目标函数曲线收敛时,输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果,画质增强网络的目标函数及输出的训练结果均与画质损失强度权重相关。因此,可以解决根据画质损失类型生成画质增强网络进行训练后输出的训练结果与输入的视频图像的画质损失类型及对应的损失强度权重没有关联的问题,达到了训练后的画质增强网络能够更有效地处理多种画质损失类型的输入视频图像的效果。

法律保护范围

涉及权利要求数量14:其中独权4项,从权-4项

1.一种画质增强网络训练方法,其特征在于,包括:
确定视频图像的画质损失类型及所述画质损失类型对应的损失强度权重;
根据所述画质损失类型生成对应的画质增强网络并对所述画质增强网络进行训练,直至由所述损失强度权重进行加权的目标函数的目标函数曲线收敛时,输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果。
2.根据权利要求1所述的方法,其特征在于,根据所述画质损失类型对所述视频图像进行所述画质增强训练至由所述损失强度权重进行加权的所述目标函数的所述目标函数曲线收敛时,输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果,包括:
通过所述画质增强网络对所述视频图像进行所述画质增强训练,获得由所述损失强度权重进行加权的所述画质增强网络训练的结果,其中,所述画质增强网络包括多个画质增强子网络,所述画质增强子网络与所述画质损失类型相对应;
根据所述画质损失类型及所述画质损失类型对应的所述损失强度权重、所述画质增强子网络训练的结果和目标视频图像计算得到由所述损失强度权重进行加权的所述目标函数;
判断根据所述目标函数生成的所述目标函数曲线是否收敛,当所述目标函数曲线收敛的情况下,结束所述画质增强训练,输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果,当所述目标函数曲线不收敛的情况下,继续通过所述画质增强网络对所述视频图像进行所述画质增强训练。
3.根据权利要求2所述的方法,其特征在于,通过所述画质增强网络对所述视频图像进行所述画质增强训练,根据所述画质损失类型及所述画质损失类型对应的所述损失强度权重、画质增强子网络训练的结果和所述目标视频图像计算得到由所述损失强度权重进行加权的所述目标函数,包括:
根据对应画质损失类型i的画质增强子网络输出的结果相对所述目标视频图像的损失确定目标子函数lossi;
根据所述损失强度权重a=[a1,a2,...,an]对所述目标子函数lossi进行加权得到目标函数loss=a1loss1+a2loss2+...+anlossn,其中,i=1,2,...,n。
4.根据权利要求3所述的方法,其特征在于,获得由所述损失强度权重进行加权的所述画质增强网络训练的结果,包括:计算得到由所述损失强度权重进行加权的所述画质增强网络训练的结果out=a1out1+a2out2+...+anoutn;
其中,outi为每个画质增强子网络的输出,ai为所述outi对应的损失强度权重。
5.根据权利要求1所述的方法,其特征在于,确定所述视频图像的所述画质损失类型及所述画质损失类型对应的所述损失强度权重,包括:
基于目标视频图像对所述视频图像进行画质评估,以确定所述视频图像的所述画质损失类型及所述画质损失类型对应的所述损失强度权重。
6.根据权利要求5所述的方法,其特征在于,确定所述视频图像的所述画质损失类型对应的所述损失强度权重,包括:
对所述视频图像进行指标计算,生成所述画质损失类型对应的第一指标;
判断所述第一指标是否小于预设阈值,若所述第一指标大于等于所述预设阈值,所述画质损失类型对应的损失强度权重为0,若所述第一指标小于所述预设阈值,判断所述第一指标是否位于预设范围,若所述第一指标不位于所述预设范围内,对所述第一指标进行指标压缩,生成第二指标,若所述第一指标位于所述预设范围内,所述第二指标等于所述第一指标;
对所述第二指标进行指标反转,生成第三指标,对所述第三指标进行归一化,得到所述损失强度权重。
7.根据权利要求1所述的方法,其特征在于,确定所述视频图像的所述画质损失类型及所述画质损失类型对应的所述损失强度权重之前,还包括:
设定需要评估的所述画质损失类型;
其中,所述画质损失类型包括:噪声、模糊、雨雾效应、块效应和色彩失真。
8.根据权利要求1所述的方法,其特征在于,输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果之后,还包括:
对输出的收敛的所述画质增强网络训练的结果的画质增强效果进行评估,当收敛的所述画质增强网络训练的结果的画质增强效果符合预设标准时,保存所述画质增强网络的参数,结束对所述画质增强网络的训练,当收敛的所述画质增强网络训练的结果的画质增强效果不符合预设标准时,继续对所述画质增强网络进行训练。
9.一种画质增强网络训练装置,其特征在于,包括:
确定模块,用于确定视频图像的画质损失类型及所述画质损失类型对应的损失强度权重;
输出模块,用于根据所述画质损失类型生成对应的画质增强网络并对所述画质增强网络进行训练,直至由所述损失强度权重进行加权的目标函数的目标函数曲线收敛时,输出由所述损失强度权重进行加权的收敛的所述画质增强网络训练的结果。
10.根据权利要求9所述的装置,其特征在于,所述输出模块还包括:
第一训练单元,用于通过画质增强网络对所述视频图像进行所述画质增强训练,获得由所述损失强度权重进行加权的所述画质增强网络训练的结果,其中,所述画质增强网络包括多个画质增强子网络,所述画质增强子网络与所述画质损失类型相对应;
计算单元,用于根据所述画质损失类型及所述画质损失类型对应的所述损失强度权重、所述画质增强子网络训练的结果和目标视频图像计算得到由所述损失强度权重进行加权的所述目标函数;
第二训练单元,用于判断根据所述目标函数生成的所述目标函数曲线是否收敛,当所述目标函数曲线收敛的情况下,结束所述画质增强训练,输出由所述损失强度权重进行加权的所述收敛的所述画质增强网络训练的结果,当所述目标函数曲线不收敛的情况下,继续通过所述画质增强网络对所述视频图像进行所述画质增强训练。
11.根据权利要求9所述的装置,其特征在于,所述确定模块还包括:
确定单元,用于基于目标视频图像对所述视频图像进行画质评估,以确定所述视频图像的所述画质损失类型及所述画质损失类型对应的所述损失强度权重。
12.根据权利要求9所述的装置,其特征在于,所述装置还包括:
评估模块,用于对输出的收敛的所述画质增强网络训练的结果的画质增强效果进行评估,当收敛的所述画质增强网络训练的结果的画质增强效果符合预设标准时,保存所述画质增强网络的参数,结束对所述画质增强网络的训练,当收敛的所述画质增强网络训练的结果的画质增强效果不符合预设标准时,继续对所述画质增强网络进行训练。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被处理器执行时实现所述权利要求1至8任一项中所述的方法的步骤。
14.一种电子装置,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现所述权利要求1至
8任一项中所述的方法的步骤。

当前第2页 第1页 第2页 第3页