首页 / 视频传输方法、电子设备及计算机存储介质

视频传输方法、电子设备及计算机存储介质实质审查 发明

具体技术细节

[0005] 本公开针对现有技术中存在的上述不足,提供一种视频传输方法、一种电子设备及一种计算机存储介质。
[0006] 第一方面,本公开实施例提供一种视频传输方法,所述方法包括:
[0007] 利用预先训练得到的自编码网络中的最终编码网络,对待传输视频帧的预测残差数据进行编码处理得到视频特征数据,所述自编码网络包括所述最终编码网络和最终解码网络;
[0008] 将所述视频特征数据传输至解码端设备。
[0009] 在一些实施例中,所述方法还包括训练得到所述自编码网络的步骤:
[0010] 根据样本视频帧的传输场景参数对初始网络进行调整,得到中间网络;
[0011] 根据样本视频帧的预测残差数据训练所述中间网络,得到所述自编码网络;其中,所述样本视频帧的传输场景参数与所述待传输视频帧的传输场景参数相同。
[0012] 在一些实施例中,所述初始网络包括初始编码网络和初始解码网络,所述中间网络包括中间编码网络和中间解码网络;所述根据样本视频帧的预测残差数据训练所述中间网络,得到所述自编码网络包括:
[0013] 将所述样本视频帧的预测残差数据输入所述中间编码网络,得到所述中间编码网络输出的中间特征数据;
[0014] 将所述中间特征数据输入所述中间解码网络,得到所述中间解码网络输出的中间预测残差数据;
[0015] 在所述样本视频帧的预测残差数据、所述中间特征数据以及所述中间预测残差数据不满足预设的优化停止条件的情况下,调整所述中间网络的参数,直至所述样本视频帧的预测残差数据以及调整后所得到的中间特征数据和中间预测残差数据满足预设的优化停止条件。
[0016] 在一些实施例中,所述样本视频帧的预测残差数据、所述中间特征数据以及所述中间预测残差数据满足预设的优化停止条件包括:
[0017] 所述中间特征数据的数据维度小于预设维度阈值,且所述样本视频帧的预测残差数据和所述中间预测残差数据之间的平均方差小于预设方差阈值。
[0018] 在一些实施例中,所述初始编码网络包括初始编码输入层、初始编码输出层和多个初始编码中间层,所述初始解码网络包括初始解码输入层、多个初始解码中间层和初始解码输出层和多个初始解码中间层;所述中间编码网络包括中间编码输入层、中间编码输出层和多个中间编码中间层,所述中间解码网络包括中间解码输入层、中间解码输出层和多个中间解码中间层;所述最终编码网络包括最终编码输入层、最终编码输出层和多个最终编码中间层,所述最终解码网络包括最终解码输入层、最终解码输出层和多个最终解码中间层;
[0019] 所述初始编码中间层、所述初始解码中间层、所述中间编码中间层、所述中间解码中间层、所述最终编码中间层以及所述最终解码中间层的类型均共包括如下三种:卷积层、池化层和激活层;
[0020] 所述初始编码输出层的类型、所述初始解码输入层的类型、所述中间编码输出层的类型、所述中间解码输入层的类型、所述最终编码输出层的类型以及所述最终解码输入层的类型均为全连接层;
[0021] 所述初始编码输入层的类型、所述初始解码输出层的类型、所述中间编码输入层的类型、所述中间解码输出层的类型、所述最终编码输入层的类型以及所述最终解码输出层的类型均相同。
[0022] 在一些实施例中,所述调整所述中间网络的参数包括:
[0023] 调整所述中间编码中间层的数量和所述中间解码中间层的数量,以及调整所述中间编码中间层的神经元数量和所述中间解码中间层的神经元数量。
[0024] 在一些实施例中,所述传输场景参数包括场景类别标识和传输带宽;所述根据样本视频帧的传输场景参数对初始网络进行调整,得到中间网络包括:
[0025] 根据所述场景类别标识和所述传输带宽,调整所述初始编码中间层的数量和所述初始解码中间层的数量,以及调整所述初始编码输出层输出数据的维度。
[0026] 第二方面,本公开实施例提供一种视频传输方法,所述方法包括:
[0027] 接收编码端设备传输的视频特征数据,其中,所述视频特征数据是所述编码端设备利用预先训练得到的自编码网络中的最终编码网络,对待传输视频帧的预测残差数据进行编码处理得到的;
[0028] 利用所述自编码网络中的最终解码网络,对所述视频特征数据进行解码处理,得到解码后的预测残差数据;
[0029] 根据所述解码后的预测残差数据确定传输后视频帧。
[0030] 第三方面,本公开实施例提供一种电子设备,包括:
[0031] 一个或多个处理器;
[0032] 存储装置,其上存储有一个或多个程序;
[0033] 当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如前所述的视频传输方法。
[0034] 第四方面,本公开实施例提供一种计算机存储介质,其上存储有计算机程序,所述程序被执行时实现如前所述的视频传输方法。
[0035] 编码端设备通过利用预先训练得到的自编码网络中的最终编码网络,对待传输视频帧的预测残差数据进行编码处理得到视频特征数据,将所述视频特征数据传输至解码端设备,以供解码端设备利用自编码网络中的最终解码网络来对视频特征数据进行解码等处理以得到传输后视频帧,这种视频传输方式相较于传统的视频编解码技术而言,既能够提高视频传输码率又能够提升视频帧编解码精度,还具有计算量小、计算复杂度低以及编解码时间耗时短的优势。

法律保护范围

涉及权利要求数量10:其中独权4项,从权-4项

1.一种视频传输方法,其特征在于,所述方法包括:
利用预先训练得到的自编码网络中的最终编码网络,对待传输视频帧的预测残差数据进行编码处理得到视频特征数据,所述自编码网络包括所述最终编码网络和最终解码网络;
将所述视频特征数据传输至解码端设备。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括训练得到所述自编码网络的步骤:
根据样本视频帧的传输场景参数对初始网络进行调整,得到中间网络;
根据样本视频帧的预测残差数据训练所述中间网络,得到所述自编码网络;其中,所述样本视频帧的传输场景参数与所述待传输视频帧的传输场景参数相同。
3.根据权利要求2所述的方法,其特征在于,所述初始网络包括初始编码网络和初始解码网络,所述中间网络包括中间编码网络和中间解码网络;所述根据样本视频帧的预测残差数据训练所述中间网络,得到所述自编码网络包括:
将所述样本视频帧的预测残差数据输入所述中间编码网络,得到所述中间编码网络输出的中间特征数据;
将所述中间特征数据输入所述中间解码网络,得到所述中间解码网络输出的中间预测残差数据;
在所述样本视频帧的预测残差数据、所述中间特征数据以及所述中间预测残差数据不满足预设的优化停止条件的情况下,调整所述中间网络的参数,直至所述样本视频帧的预测残差数据以及调整后所得到的中间特征数据和中间预测残差数据满足预设的优化停止条件。
4.根据权利要求3所述的方法,其特征在于,所述样本视频帧的预测残差数据、所述中间特征数据以及所述中间预测残差数据满足预设的优化停止条件包括:
所述中间特征数据的数据维度小于预设维度阈值,且所述样本视频帧的预测残差数据和所述中间预测残差数据之间的平均方差小于预设方差阈值。
5.根据权利要求3所述的方法,其特征在于,所述初始编码网络包括初始编码输入层、初始编码输出层和多个初始编码中间层,所述初始解码网络包括初始解码输入层、多个初始解码中间层和初始解码输出层和多个初始解码中间层;所述中间编码网络包括中间编码输入层、中间编码输出层和多个中间编码中间层,所述中间解码网络包括中间解码输入层、中间解码输出层和多个中间解码中间层;所述最终编码网络包括最终编码输入层、最终编码输出层和多个最终编码中间层,所述最终解码网络包括最终解码输入层、最终解码输出层和多个最终解码中间层;
所述初始编码中间层、所述初始解码中间层、所述中间编码中间层、所述中间解码中间层、所述最终编码中间层以及所述最终解码中间层的类型均共包括如下三种:卷积层、池化层和激活层;
所述初始编码输出层的类型、所述初始解码输入层的类型、所述中间编码输出层的类型、所述中间解码输入层的类型、所述最终编码输出层的类型以及所述最终解码输入层的类型均为全连接层;
所述初始编码输入层的类型、所述初始解码输出层的类型、所述中间编码输入层的类型、所述中间解码输出层的类型、所述最终编码输入层的类型以及所述最终解码输出层的类型均相同。
6.根据权利要求5所述的方法,其特征在于,所述调整所述中间网络的参数包括:
调整所述中间编码中间层的数量和所述中间解码中间层的数量,以及调整所述中间编码中间层的神经元数量和所述中间解码中间层的神经元数量。
7.根据权利要求5所述的方法,其特征在于,所述传输场景参数包括场景类别标识和传输带宽;所述根据样本视频帧的传输场景参数对初始网络进行调整,得到中间网络包括:
根据所述场景类别标识和所述传输带宽,调整所述初始编码中间层的数量和所述初始解码中间层的数量,以及调整所述初始编码输出层输出数据的维度。
8.一种视频传输方法,其特征在于,所述方法包括:
接收编码端设备传输的视频特征数据,其中,所述视频特征数据是所述编码端设备利用预先训练得到的自编码网络中的最终编码网络,对待传输视频帧的预测残差数据进行编码处理得到的;
利用所述自编码网络中的最终解码网络,对所述视频特征数据进行解码处理,得到解码后的预测残差数据;
根据所述解码后的预测残差数据确定传输后视频帧。
9.一种电子设备,包括:
一个或多个处理器;
存储装置,其上存储有一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1‑8任一项所述的视频传输方法。
10.一种计算机存储介质,其上存储有计算机程序,其中,所述程序被执行时实现如权利要求1‑8任一项所述的视频传输方法。

当前第2页 第1页 第2页 第3页
相关技术
存储介质相关技术
方法电子相关技术
刘伟伟发明人的其他相关专利技术