首页 / 数字电视的音视频编码处理方法、装置及设备

数字电视的音视频编码处理方法、装置及设备有效专利 发明

技术领域

[0001] 本申请涉及音视频编码技术领域,尤其涉及一种数字电视的音视频编码处理方法、装置及设备。

相关背景技术

[0002] 在当今的数字电视领域,随着技术的不断进步和消费者对高质量音视频内容需求的日益增长,音视频编码处理方法成为了提升用户观看体验的关键。传统的音视频编码处理方法面临着多方面的挑战,如原始信号中的噪声问题、信号传输过程中的数据丢失、以及播放时音视频不同步的问题,这些问题均严重影响了观看体验。
[0003] 原始音视频信号往往含有各种背景噪音和干扰,这不仅降低了信号质量,也增加了编码难度,进而影响了传输效率和最终播放质量。因此,对原始信号进行有效的去噪处理和信号增强变得至关重要。其次,随着网络条件的多样性和不稳定性,如何确保音视频数据的高效、可靠传输,特别是在宽带有限或网络拥塞的情况下,成为了另一个挑战。传统的单一路径传输模型难以应对网络波动,易导致数据丢失或播放卡顿,严重影响用户体验。音视频不同步是影响数字电视观看体验的一个常见问题,它不仅会使观众感到困惑,还会降低观看的舒适度。

具体实施方式

[0012] 本申请实施例提供了一种数字电视的音视频编码处理方法、装置及设备。本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”或“具有”及其任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0013] 为便于理解,下面对本申请实施例的具体流程进行描述,请参阅图1,本申请实施例中数字电视的音视频编码处理方法的一个实施例包括:步骤101、对原始音视频信号进行去噪处理和信号增强,得到第一音视频信号,并对第一音视频信号进行内容提取和自适应分层编码,得到第一音视频数据流;
可以理解的是,本申请的执行主体可以为数字电视的音视频编码处理装置,还可
以是终端或者服务器,具体此处不做限定。本申请实施例以服务器为执行主体为例进行说明。
[0014] 具体的,采用小波变换算法对原始音视频信号进行去噪处理,该算法能有效地分离信号中的噪声和有用信息,得到去噪后的音视频信号。对去噪音视频信号进行动态范围压缩,减少信号的动态范围,得到压缩后的音视频信号,减少信号的复杂度,提高处理效率。对压缩的音视频信号进行局部对比度增强和格式化处理,改善信号的视觉效果,得到更为清晰的第一音视频信号。通过卷积神经网络(CNN)模型对第一音视频信号进行内容提取,通过该模型可以有效地从第一音视频信号中提取出重要的内容信息。对音视频信号内容信息进行内容特性解析,得到反映视频内容特性的集合,有助于理解音视频内容的结构和特点。
基于内容特性集合对第一音视频信号进行自适应分层处理,根据内容的不同特性,将信号分解为多个目标编码层次,每个层次针对内容的特定部分,这种分层方式使得编码过程可以根据内容的重要性和特点进行优化。每个目标编码层次将有其对应的编码策略设置,这些策略根据内容的特性来制定,以确保编码效率和质量。根据设定的目标编码策略,对每个目标编码层次进行信号编码,将第一音视频信号转换为第一音视频数据流。
[0015] 步骤102、对第一音视频数据流进行特征分解和数据封装,得到多个第二音视频数据流;具体的,对第一音视频数据流中的视频数据进行帧间差异计算,通过比较相邻帧
之间的差异获取帧间差异值,帮助识别视频内容中发生变化的时刻,这些变化时刻可能是由于场景转换或者重要动作的发生。对视频数据进行颜色直方图差异计算,计算提供关于视频中颜色变化的详细信息,得到颜色直方图差异值。通过这两种差异值,可以准确地确定第一音视频数据流的多个第一特征分解点,这些分解点标志着视频内容中重要变化的位置。对第一音视频数据流中的音频数据进行音频频谱特征分解,通过分析音频信号的频谱特征生成多个第二特征分解点。音频频谱分解能够揭示音频信号中的主要成分和特性,如高低频成分的变化,从而为音频内容的变化提供依据。对视频的第一特征分解点和音频的第二特征分解点进行特征分界点综合分析,考虑音视频数据的整体特征,确定多个目标特征分解点。基于所确定的多个目标特征分解点,对第一音视频数据流进行数据流分解,将原始的音视频数据流分解为多个分解数据流。每个分解数据流代表了原始数据流中的一个段落,这些段落根据内容的变化特征被划分开来,确保分解后的数据流能够更好地反映原始内容的结构和特性。对分解数据流进行数据封装,将每个分解数据流包装成独立的第二音视频数据流。封装过程不仅包括数据的打包,还涉及到编码和格式化处理,确保每个第二音视频数据流都可以在数字电视系统中高效传输和播放。
[0016] 步骤103、通过多路径传输模型创建多个第二音视频数据流的初始传输参数集合,并根据初始传输参数集合对多个第二音视频数据流进行数据传输;具体的,初始化多个候选传输路径,确保数据传输的灵活性和高效性,通过分析网络的拓扑结构和带宽资源来选定这些路径。通过预置的图神经网络对多个候选传输路径进行传输模型构建。图神经网络能够基于网络的实时状态和历史数据预测每条路径的传输特性,构建出一个既反映当前网络状态又考虑到历史数据的多路径传输模型。通过该多路径传输模型对多个第二音视频数据流进行传输路径匹配,确保每个数据流被分配到最适合其特性的路径上。匹配过程考虑数据流的大小、传输需求以及网络的当前状态,为每个数据流找到一个传输效率最高、延迟最低的路径。获取网络条件参数,包括网络拥塞情况、带宽变化、延迟等,基于这些参数,分别为每个目标传输路径计算出最优的传输速率和重传策略。
根据每个目标传输路径的传输速率和重传策略,创建多个第二音视频数据流的初始传输参数集合。这个集合中包含了所有必要的参数设置,如传输速率、重传次数、重传间隔等,旨在为每个数据流的传输提供一个初始的、最优化的参数配置。将多个第二音视频数据流分配到它们对应的目标传输路径上,并根据所创建的初始传输参数集合进行多路径数据传输。
每个数据流将根据其特定的参数设置在选定的路径上进行传输,这不仅提高了传输的效率,还增强了数据传输过程的稳定性和可靠性。
[0017] 步骤104、通过数字电视接收多个第二音视频数据流,并对多个第二音视频数据流进行数据流解码和深度信号融合,得到第二音视频信号;具体的,通过数字电视接收多个第二音视频数据流,每个数据流包含了音视频内
容的一部分或特定方面的信息。对多个第二音视频数据流进行数据流解码,将数据流中的编码信号转换回可播放的音视频信号。通过预置的RNN模型分别对多个解码音视频信号进行深度信号特征提取。RNN模型适用于处理序列数据,如音视频信号,模型能够捕获这些数据中随时间变化的特征。利用RNN模型,从每个解码音视频信号中提取出一组深度信号特征,这些特征集合反映了信号的关键内容和属性。根据深度信号特征集合对多个解码音视频信号进行信号融合,将多个解码音视频信号合成为一个单一的、高质量的第二音视频信号。信号融合过程考虑不同信号间的关系和互补性,通过调整和结合这些信号的特征,实现内容的无缝整合。融合过程根据提取的深度信号特征动态地调整融合策略,以确保最终得到的第二音视频信号在视觉和听觉上都具有最佳质量。
[0018] 步骤105、通过数字电视播放第二音视频信号,并对第二音视频信号进行音视频同步校正和状态监控,得到播放状态数据;具体的,根据深度信号特征集合对数字电视中的播放器进行参数配置。深度信号
特征集合包含了影响播放质量和观看体验的关键信息,如信号的动态范围、对比度、色彩深度等。通过调整播放器的参数以匹配这些特征,确保第二音视频信号在播放时能够达到最佳的视觉和听觉效果。当第二音视频信号通过播放器播放时,进行音视频同步校正。同步校正工作依赖于算法分析和调整音频和视频数据流的播放速率,确保它们能够在正确的时间点上完美对齐。同时,对播放器进行状态监控,包括监测播放器的运行状态、数据缓冲情况以及网络连接质量等,从而实时捕捉任何可能影响播放体验的问题。根据初始状态数据分析播放器的性能和网络环境的稳定性。这些初始状态数据可能包含噪声或非标准化的信息,因此需要进行数据清洗和数据标准化处理。数据清洗包括去除错误的、重复的或无关的数据记录,以确保数据的准确性和相关性。数据标准化处理则是将数据转换为一种更容易分析和理解的格式,得到的播放状态数据反映播放器的性能和播放过程中的各种状态。
[0019] 步骤106、根据播放状态数据对初始传输参数集合进行状态反馈优化,生成目标传输参数集合。
[0020] 具体的,对播放状态数据进行状态特征编码,其中,状态数据包含了有关播放器性能、网络状况和用户体验等方面的信息。通过状态特征编码,将数据转换成状态特征编码向量,这些向量以结构化的形式反映播放过程中的关键状态特征。将状态特征编码向量输入预置的决策树模型中。决策树模型是一种被应用于分类和回归任务的机器学习模型,它通过分析输入的特征向量来生成相应的策略,用于生成每个目标传输路径的初始参数调整执行策略。获取每个目标传输路径对应的奖励反馈参数,这些参数反映了之前传输策略的效果,包括传输延迟、数据丢包率和用户满意度等。利用奖励反馈参数,对每个目标传输路径进行策略梯度分析,策略梯度分析是一种基于梯度下降的优化方法,指出如何调整传输策略以提高奖励反馈参数,即提升传输效果。根据策略梯度对奖励反馈参数进行策略参数反馈分析,计算得到每个目标传输路径的策略参数反馈值。这些反馈值为参数调整提供了明确的方向和幅度,指导如何优化初始参数调整执行策略以获得更好的传输性能。根据策略参数反馈值对初始参数调整执行策略进行优化,生成每个目标传输路径的目标参数调整执行策略。目标策略考虑最新的网络状况和用户体验反馈,能够更准确地满足传输需求。根据目标参数调整执行策略,对初始传输参数集合进行全面的参数优化,生成目标传输参数集合。该集合包含优化后的传输速率、编码质量、重传策略等关键参数,确保音视频数据的传输过程更加高效、稳定,并且能够适应网络环境的变化,最终提升用户的观看体验。
[0021] 本申请实施例中,通过采用小波变换算法对原始音视频信号进行去噪处理,以及对去噪后的信号进行动态范围压缩和局部对比度增强,显著提高了音视频信号的清晰度和观赏性。小波变换算法能够有效去除信号中的噪声成分,而动态范围压缩和局部对比度增强进一步确保了信号的细节和对比度得到保留和突出,使得最终的音视频内容更加生动和逼真。通过多路径传输模型和基于内容特性的自适应分层编码,优化了内容的传输过程。多路径传输模型允许数据流通过不同的网络路径传输,有效降低了单一路径故障导致的传输中断风险,提高了数据传输的可靠性。自适应分层编码根据内容的不同特性,如运动速度、颜色变化等,动态调整编码策略,使得在有限的带宽条件下也能传输高质量的音视频内容。通过对接收到的音视频数据流进行深度信号融合和音视频同步校正,显著提升了播放的稳定性和同步性。深度信号融合利用先进的算法合并不同传输路径上的信号,补偿了可能的数据丢失,确保了信号的完整性。音视频同步校正确保了音频和视频的播放时间严格一致,避免了观看过程中的视听不匹配问题。通过实时监控播放状态并对播放和传输参数进行动态反馈优化,进一步提升了整体的观看体验。状态监控能够及时发现播放过程中的问题,如缓冲延迟、画面冻结等,而动态反馈机制能够根据这些信息调整传输速率、编码质量等参数,实时优化播放效果,确保用户能够享受到流畅且高质量的音视频内容。
[0022] 在一具体实施例中,执行步骤101的过程可以具体包括如下步骤:(1)采用小波变换算法对原始音视频信号进行去噪处理,得到去噪音视频信号;
(2)对去噪音视频信号进行动态范围压缩,得到压缩音视频信号;
(3)对压缩音视频信号进行局部对比度增强和格式化处理,得到第一音视频信号;
(4)通过CNN模型对第一音视频信号进行内容提取,得到音视频信号内容信息;
(5)对音视频信号内容信息进行内容特性解析,得到内容特性集合;
(6)根据内容特性集合对第一音视频信号进行自适应分层,得到多个目标编码层次;
(7)对多个目标编码层次进行编码策略设置,得到每个目标编码层次的目标编码策略;
(8)根据目标编码策略对第一音视频信号进行信号编码,得到第一音视频数据流。
[0023] 具体的,采用小波变换算法对原始音视频信号进行去噪处理,分离信号中的有用信息与噪声。小波变换算法通过在多个尺度上分析信号,有效地区分信号中的细节部分(如边缘)和平滑部分,使得去噪后的音视频信号保留更多有价值的信息。例如,在处理一个包含背景噪音和对话的音频信号时,小波变换能够辨别出对话的波形与背景噪音的波形差异,从而有效去除背景噪音,保留清晰的对话内容。对去噪后的音视频信号进行动态范围压缩,减少信号的动态范围,使信号在不同播放环境下都能保持良好的视听效果。动态范围压缩通过调整信号中极高和极低幅度的部分,减少它们与信号平均水平之间的差异,使得细节更加明显,同时避免音量过大或过小的问题。对压缩后的音视频信号进行局部对比度增强和格式化处理。局部对比度增强着重于改善影像的视觉效果,特别是在细节丰富的区域,如光影交错的场景,通过增加局部对比度,使细节更加鲜明,提升观看体验。格式化处理则确保信号格式与后续处理和播放设备的兼容性。例如,在处理一段夜景视频时,局部对比度增强可以使暗部细节更加可见,而格式化处理则保证了视频能在不同的数字电视上播放。利用卷积神经网络(CNN)模型对第一音视频信号进行内容提取,CNN模型能够从音视频信号中识别出重要的内容信息,如场景特征、对象和语音指令。例如,通过CNN模型处理一段城市街景的视频,可以识别出车辆、行人等关键元素,以及背景的噪声和对话内容。对提取的音视频信号内容信息进行内容特性解析,得到内容的特性集合,如移动速度、颜色变化和声音的节奏等。基于内容特性集合,第一音视频信号被进行自适应分层,根据不同内容的重要性和特点,将信号分解为多个目标编码层次。分层策略允许对不同层次的内容采用不同的编码策略,优化存储和传输效率。例如,在一个含有多层对话和背景音乐的场景中,通过自适应分层,可以将对话和背景音乐分别处理,以确保对话的清晰度和背景音乐的丰富性。为每个目标编码层次设定编码策略,并根据这些策略对第一音视频信号进行信号编码,这些策略考虑了各层次内容的特点和传输需求,如对高动态场景使用高比特率编码,对静态场景使用低比特率编码。最终,得到第一音视频数据流。
[0024] 在一具体实施例中,执行步骤102的过程可以具体包括如下步骤:(1)对第一音视频数据流中的视频数据进行帧间差异计算,得到帧间差异值;
(2)对第一音视频数据流中的视频数据进行颜色直方图差异计算,得到颜色直方图差异值;
(3)根据帧间差异值和颜色直方图差异值确定第一音视频数据流的多个第一特征分解点;
(4)对第一音视频数据流中的音频数据进行音频频谱特征分解,生成多个第二特征分解点;
(5)对多个第一特征分解点和多个第二特征分解点进行特征分界点综合分析,得到多个目标特征分解点;
(6)根据多个目标特征分解点对第一音视频数据流进行数据流分解,得到多个分解数据流;
(7)对多个分解数据流进行数据封装,得到多个第二音视频数据流。
[0025] 具体的,对第一音视频数据流中的视频数据进行帧间差异计算,比较相邻两帧之间的差异,评估视频中的运动或场景变化程度。通过计算这些差异,得到帧间差异值,这些值高度反映了视频内容的动态变化。进行颜色直方图差异计算,评估颜色分布的变化。颜色直方图以图形方式表示不同颜色在图像中的频率,对比相邻帧的颜色直方图,得到颜色直方图差异值。该值能够揭示场景颜色变化的细节,如日落时天空颜色的渐变,或是灯光突变带来的颜色差异,为视频内容的颜色变化提供量化的度量。将帧间差异值和颜色直方图差异值结合起来,确定第一音视频数据流的多个第一特征分解点。特征分解点标志着视频内容中重要的变化,比如从一个场景跳转到另一个场景的瞬间,或是从静态到动态的转变。同时,对第一音视频数据流中的音频数据进行音频频谱特征分解,通过分析音频信号的频谱生成多个第二特征分解点。音频频谱特征分解能够揭示音频中的主要频率成分,形成第二特征分解点。对多个第一特征分解点和多个第二特征分解点进行特征分界点综合分析。融合视频和音频的关键特征点,确定多个目标特征分解点,这些点代表了音视频内容的关键变化节点,是数据流分解的依据。基于目标特征分解点,将第一音视频数据流分解为多个分解数据流。按照内容的变化将数据流切分成较小的段落,每个段落聚焦于特定的内容或场景。对分解数据流进行数据封装,生成多个第二音视频数据流。数据封装是指将分解后的数据流按照一定的格式和协议进行打包,使其适用于不同的播放和传输需求。通过数据封装,每个分解后的数据流都被赋予了独立的标识和必要的元数据,便于在数字电视系统中的管理和调用。
[0026] 在一具体实施例中,执行步骤103的过程可以具体包括如下步骤:(1)初始化多个候选传输路径,并通过预置的图神经网络对多个候选传输路径进行传输模型构建,得到多路径传输模型;
(2)通过多路径传输模型对多个第二音视频数据流进行传输路径匹配,得到每个第二音视频数据流的目标传输路径;
(3)获取网络条件参数,并根据网络条件参数分别计算每个目标传输路径的传输速率和重传策略;
(4)根据每个目标传输路径的传输速率和重传策略,创建多个第二音视频数据流的初始传输参数集合;
(5)将多个第二音视频数据流分配到对应的目标传输路径,并根据初始传输参数集合对多个第二音视频数据流进行多路径数据传输。
[0027] 具体的,初始化多个候选传输路径。这些路径基于网络的物理拓扑、历史性能数据或预期网络负载来选定。例如,在一个跨地区的数字电视传输系统中,候选路径可能包括通过不同地区的网络骨干连接,每条路径都有其独特的延迟、带宽和丢包率特性。通过预置的图神经网络对候选传输路径进行传输模型构建。图神经网络(GNN)是一种机器学习模型,适用于处理图结构数据,如网络拓扑。GNN能够学习到网络中各节点(如路由器、交换机)和边(即连接)的特性,以及它们如何影响整体的传输性能。通过训练,GNN模型能够预测在特定网络条件下,各条路径的性能表现,从而构建出一个反映真实网络状态的多路径传输模型。对多个第二音视频数据流进行传输路径匹配。考虑每个数据流的特性(如大小、实时性要求)以及每条路径的性能(如预期延迟、带宽),通过模型选择出最适合每个数据流的目标传输路径。获取网络条件参数,如当前的网络拥塞水平、各路径的实时带宽和延迟等。基于这些参数,对每个目标传输路径分别计算传输速率和重传策略。根据网络性能模型,考虑数据包大小、传输窗口、拥塞控制算法等因素。通过计算,为每个数据流设定一组初始传输参数,这组参数旨在在当前网络条件下实现最优的传输效率和可靠性。将多个第二音视频数据流分配到它们各自的目标传输路径上,并根据各自的初始传输参数集合进行多路径数据传输。每个数据流都根据其特定的参数在选定的路径上进行传输,以此来适应可能存在的网络变化和拥塞。例如,如果某条路径突然变得拥塞,相关的数据流可以通过动态调整其传输参数(如降低发送速率或切换到备用路径)来适应这一变化,从而保证传输的连续性和数据流的质量。
[0028] 在一具体实施例中,执行步骤104的过程可以具体包括如下步骤:(1)通过数字电视接收多个第二音视频数据流;
(2)对多个第二音视频数据流进行数据流解码,得到多个解码音视频信号;
(3)通过预置的RNN模型分别对多个解码音视频信号进行深度信号特征提取,得到每个解码音视频信号的深度信号特征集合;
(4)根据深度信号特征集合对多个解码音视频信号进行信号融合,得到第二音视频信号。
[0029] 具体的,数字电视系统通过其接收模块得到多个第二音视频数据流。这些数据流可能通过不同的传输路径传送,每个都包含了电视节目的一部分内容,例如,一个数据流可能携带主要的视频信号,而其他数据流则可能包含不同角度的镜头、额外的音轨或特殊效果。对接收到的第二音视频数据流进行解码。解码是将压缩的数据流还原为可播放的音视频信号的过程,要求系统能够处理各种编码格式。解码后,得到多个解码音视频信号,每个信号代表了原始节目的不同方面。通过预置的循环神经网络(RNN)模型对解码音视频信号进行深度信号特征提取。RNN模型适合处理序列数据,如视频帧序列或音频采样,能够考虑到数据中的时间依赖性。通过RNN模型,从每个解码信号中提取出一组深度信号特征,这些特征反映了信号的关键属性,如动作模式、场景变化、音调和节奏等。基于提取的深度信号特征集合,对多个解码音视频信号进行信号融合。通过深度学习模型动态地决定如何最佳地结合不同的信号。最终生成一个融合后的第二音视频信号。
[0030] 在一具体实施例中,执行步骤105的过程可以具体包括如下步骤:(1)根据深度信号特征集合对数字电视中的播放器进行参数配置,并通过播放器播放第二音视频信号;
(2)对第二音视频信号进行音视频同步校正,并对播放器进行状态监控,得到初始状态数据;
(3)对初始状态数据进行数据清洗和数据标准化处理,得到播放状态数据。
[0031] 具体的,根据深度信号特征集合对数字电视中的播放器进行参数配置。深度信号特征集合包括视频的分辨率、帧率、动态范围,以及音频的采样率、声道数等信息。这些特征为播放器提供了必要的信息,以便对其进行相应的配置,确保播放器能够充分利用这些信号特征来提供最佳的播放质量。例如,如果特征集合表明视频信号具有高动态范围(HDR)内容,则播放器将配置为HDR模式,以展示更丰富的颜色和更深的对比度。同样,如果音频信号包含多个声道,则播放器将被配置为多声道输出,以提供更加沉浸的听觉体验。播放第二音视频信号时,进行音视频同步校正。音视频不同步可能由于编码、传输或解码过程中的延迟差异造成。播放器通过内置的同步校正机制,监测音频和视频之间的时间偏差,并动态调整以消除这些偏差。例如,如果视频信号比音频信号提前,则播放器可以暂时延迟视频的播放,或加快音频的播放速度,以实现同步。同时,对播放器进行状态监控,如监测缓冲状况、播放错误和网络连接状态。通过监控数据获得播放过程的初始状态数据。对初始状态数据进行数据清洗和数据标准化处理。数据清洗包括去除无关或错误的数据记录,识别并修正异常值,而数据标准化则是将数据转换为一种更一致的格式,便于分析和理解,最终得到标准化播放状态数据,这些数据可以用来分析播放性能,识别和解决播放过程中的问题,如发现播放延迟的增加可能指示网络拥塞问题,从而可以采取措施如降低播放质量或切换到更佳的网络连接以改善播放体验。
[0032] 在一具体实施例中,执行步骤106的过程可以具体包括如下步骤:(1)对播放状态数据进行状态特征编码,得到状态特征编码向量;
(2)将状态特征编码向量输入预置的决策树模型进行策略生成,得到每个目标传输路径的初始参数调整执行策略;
(3)获取每个目标传输路径对应的奖励反馈参数,并对每个目标传输路径进行策略梯度分析,得到每个目标传输路径的策略梯度;
(4)根据策略梯度对奖励反馈参数进行策略参数反馈分析,得到每个目标传输路径的策略参数反馈值;
(5)根据策略参数反馈值对初始参数调整执行策略进行参数调整执行策略优化,生成每个目标传输路径的目标参数调整执行策略;
(6)根据目标参数调整执行策略对初始传输参数集合进行参数优化,生成目标传输参数集合。
[0033] 具体的,对播放状态数据进行状态特征编码,将数据转换成一种更适合机器处理的形式。播放状态数据包括播放延迟、缓冲次数、数据丢包率等,这些数据被编码成状态特征编码向量。例如,如果一个视频播放过程中经历了频繁的缓冲,这一信息将被编码到向量中,反映播放质量的下降。将状态特征编码向量输入预置的决策树模型中。决策树模型是一种机器学习方法,能够基于输入的特征向量生成决策规则,从而产生策略。模型根据状态特征编码向量生成每个目标传输路径的初始参数调整执行策略。这些策略包括对传输速率、重传策略等参数的初步调整建议。例如,如果特征编码向量指示一个路径的数据丢包率高,决策树模型可能推荐降低该路径的传输速率。获取每个目标传输路径对应的奖励反馈参数。这些参数反映了先前策略的效果,如传输的成功率和效率。基于反馈对每个目标传输路径进行策略梯度分析,这是一种基于梯度下降方法的优化技术,用于计算每个策略调整方向和幅度的最佳估计。策略梯度分析的结果是每个目标传输路径的策略梯度,指示如何调整策略以最大化奖励。根据策略梯度对奖励反馈参数进行策略参数反馈分析,得到每个目标传输路径的策略参数反馈值,这些值具体指示了各个参数(如传输速率、重传次数)的调整量。根据策略参数反馈值对初始参数调整执行策略进行优化,生成每个目标传输路径的目标参数调整执行策略。例如,如果一个路径的奖励反馈指示通过增加重传次数可以显著减少数据丢失,那么该路径的执行策略将相应调整。根据目标参数调整执行策略对初始传输参数集合进行综合优化,生成目标传输参数集合。
[0034] 上面对本申请实施例中数字电视的音视频编码处理方法进行了描述,下面对本申请实施例中数字电视的音视频编码处理装置进行描述,请参阅图2,本申请实施例中数字电视的音视频编码处理装置一个实施例包括:编码模块201,用于对原始音视频信号进行去噪处理和信号增强,得到第一音视频信号,并对第一音视频信号进行内容提取和自适应分层编码,得到第一音视频数据流;
封装模块202,用于对第一音视频数据流进行特征分解和数据封装,得到多个第二音视频数据流;
传输模块203,用于通过多路径传输模型创建多个第二音视频数据流的初始传输
参数集合,并根据初始传输参数集合对多个第二音视频数据流进行数据传输;
解码模块204,用于通过数字电视接收多个第二音视频数据流,并对多个第二音视频数据流进行数据流解码和深度信号融合,得到第二音视频信号;
校正模块205,用于通过数字电视播放第二音视频信号,并对第二音视频信号进行音视频同步校正和状态监控,得到播放状态数据;
优化模块206,用于根据播放状态数据对初始传输参数集合进行状态反馈优化,生成目标传输参数集合。
[0035] 通过上述各个组成部分的协同合作,通过采用小波变换算法对原始音视频信号进行去噪处理,以及对去噪后的信号进行动态范围压缩和局部对比度增强,显著提高了音视频信号的清晰度和观赏性。小波变换算法能够有效去除信号中的噪声成分,而动态范围压缩和局部对比度增强进一步确保了信号的细节和对比度得到保留和突出,使得最终的音视频内容更加生动和逼真。通过多路径传输模型和基于内容特性的自适应分层编码,优化了内容的传输过程。多路径传输模型允许数据流通过不同的网络路径传输,有效降低了单一路径故障导致的传输中断风险,提高了数据传输的可靠性。自适应分层编码根据内容的不同特性,如运动速度、颜色变化等,动态调整编码策略,使得在有限的带宽条件下也能传输高质量的音视频内容。通过对接收到的音视频数据流进行深度信号融合和音视频同步校正,显著提升了播放的稳定性和同步性。深度信号融合利用先进的算法合并不同传输路径上的信号,补偿了可能的数据丢失,确保了信号的完整性。音视频同步校正确保了音频和视频的播放时间严格一致,避免了观看过程中的视听不匹配问题。通过实时监控播放状态并对播放和传输参数进行动态反馈优化,进一步提升了整体的观看体验。状态监控能够及时发现播放过程中的问题,如缓冲延迟、画面冻结等,而动态反馈机制能够根据这些信息调整传输速率、编码质量等参数,实时优化播放效果,确保用户能够享受到流畅且高质量的音视频内容。
[0036] 本申请还提供一种计算机设备,所述计算机设备包括存储器和处理器,存储器中存储有计算机可读指令,计算机可读指令被处理器执行时,使得处理器执行上述各实施例中的所述数字电视的音视频编码处理方法的步骤。
[0037] 本申请还提供一种计算机可读存储介质,该计算机可读存储介质可以为非易失性计算机可读存储介质,该计算机可读存储介质也可以为易失性计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行所述数字电视的音视频编码处理方法的步骤。
[0038] 所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,系统和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0039] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read‑only memory, ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0040] 以上所述,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

当前第1页 第1页 第2页 第3页