首页 / 时空角融合动态光场智能成像方法

时空角融合动态光场智能成像方法有效专利 发明

具体技术细节

[0004] 本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005] 为此,本发明提出了一种时空角融合动态光场智能成像方法,利用神经网络对动态场景的连续光场视频帧作为输入,端到端地对光场的时间、空间以及角度信息进行融合,从而输出无伪影的高分辨率图像。
[0006] 本发明的另一个目的在于提出一种时空角融合动态光场智能成像系统。
[0007] 为达上述目的,本发明一方面提出一种时空角融合动态光场智能成像方法,包括:对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧;
利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征;
根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征;
对所述时空角信息融合特征进行特征重建以输出高分辨率重建结果。
[0008] 本发明实施例的时空角融合动态光场智能成像方法还可以具有以下附加技术特征:在本发明的一个实施例中,对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧,包括:
选择低分辨率光场视频帧的中心子视角作为基准参考视角,以计算每个子视角与中心子视角的视差;
基于所述视差利用图像插值方法调整每个子视角的位置以对子视角与中心子视角进行对齐,并输出角度对齐后的光场子视角视频帧。
[0009] 在本发明的一个实施例中,利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征,包括:提取所述光场子视角视频帧的光流信息;
利用所述光流信息将前一帧的特征与当前帧的特征进行对齐;
通过特征拼接的方式将对齐后的前一帧特征与当前帧特征进行融合以得到光流对齐后的时序融合特征。
[0010] 在本发明的一个实施例中,根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征,包括:对所述时序融合特征进行高维信息的特征提取以得到特征处理结果;
基于所述特征处理结果对光场的空间、时间以及角度信息进行信息融合得到时空角信息融合特征。
[0011] 在本发明的一个实施例中,对所述时空角信息融合特征进行特征重建以输出高分辨率重建结果,包括:对所述时空角信息融合特征进行非线性映射得到特征映射结果;
对所述特征映射结果进行上采样以匹配目标高分辨率视频帧尺寸,并输出光场高分辨率视频帧。
[0012] 为达上述目的,本发明另一方面提出一种时空角融合动态光场智能成像系统,包括:角度信息对齐模块,用于对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧;
时序信息对齐模块,用于利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征;
时空角信息融合模块,用于根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征;
特征重建和上采样模块,用于对所述时空角信息融合特征进行特征重建以映射输出高分辨率重建结果。
[0013] 本发明实施例的时空角融合动态光场智能成像方法与系统,利用神经网络对动态场景的连续光场视频帧作为输入,端到端地对光场的时间、空间以及角度信息进行融合,从而输出无伪影的高分辨率图像。这种方法能够充分有效地利用光场的时空角信息,进一步提升光场成像能力。
[0014] 本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。

法律保护范围

涉及权利要求数量10:其中独权2项,从权-2项

1.一种时空角融合动态光场智能成像方法,其特征在于,包括:
对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧;
利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征;
根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征;
对所述时空角信息融合特征进行特征重建以输出高分辨率重建结果。
2.根据权利要求1所述的方法,其特征在于,对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧,包括:
选择低分辨率光场视频帧的中心子视角作为基准参考视角,以计算每个子视角与中心子视角的视差;
基于所述视差利用图像插值方法调整每个子视角的位置以对子视角与中心子视角进行对齐,并输出角度对齐后的光场子视角视频帧。
3.根据权利要求1所述的方法,其特征在于,利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征,包括:
提取所述光场子视角视频帧的光流信息;
利用所述光流信息将前一帧的特征与当前帧的特征进行对齐;
通过特征拼接的方式将对齐后的前一帧特征与当前帧特征进行融合以得到光流对齐后的时序融合特征。
4.根据权利要求1所述的方法,其特征在于,根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征,包括:
对所述时序融合特征进行高维信息的特征提取以得到特征处理结果;
基于所述特征处理结果对光场的空间、时间以及角度信息进行信息融合得到时空角信息融合特征。
5.根据权利要求1所述的方法,其特征在于,对所述时空角信息融合特征进行特征重建以输出高分辨率重建结果,包括:
对所述时空角信息融合特征进行非线性映射得到特征映射结果;
对所述特征映射结果进行上采样以匹配目标高分辨率视频帧尺寸,并输出光场高分辨率视频帧。
6.一种时空角融合动态光场智能成像系统,其特征在于,包括:
角度信息对齐模块,用于对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧;
时序信息对齐模块,用于利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征;
时空角信息融合模块,用于根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征;
特征重建和上采样模块,用于对所述时空角信息融合特征进行特征重建以映射输出高分辨率重建结果。
7.根据权利要求6所述的系统,其特征在于,角度信息对齐模块,还用于:
选择低分辨率光场视频帧的中心子视角作为基准参考视角,以计算每个子视角与中心子视角的视差;
基于所述视差利用图像插值方法调整每个子视角的位置以对子视角与中心子视角进行对齐,并输出角度对齐后的光场子视角视频帧。
8.根据权利要求6所述的系统,其特征在于,所述时序信息对齐模块,还用于:
提取所述光场子视角视频帧的光流信息;
利用所述光流信息将前一帧的特征与当前帧的特征进行对齐;
通过特征拼接的方式将对齐后的前一帧特征与当前帧特征进行融合以得到光流对齐后的时序融合特征。
9.根据权利要求6所述的系统,其特征在于,所述时空角信息融合模块,还用于:
对所述时序融合特征进行高维信息的特征提取以得到特征处理结果;
基于所述特征处理结果对光场的空间、时间以及角度信息进行信息融合得到时空角信息融合特征。
10.根据权利要求6所述的系统,其特征在于,所述特征重建和上采样模块,还用于:
对所述时空角信息融合特征进行非线性映射得到特征映射结果;
对所述特征映射结果进行上采样以匹配目标高分辨率视频帧尺寸,并输出光场高分辨率视频帧。

当前第2页 第1页 第2页 第3页