涉及权利要求数量10:其中独权2项,从权-2项
1.一种时空角融合动态光场智能成像方法,其特征在于,包括:
对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧;
利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征;
根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征;
对所述时空角信息融合特征进行特征重建以输出高分辨率重建结果。
2.根据权利要求1所述的方法,其特征在于,对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧,包括:
选择低分辨率光场视频帧的中心子视角作为基准参考视角,以计算每个子视角与中心子视角的视差;
基于所述视差利用图像插值方法调整每个子视角的位置以对子视角与中心子视角进行对齐,并输出角度对齐后的光场子视角视频帧。
3.根据权利要求1所述的方法,其特征在于,利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征,包括:
提取所述光场子视角视频帧的光流信息;
利用所述光流信息将前一帧的特征与当前帧的特征进行对齐;
通过特征拼接的方式将对齐后的前一帧特征与当前帧特征进行融合以得到光流对齐后的时序融合特征。
4.根据权利要求1所述的方法,其特征在于,根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征,包括:
对所述时序融合特征进行高维信息的特征提取以得到特征处理结果;
基于所述特征处理结果对光场的空间、时间以及角度信息进行信息融合得到时空角信息融合特征。
5.根据权利要求1所述的方法,其特征在于,对所述时空角信息融合特征进行特征重建以输出高分辨率重建结果,包括:
对所述时空角信息融合特征进行非线性映射得到特征映射结果;
对所述特征映射结果进行上采样以匹配目标高分辨率视频帧尺寸,并输出光场高分辨率视频帧。
6.一种时空角融合动态光场智能成像系统,其特征在于,包括:
角度信息对齐模块,用于对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧;
时序信息对齐模块,用于利用光流对齐方法对所述光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征;
时空角信息融合模块,用于根据对所述时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征;
特征重建和上采样模块,用于对所述时空角信息融合特征进行特征重建以映射输出高分辨率重建结果。
7.根据权利要求6所述的系统,其特征在于,角度信息对齐模块,还用于:
选择低分辨率光场视频帧的中心子视角作为基准参考视角,以计算每个子视角与中心子视角的视差;
基于所述视差利用图像插值方法调整每个子视角的位置以对子视角与中心子视角进行对齐,并输出角度对齐后的光场子视角视频帧。
8.根据权利要求6所述的系统,其特征在于,所述时序信息对齐模块,还用于:
提取所述光场子视角视频帧的光流信息;
利用所述光流信息将前一帧的特征与当前帧的特征进行对齐;
通过特征拼接的方式将对齐后的前一帧特征与当前帧特征进行融合以得到光流对齐后的时序融合特征。
9.根据权利要求6所述的系统,其特征在于,所述时空角信息融合模块,还用于:
对所述时序融合特征进行高维信息的特征提取以得到特征处理结果;
基于所述特征处理结果对光场的空间、时间以及角度信息进行信息融合得到时空角信息融合特征。
10.根据权利要求6所述的系统,其特征在于,所述特征重建和上采样模块,还用于:
对所述时空角信息融合特征进行非线性映射得到特征映射结果;
对所述特征映射结果进行上采样以匹配目标高分辨率视频帧尺寸,并输出光场高分辨率视频帧。