[0001] 本发明涉及光场重建技术领域，特别是涉及时空角融合动态光场智能成像方法。

[0002] 基于微透镜的光场相机通过记录光线时间、空间与角度信息，可以更加准确感知复杂多变的环境。然而，现有的光场成像分辨率主要受到三个因素限制。首先，高维数据的离散化采样使得光场成像受到空间分辨率与角度分辨率的权衡。如何对高维数据进行有效光场重建成为一项重大挑战。其次光学系统的衍射极限也制约了成像分辨率。瑞利分辨率判据表明，透镜的数值孔径也决定了系统的分辨能力；最后是光学像差问题，像差普遍存在于自然环境中，比如大气的散射和透镜制造过程中的理论光学与实际透镜模型的偏差。这些因素都限制住光场成像的分辨率，阻碍光场成像技术的进一步发展。

[0003] 为了解决光场成像的空间与角度分辨率的权衡问题，可以使用像素平移或者亚像素平移的方式进行耦合采样。具体来说对一个静态目标场景，可以使用同一型号传感器多次采集具有像素尺度相对偏移的图像，并通过相对偏移量对图像进行直接融合，从而显著提升光场成像的空间分辨率。随后，使用光场孔径合成技术对空间与角度信息进行融合，有助于矫正光学系统或环境带来的像差。然而这种光场重建方法仅适用于静态场景，一旦观测目标或背景发生位移，这种光场重建方法会出现动态伪影，导致局部或整体高分辨率动态场景或目标无法准确恢复。此外，双阶段的光场重建方法伴随着子优化问题，一定程度影响了重建质量。因此进一步提升重建质量是亟待解决的问题。

[0016] 需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

[0017] 为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

[0018] 下面参照附图描述根据本发明实施例提出的时空角融合动态光场智能成像方法和系统。

[0019] 图1是本发明实施例的时空角融合动态光场智能成像方法的流程图。

[0020] 如图1所示，该方法包括但不限于以下步骤：S1，对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧；
S2，利用光流对齐方法对光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征；
S3，根据对时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征；
S4，对时空角信息融合特征进行特征重建以输出高分辨率重建结果。

[0021] 图2为本发明的时空角融合动态光场智能成像方法的框架，如图2所示，包括角度信息对齐、时序信息对齐、时空角信息融合和特征重建和上采样。

[0022] 在本发明的一个实施例中，对光场低分辨率图像的不同子视角进行角度对齐。

[0023] 可以理解的是，该角度对齐过程可以为1. 特征提取：首先从每个低分辨率光场图像中提取特征点或特征区域，这些特征应该在不同视角下保持不变或者具有良好的对应关系。2. 匹配与配准：通过特征匹配算法（如SIFT、SURF、ORB等）寻找不同视角图像之间的特征点对应关系，据此估计各视角之间的旋转和平移变换参数。3. 几何校正：利用估计出的变换参数对每个视角的图像进行几何校正，即将每个视角下的图像根据变换参数进行旋转和平移操作，使其与其他视角在同一个坐标系下对齐。4. 融合与插值：在对齐的基础上，可以进一步对各个视角的图像进行融合或插值处理，以提高光场图像的整体分辨率，并确保视角间过渡平滑，便于后续的光场渲染、三维重建等应用。通过以上步骤，可以有效地将光场低分辨率图像的不同子视角进行角度对齐，从而更好地利用光场信息进行高质量的三维视觉处理和呈现。

[0024] 具体地，输入低分辨率光场图像，选取光场图像的中心子视角作为基准参考视角。对每个子视角与中心子视角计算视差。利用图像插值技术调整每个子视角的位置，使其与中心子视角对齐。最后输出角度对齐后的光场子视角图像。

[0025] 本发明实施例选取光场图像的中心子视角作为基准参考视角，计算所有子视角与中心子视角间的视差，然后利用利用图像插值技术将所有视角与中心视角对齐，消除子视角间的视差，提升神经网络的鲁棒性。

[0026] 在本发明的一个实施例中，使用光流方法对连续视频帧进行光流提取，然后利用光流信息将前一帧图像与当前帧进行特征对齐，最后通过特征拼接的方式使得前后帧的信息进行融合。

[0027] 可以理解的是，使用光流方法对连续视频帧进行处理的步骤，可以包括：1. 光流提取：首先，采用光流估计算法（如Lucas‑Kanade、Farneback、Deep Learning‑based等）计算连续两帧之间的光流场。光流场是一张二维图像，每个像素点的值代表该点在前后帧之间的位移矢量。特征对齐：基于计算得到的光流信息，可以将前一帧图像的特征点（如SIFT、SURF、ORB等特征）移动到当前帧对应的位置，实现特征点的时空对齐。这样即使场景中的物体发生了移动，也可以确保前后帧的特征点能够正确对应。特征拼接与融合：对齐后的特征可以进行拼接操作，即将前一帧的特征与当前帧的特征结合在一起，形成更加丰富和全面的特征集合。这些拼接后的特征可用于后续的视频分析任务，如视频超分辨率、视频摘要生成、动作识别、目标跟踪等。通过上述步骤，可以充分利用光流信息将前后帧的内容进行有效的融合和衔接，从而提高视频处理的精度和效率。

[0028] 具体的，输入连续的视频帧，即角度对齐后的光场子视角图像，对连续的视频帧使用光流方法提取光流信息，利用提取的光流信息，将前一帧的特征与当前帧的特征进行对齐。通过特征拼接的方式，将前后帧的特征信息融合。最后输出光流对齐后的融合特征。

[0029] 在本发明的一个实施例中，利用时空角信息融合方法对上述对齐的特征进行高维信息提取以及对光场的空间、时间以及角度信息融合。

[0030] 可以理解的是，空间信息融合：对于已经对齐的特征，可以通过几何关系、深度信息或者多视图信息进一步考虑它们在三维空间中的相对位置和分布情况。比如，若存在深度信息，则可结合深度图来整合空间坐标系下的特征，构建更丰富的空间特征表达。时间信息融合：光流本身包含了时间信息，即像素点随时间的运动状态。在融合过程中，可以考虑特征随时间的变化趋势，比如运动轨迹、速度变化等，并将这些时序特征整合进整体的特征表达中。角度信息融合：在某些情况下，角度信息可能指的是视角变化带来的特征差异。如果有多角度或多视点的数据源，那么可以从不同视角下提取的特征进行融合，获取更为全面的角度不变性特征表达。高维信息提取：结合上述所有信息，可以通过设计特定的神经网络模型（如卷积神经网络CNN或循环神经网络RNN），或者是构造多层次的特征融合机制，将空间、时间和角度信息编码成更高维度的特征向量，以利于后续的分类、识别或其他高级视觉任务。这种融合过程不仅可以提升特征的鲁棒性和表达能力，还能更好地捕捉视频数据中的动态时空结构，有助于解决各种复杂的计算机视觉问题。

[0031] 具体地，输入上述光流对齐后的时序融合特征，通过时空角信息融合与提取的高维特征处理能力，将光场的空间、时间以及角度信息进行整合，最后输出时空角信息融合后的特征数据。

[0032] 可以理解的是，本实施例的时空角信息融合具有强大的高维信息处理能力，可以有效地将光场的空间、时间以及角度信息进行整合，确保时空角信息在融合的过程不受损失，从而为后续特征重建模块提供保障。

[0033] 在本发明的一个实施例中，对时空角信息融合特征进行非线性映射得到特征映射结果；对所述特征映射结果进行上采样以匹配目标高分辨率视频帧尺寸，并输出光场高分辨率视频帧。

[0034] 可以理解的是，在进行了时空角信息融合后，为了生成光场高分辨率视频帧，可以采取以下步骤：1. 对融合后的特征进行非线性映射，如通过深度神经网络（如卷积神经网络CNN）进行特征的深度学习和特征转换。这种非线性映射能够捕捉到特征之间的复杂关系，并将这些高维信息压缩到更有意义和表达力的特征空间中。2.获得的特征映射结果通常会比目标高分辨率视频帧尺寸要小，这时需要进行上采样操作以匹配视频帧的分辨率。上采样方法可以是最近邻插值、双线性插值、双三次插值等传统方法，也可以是通过反卷积（Transposed Convolution）或亚像素卷积（Sub‑Pixel Convolution）等深度学习技术实现。3.上采样后的特征映射结果应当与目标光场高分辨率视频帧具有相同的空间分辨率，接下来将这些特征映射结果转换回RGB颜色空间，生成光场高分辨率视频帧。这一过程可能包括通过重构网络或回归网络将特征映射到像素空间，生成高清的视频帧。4.将合成的高清视频帧进行整合，按照帧顺序排列，最终输出光场高分辨率视频流。这种视频不仅能提供更高的空间分辨率，而且还包含了丰富的时空角信息，有利于进一步的三维视觉处理和沉浸式显示应用。总之，通过时空角信息融合、非线性映射、上采样等一系列操作，可以有效地从低分辨率光场视频帧中恢复出高分辨率的光场视频帧，显著提升视频的视觉质量和可用性。

[0035] 具体地，将时空角信息融合后的特征作为输入，利用特征重建的非线性映射能力深入挖掘图像中的边缘、纹理等关键特征得到特征映射结果，再通过上采样方法对特征映射结果提升特征图的空间分辨率，以匹配目标高分辨率视频帧尺寸，最后输出高分辨率重建结果。

[0036] 综上，本发明实施例对光场低分辨率图像的不同子视角进行角度对齐。具体来说，选取光场图像的中心子视角作为基准参考视角，计算所有子视角与中心子视角间的视差，然后利用利用图像插值技术将所有视角与中心视角对齐，这一步消除子视角间的视差，提升神经网络的鲁棒性。对角度对齐后的光场图像使用光流对齐方法。首先使用光流方法对连续视频帧进行光流提取，然后利用光流信息将前一帧图像与当前帧进行特征对齐。最后通过特征拼接的方式使得前后帧的信息进行融合。利用时空角信息融合模块对上述对齐的特征进行高维信息提取以及对光场的空间、时间以及角度信息融合。该模块具备强大的高维信息处理能力，可以有效地将光场的空间、时间以及角度信息进行整合，确保时空角信息在融合的过程不受损失，从而为后续特征重建模块提供保障。特征重建和上采样模块。将上述得到的低分辨率图像特征映射与输出结果同尺寸的高分辨率特征，从而恢复出高分辨率视频帧，最后完成高分辨率光场重建。

[0037] 由此，本发明可以将多张对于同一动态场景进行连续拍摄的光场图像提升分辨率。不限于这些连续采集的图像的拍摄方式。只要多张图像间存在细微差别及相对偏移（最小偏移达像素量级）即可。同时，本发明还可以基于神经网络(深度学习)的视频超分辨等工作。本发明旨在针对多张融合后提升分辨率的同时消除动态伪影。

[0038] 根据本发明实施例的时空角融合动态光场智能成像方法，消除多张低分辨率图像融合成高分辨率图像后在局部区域或全局产生运动伪影，并且时空角融合动态光场智能成像可以消除光学系统像差以及环境像差，进一步扩展光场成像的分辨率，提升成像质量。同时神经网络的输入为多张同一场景（具有较大相同覆盖区域）的相对低分辨率光场图像，输出为单张或多张对应输入低分辨率图片的高分辨率图片。并且利用不同低分辨率图像中对于同一场景的不同采样以及运动的连续性先验，借用神经网络的内在学习机制，实现这一发明目标。

[0039] 为了实现上述实施例，如图3所示，本实施例中还提供了时空角融合动态光场智能成像系统10，该系统10包括，角度信息对齐模块100、时序信息对齐模块200、时空角信息融合模块300和特征重建和上采样模块400。

[0040] 角度信息对齐模块100，用于对光场低分辨率视频帧的不同子视角进行角度对齐得到对齐后的光场子视角视频帧；时序信息对齐模块200，用于利用光流对齐方法对光场子视角视频帧进行特征对齐以得到光流对齐后的时序融合特征；
时空角信息融合模块300，用于根据对时序融合特征的高维信息的特征处理结果进行多维度信息的融合得到时空角信息融合特征；
特征重建和上采样模块400，用于对时空角信息融合特征进行特征重建以映射输出高分辨率重建结果。

[0041] 进一步地，角度信息对齐模块100，还用于：选择低分辨率光场视频帧的中心子视角作为基准参考视角，以计算每个子视角与中心子视角的视差；
基于视差利用图像插值方法调整每个子视角的位置以对子视角与中心子视角进行对齐，并输出角度对齐后的光场子视角视频帧。

[0042] 进一步地，时序信息对齐模块200，还用于：提取所述光场子视角视频帧的光流信息；
利用所述光流信息将前一帧的特征与当前帧的特征进行对齐；
通过特征拼接的方式将对齐后的前一帧特征与当前帧特征进行融合以得到光流对齐后的时序融合特征。

[0043] 进一步地，时空角信息融合模块300，还用于：对时序融合特征进行高维信息的特征提取以得到特征处理结果；
基于特征处理结果对光场的空间、时间以及角度信息进行信息融合得到时空角信息融合特征。

[0044] 进一步地，特征重建和上采样模块400，还用于：对时空角信息融合特征进行非线性映射得到特征映射结果；
对特征映射结果进行上采样以匹配目标高分辨率视频帧尺寸，并输出光场高分辨率视频帧。

[0045] 根据本发明实施例的时空角融合动态光场智能成像系统，消除多张低分辨率图像融合成高分辨率图像后在局部区域或全局产生运动伪影，并且时空角融合动态光场智能成像可以消除光学系统像差以及环境像差，进一步扩展光场成像的分辨率，提升成像质量。同时神经网络的输入为多张同一场景（具有较大相同覆盖区域）的相对低分辨率光场图像，输出为单张或多张对应输入低分辨率图片的高分辨率图片。并且利用不同低分辨率图像中对于同一场景的不同采样以及运动的连续性先验，借用神经网络的内在学习机制，实现这一发明目标。

[0046] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0047] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。