[0001] 本申请涉及计算摄像学技术领域，尤其涉及一种空频谱多维联合调制的成像加速方法和装置。

[0002] 在计算机视觉和计算摄像学等领域中，加速成像方法的研究一直是着重要的研究内容。

[0003] 现在科技发展迅速，产品迭代速度越来越快，在图像领域以及其他视觉方向中对于高速成像的技术要求越来越来，提出了更高的对于视频拍摄帧频的要求，期望能够实现更高帧率场景的输出。不管在图像研究领域还是在与图像相关的科技领域中，高速成像都有很广泛且重要的应用。比如在图像研究领域中，微观角度观察生物组织的变化，微观裂纹的形成与扩展，等离子体的变化以及宏观领域中火箭燃料的发射等等各种科学研究中，都会利用到高速成像的技术。在与图像相关的科技领域中，高速成像也有广泛的应用，如体育比赛中常用的“鹰眼”技术，可以以回放的方式观察高速运动中的物体或运动；各家科技公司都会扩展其摄像头成像的功能，实现更高帧率视频的输出等等。高速成像技术已经应用于安防、体育以及科研领域的各个方面，用于拍摄这些高速过程的相机称为高速摄像机。

[0004] 高速摄像机能够记录下以高速运动的物体的瞬态运动过程，通过各种模拟或者数字系统将光场转换成电信号存储在存储设备中，供以后的进一步处理使用。常用的图像传感器包括电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)。电荷耦合器件与互补金属氧化物半导体目前都是主流的图像传感器，两者的区别在于CCD传感器存储的电荷信息在时序电路控制下一位接着一位的传递再存储下来，而COMS传感器可以通过X-Y寻址，从而读出记录下的电荷并且存储下来。在高速成像技术中，由于CMOS传感器光电转换速度大于CCD，因此大多传感器使用CMOS传感器。

[0005] 目前高速相机很多由欧美国家和日本等国生产和研发，国内对高速相机的研发相对比较落后，因此在应用高速成像等技术领域，往往需要通过进口来使用高速成像的技术。因此为了降低使用高速成像技术的成本，使高速成像技术更好的应用于国内市场以及科研领域，我们有必要积极开展在高速相机领域的研究，从而推动高速成像技术领域的进步。

[0028] 下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

[0029] 下面参照附图描述根据本申请实施例的基于空频谱多维联合调制的成像加速方法和装置。

[0030] 图1为本申请实施例所提供的一种空频谱多维联合调制的成像加速方法的流程示意图。

[0031] 如图1所示，该方法包括以下步骤：

[0032] 步骤101，对目标场景进行谱域调制、空域调制和频域调制。

[0033] 在本申请的一个实施例中，对目标场景进行谱域调制，包括：获取包括目标场景的入射光，获取入射光经过色散装置的不同波段光，通过延时系统对不同波段光进行延迟处理。

[0034] 在本申请的一个实施例中，对目标场景进行空域调制和频域调制，包括获取特定二值空间调制图案，通过空间光调制器根据特定二值空间调制图案在单曝光时间内对目标光场进行特定二值调制。

[0035] 其中，特定二值空间调制图案包括：多个基本单元重复排列生成和压缩感知中的随机二值掩膜；其中，多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0。

[0036] 其中，空间光调制器为薄膜晶体管液晶显示器TFT-LCD、数字微反射镜器件DMD或微通道板空间光调制器SLM中的一种或者多种。

[0037] 其中，延时系统为将不同波段的光延时不同时间。可以通过AOTF(可调声光滤光片)实现。

[0038] 步骤102，使用传感器在单曝光时间内耦合采集谱域调制、空域调制和频域调制下的单张图像。

[0039] 在本申请的一个实施例中，使用传感器在单曝光时间内耦合采集谱域调制、空域调制和频域调制下的单张图像，包括：传感器接收通过空域、频域、谱域联合调制的目标光场，得到单张图像。

[0040] 可以理解的是，本申请实施例可以使用空间光调制器在单次曝光时间内对场景不同时刻的信息进行快速调制，且传感器采集单张复用耦合图像。

[0041] 步骤103，通过解耦算法对单张图像进行反解，得到多帧场景图像。

[0042] 其中，通过空间光调制器的第一部分调制是通过压缩感知将不同时刻图像重建出来，第二部分模板的反解在频率域上对叠加的不同时刻图像进行反解。

[0043] 在本申请的一个实施例中，通过解耦算法对单张图像进行反解，得到多帧场景图像，包括：

[0044] 利用压缩感知对单张图像进行初步重建得到多张场景图像；

[0045] 将多张场景图变换到傅里叶域，根据特定二值空间调制图案的傅里叶频谱分布，以将不同脉冲位置处的复合子频谱分别取出，联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像；

[0046] 利用多光谱通道的时间延迟对N*N张不同时刻的场景图像进行重建得到多帧场景图像。

[0047] 为了更加清楚描述上述实施例，下面结合图2-图5进行详细描述。

[0048] 图2为本申请实施例所提供的种空频谱多维联合调制的成像加速方法的系统结构示意图；图3为本申请实施例所提供的多光谱通道分光延时后的效果图；图4为本申请实施例所提供的基于二值调制的压缩感知和频域调制的时序图；图5为本申请实施例所提供的二值调制中频域调制的采集图像及其频域图像。

[0049] 下面将通过具体实施例对基于空频谱多维联合调制的成像加速方法进行阐述，主要包含以下步骤：

[0050] (1)获取包括目标场景的入射光；获取入射光经过色散装置的不同波段光；通过延时系统对所述不同波段光进行延迟处理。其中，延迟处理可以通过AOTF(可调声光滤光片)实现。

[0051] (2)获取特定二值空间调制图案，通过空间光调制器在单曝光时间内对光场进行特定二值空间调制，实现时间维度的空域/频域调制：其中，特定二值空间调制图案包括：多个基本单元重复排列生成和压缩感知中的随机二值掩膜；其中，多个基本单元的每个基本单元为一个N*N像素的单元，其中，一个像素的灰度值为1，剩余的像素的灰度值为0。

[0052] (3)通过空间光调制器根据特定二值空间调制图案在单曝光时间内对目标光场进行特定二值调制。

[0053] (4)利用压缩感知或深度学习等方法对单张图像进行初步重建得到多张场景图像，实现空域调制的解耦重建；

[0054] (5)对(4)中获得的二值调制的重建图像进行进一步重建，对使用的空间光调制器的掩模进行傅里叶变换，计算掩模在傅里叶域上的系数，获得图像与不同频率脉冲卷积后的系数。对获得的调制后的场景图傅里叶变换，获得其频谱，将不同脉冲位置处的复合子频谱分别取出。联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像，从而实现在一个曝光时间内提高N*N倍帧频的目的，实现频域调制的解耦重建。

[0055] (6)通过之前实现的分光延时系统，将不同光谱通道的图像分别进行(4)与(5)的步骤，利用多光谱通道的时间延迟对N*N张不同时刻的场景图像进行重建得到多帧场景图像，实现谱域调制的解耦重建。

[0056] 结合图2所示，下面将通过一个具体示例对空频谱多维联合调制的成像加速方法进行进一步阐述，具体如下：

[0057] 首先，获取包括目标场景的入射光，获取入射光经过色散装置的不同波段光，通过延时系统对不同波段光进行延迟处理，从而实现时间维度的谱域调制，形成多光谱通道上的分光延时效果(如图3)；不同时刻的图像在不同时刻通过不同数值孔径的镜头，场景通过镜头后通过空间光调制器DMD调制，再经过一次反射后，成像在探测器靶面上。

[0058] 其次，使用传感器在单曝光时间内耦合采集谱域调制、空域调制和频域调制下的单张图像。如图4所示，图4为空间光调制器的调制模板，在一次曝光时间内，空间光调制器可以采用多种模板，模板第一部分为压缩感知中的随机二值模板，第二部分的每个模板为图4的重复排列。其中，图4的第一行从左向右依次为2*2、3*3、4*4掩模的基本单元，第二行分别为2*2，3*3，4*4的基本单元对应的频域图像。

[0059] 利用压缩感知或深度学习等方法对单张图像进行初步重建得到多张场景图像，实现空域调制的解耦重建，但是此时重建图像仍是被二值调制的图像，需要下一步重建。再将已有图像变换到傅里叶域，其频率域的频谱为图5下方，该频谱代表着图像与脉冲卷积后的结果。该频谱为场景经过空间光调制后在频率域的显示。其中，图5的第一行从左向右依次为2*2，3*3，4*4的采集图像，第二行从左向右依次为2*2，3*3，4*4的采集图像对应的频谱。得到该频率域的数据后，再将不同脉冲位置处的复合子频谱分别取出，再联立方程组反解出N*N个场景子频谱，并对其进行傅里叶反变换，得到N*N张不同时刻的场景图像，从而实现在一个曝光时间内提高N*N倍帧频的目的，实现频域调制的解耦重建。

[0060] 最后，再通过之前实现的分光延时系统，将不同光谱通道的图像分别进行(4)与(5)的步骤，利用多光谱通道的时间延迟对N*N张不同时刻的场景图像进行重建得到多帧场景图像，实现谱域调制的解耦重建。

[0061] 综上所述，本申请实施例的空频谱多维联合调制的成像加速方法，通过对目标场景进行谱域调制、空域调制和频域调制；使用传感器在单曝光时间内耦合采集谱域调制、空域调制和频域调制下的单张图像；通过解耦算法对单张图像进行反解，得到多帧场景图像。由此，达到加速成像的效果，进而能够有效提升传感器成像速度，提高拍摄视频的帧频，并同时具有鲁棒、精确、高效的优点。

[0062] 图6为本申请实施例所提供的一种空频谱多维联合调制的成像加速装置的结构示意图。

[0063] 如图6所示，该装置包括：第一调制模块601、第二调制模块602、采集模块603和反解模块604。

[0064] 第一调制模块601，用于对目标场景进行谱域调制；

[0065] 第二调制模块602，用于对目标场景进行空域调制和频域调制；

[0066] 采集模块603，用于使用传感器在单曝光时间内耦合采集谱域调制、空域调制和频域调制下的单张图像；

[0067] 反解模块604，用于通过解耦算法对单张图像进行反解，得到多帧场景图像。

[0068] 进一步地，在本申请实施例的一种可能的实现方式中，第一调制模块601，具体用于：

[0069] 获取包括目标场景的入射光；

[0070] 获取入射光经过色散装置的不同波段光；

[0071] 通过延时系统对不同波段光进行延迟处理。

[0072] 进一步地，在本申请实施例的一种可能的实现方式中，第二调制模块602，具体用于：

[0073] 获取特定二值空间调制图案；

[0074] 通过空间光调制器根据特定二值空间调制图案在单曝光时间内对目标光场进行特定二值调制。

[0075] 需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

[0076] 本申请实施例提出的空频谱多维联合调制的成像加速装置，通过对目标场景进行谱域调制、空域调制和频域调制；使用传感器在单曝光时间内耦合采集谱域调制、空域调制和频域调制下的单张图像；通过解耦算法对单张图像进行反解，得到多帧场景图像。由此，达到加速成像的效果，进而能够有效提升传感器成像速度，提高拍摄视频的帧频，并同时具有鲁棒、精确、高效的优点。

[0077] 为了实现上述实施例，本申请实施例提出了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如前述终端设备执行方法实施例所述的空频谱多维联合调制的成像加速方法。

[0078] 为了实现上述实施例，本申请实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现前述方法实施例所述的空频谱多维联合调制的成像加速方法。

[0079] 此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

[0080] 在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

[0081] 尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。