[0001] 本发明涉及图像处理技术领域，尤其涉及一种图像透视方法、装置、电子设备、可穿戴设备及存储介质。

[0002] 混合现实技术(MR，Mixed Reality)是虚拟现实技术的进一步发展，可以在虚拟环境中引入现实场景的信息，增强用户体验的真实感。

[0003] 通过在可穿戴设备上设置双目摄像头，通过双目摄像头拍摄图像并投影到屏幕上，用户可以看到投影在屏幕上的图像，以实现视觉透视。相关技术中，在实现视觉透视时通常采用两个彩色摄像头作为透视源的输入，但是透视效果较差，无法满足人眼的实际需求。

[0053] 这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。

[0054] VR(VirtualReality，虚拟现实)，是指利用计算机图形系统和各种现实及控制等接口设备在计算机上生成的、可交互的三维环境中提供沉浸感觉的技术。通常通过可穿戴设备来形成一个完全封闭的虚拟空间，如头戴式显示器。

[0055] 在一些VR产品中提供视觉透视(See‑Through)的功能，通过视觉透视的功能可以使得用户在不摘除头戴式显示器的情况下，实现与外部世界的交互，从而可以在虚拟环境中引入现实场景的信息，以增强用户体验的真实感。

[0056] 为了实现VR产品具备视觉透视的功能，需要在VR产品上设置成像装置和屏幕，通过成像装置获取图像，并将图像投影到屏幕上，以供用户观看。在现有技术中，可穿戴设备上设置的成像装置为两个彩色相机，将两个彩色相机拍摄的图像分别投影到两个屏幕上，以供用户观看。但是，在采用两个彩色相机作为透视源的输入时，由于彩色摄像头中设置有拜耳滤镜，部分光在经过彩色相机时会被反射，而黑白图像成像装置中未设置有拜耳滤镜，进入黑白图像成像装置的光不会被反射，因此，彩色图像的信噪比低于黑白图像的信噪比，此外，与黑白图像相比彩色图像的分辨率较低，因此，在使用两个彩色图像作为透视的输入源时，会使得透视效果较差，从而无法满足人眼的需求。

[0057] 基于上述问题，本申请考虑利用黑白图像具有更丰富的细节、分辨率更高和信噪比更高的特点，将黑白图像的亮度信息与彩色图像的亮度信息融合，提升最终得到的透视图像的分辨率。当在暗光场景下时，则该场景下存在的光较少，若采用彩色相机，则形成的彩色图像中光会更少，因此，该方法尤其可以提升透视图像在暗光场景下的整体效果。

[0058] 图1为本发明实施例提供的一种图像透视方法的应用场景图，如图1所示，在可穿戴设备上设置有黑白图像成像装置、彩色相机(至少一个)以及计算单元，计算单元可以根据拍摄的图像生成人眼视点下的第一彩色图像和第一黑白图像，其中，左眼和右眼分别对应一组第一彩色图像和第一黑白图像，再对两张图像进行像素对齐和亮度信息融合，从而生成透视图像，并显示在相应的屏幕上。

[0059] 图2为本发明实施例提供的一种图像透视方法的流程示意图，所述方法应用于图像透视装置，所述图像透视装置设置在电子设备上。该方法包括步骤S201至步骤S203：

[0060] 步骤S201、获取所述可穿戴设备拍摄的多个图像，所述多个图像包括黑白图像和至少一个彩色图像；所述黑白图像和所述至少一个彩色图像为同时拍摄的图像。

[0061] 在可穿戴设备上设置有成像装置，成像装置可以用于拍摄图像，从而供用户观看。可穿戴设备可以为头戴显示器，可以在头戴式显示器的外部设置成像装置。为了提高透视图像的效果，此处设置的成像装置可以包括黑白图像成像装置，以及，至少一个彩色相机，因此，可以获得一个黑白图像和至少一个彩色图像。

[0062] 可选的，黑白图像成像装置可以为黑白相机或深度传感器，例如iToF(indirect Time‑of‑Flight)传感器和dToF(direct Time‑of‑Flight)传感器，深度传感器在输出深度信息的同时，还可以输出基于红外成像的黑白图像，基于红外成像的黑白图像具有较高的信噪比，可以有效提高透视图像的分辨率。

[0063] 可选的，至少一个彩色相机和黑白图像成像装置在拍摄图像时，是同时拍摄以得到至少一个彩色图像和一个黑白图像，从而为用户呈现在任一时刻的透视图像。

[0064] 示例性的，当用户在佩戴可穿戴设备时，黑白图像成像装置和至少一个彩色相机可以实时拍摄图像，或者，每隔预设时间，同时拍摄图像。具体的，可以根据可穿戴设备中计算单元的算力来调整拍摄图像的时间间隔。

[0065] 例如，在第一时刻，黑白图像成像装置和至少一个彩色相机同时拍摄图像，并根据同时拍摄的图像向用户呈现第一时刻的透视图像；以及，在距离第一时刻为5秒后的第二时刻，黑白图像成像装置和至少一个彩色相机同时拍摄图像，并根据同时拍摄的图像向用户呈现第二时刻的透视图像。

[0066] 步骤S202、将所述至少一个彩色图像和黑白图像分别转换为第一彩色图像和第一黑白图像；所述第一彩色图像和所述第一黑白图像为相应虚拟视点对应的彩色图像和黑白图像。

[0067] 由于成像装置设置在可穿戴设备的外部，而可穿戴设备需要放在用户的头部，成像装置所在的位置与人眼所在位置不同，则相机拍摄的图像与人眼实际观看的图像有所不同，因此，不能直接将成像装置获取的图像呈现给人眼。

[0068] 为了使得人眼可以看到准确的图像，需要将至少一个彩色图像和黑白图像进行转换，即将彩色图像转换为虚拟视点下的第一彩色图像，将黑白图像转换为虚拟视点下的第一黑白图像。此处的虚拟视点是指人眼，由于人有两只眼睛，则虚拟视点包含第一人眼视点和第二人眼视点。因此，需要获取第一人眼视点和第二人眼视点分别对应的第一彩色图像和第一黑白图像。

[0069] 步骤S203、针对一个虚拟视点，根据与所述虚拟视点对应的所述第一彩色图像的亮度与所述第一黑白图像的亮度确定所述虚拟视点对应的透视图像。

[0070] 当在获取同一虚拟视点下的第一彩色图像和第一黑白图像后，可以将第一彩色图像的亮度与第一黑白图像的亮度进行融合。为了满足人眼的实际需求，可以以第一彩色图像为基准，将第一黑白图像的亮度和第一彩色图像的亮度进行融合，将融合后的亮度作为第一彩色图像的亮度信息，将融合有第一黑白图像的亮度的第一彩色图像向相应的屏幕投影，以得到透视图像。

[0071] 示例性的，当在将两个图像的亮度进行融合时，可以采用神经网络融合方法、高斯金字塔融合方法以及α‑blending融合方法等。

[0072] 其中，在可穿戴设备中设置有两个屏幕，分别对应第一人眼视点和第二人眼视点，在将融合有第一黑白图像的亮度的第一彩色图像投影时，也需要投影到相应的屏幕。示例性的，与左眼对应的第一彩色图像，则可以投影到与左侧屏幕上，与右眼对应的第一彩色图像，可以投影到右侧屏幕上。

[0073] 本发明提供的一种图像透视方法，通过获取可穿戴设备拍摄的多个图像，所述多个图像包括黑白图像和至少一个彩色图像；所述黑白图像和所述至少一个彩色图像为同时拍摄的图像；将所述至少一个彩色图像和黑白图像分别转换为第一彩色图像和第一黑白图像；所述第一彩色图像和所述第一黑白图像为相应虚拟视点对应的彩色图像和黑白图像；针对一个虚拟视点，根据与所述虚拟视点对应的所述第一彩色图像的亮度与所述第一黑白图像的亮度确定所述虚拟视点对应的透视图像，该方法利用黑白图像分辨率高的特点，在可穿戴设备中设置黑白图像成像装置，将黑白图像的亮度信息与彩色图像的亮度信息融合，以提高透视图像的分辨率，提高透视效果。

[0074] 图3为本发明实施例提供的另一种图像透视方法的流程示意图，该方法包括步骤S301至步骤S303：

[0075] 步骤S301、获取所述可穿戴设备拍摄的多个图像，所述多个图像包括黑白图像和至少一个彩色图像；所述黑白图像和所述至少一个彩色图像为同时拍摄的图像。

[0076] 步骤S301的实现过程可以参见步骤S201，此处不再赘述。

[0077] 步骤S302、针对任意一张彩色图像，确定所述彩色图像中每一像素点对应的第一深度信息，根据所述第一深度信息将所述彩色图像转换为所述第一彩色图像。

[0078] 在根据彩色相机拍摄的彩色图像确定人眼视角下的第一彩色图像时，需要先计算彩色图像中每一像素点的第一深度信息，以根据第一深度信息计算第一彩色图像。

[0079] 可选的，在确定任一张图像的深度信息时，需要先对各个成像装置进行校正，下面以成像装置为相机为例进行说明。各个相机均存在一个水平方向和竖直方向，通过校正可以将各个相机的水平方向平行，以避免由于在工业安装的过程中存在的误差所导致的计算的深度信息不准确的问题。其中，在对各个相机进行校正时，可以根据各个相机在安装过程中标定的参数来校正。

[0080] 当在计算深度信息时，可以根据两张图像来确定，由于两张图像由不同位置的相机拍摄，两张图像略有差异，可以根据两张图像中每一像素点的像素值确定第一深度信息。

[0081] 计算深度信息的过程可以称为立体匹配或者双目深度估计。示例性的，当在计算彩色图像的第一深度信息时，可以根据两张图像的像素信息计算与该彩色图像对应的视差图，该视差图由每一像素点的视差构成，视差是三维场景中某一点在两张图像中对应点位置的像素值的差距。

[0082] 视差就是从两个相机观察同一个目标所产生的方向差异，距离相机越远的位置点，则视差越小，距离相机越近的位置点，则视差越大。因此，当在确定任一像素点的视差后，可以根据视差进一步确定该像素点的深度信息，进而根据深度信息可以将彩色图像转换为人眼视角下的第一彩色图像。

[0083] 当在计算第一彩色图像时，需要根据人眼与相机的位置关系，以及，各个像素点的第一深度信息来计算。

[0084] 在可穿戴设备中设置的成像装置可以存在两种方式，第一种方式为设置两个彩色相机和一个黑白图像成像装置，两个彩色相机的设置位置分别与两只眼睛对应，黑白图像成像装置可以设置在两个彩色相机之间。

[0085] 可选的，所述可穿戴设备包括黑白图像成像装置和彩色相机；所述彩色相机为两个，分别对应第一眼睛和第二眼睛；所述黑白图像成像装置设置在两个彩色相机之间；所述彩色图像包括与第一眼睛对应的彩色相机拍摄的彩色图像，以及，与第二眼睛对应的彩色相机拍摄的彩色图像；所述虚拟视点包括第一眼睛视点和第二眼睛视点；所述第一彩色图像包括第一眼睛视点下的第一子彩色图像和所述第二眼睛视点下的第二子彩色图像；所述第一黑白图像包括所述第一眼睛视点下的第一子黑白图像和所述第二眼睛视点下的第二子黑白图像；

[0086] 确定所述彩色图像中每一像素点对应的第一深度信息，包括：

[0087] 根据所述彩色图像和所述黑白图像确定所述彩色图像中每一像素点对应的第一深度信息。

[0088] 图4为本发明实施例提供的一种设置两个彩色相机和一个黑白图像成像装置的示意图，如图4所示，可穿戴设备可以生成彩色图像1、黑白图像和彩色图像2，由于距离相近的相机拍摄的图像较为相近，则计算深度信息时误差较小。因此，可以由彩色图像1和黑白图像得到以彩色图像1为基准的第一眼睛视点下的第一子彩色图像，根据彩色图像2和黑白图像得到以彩色图像2为基准的第二眼睛视点下的第二子彩色图像。

[0089] 通过根据黑白图像分别计算两个彩色图像在虚拟视点下的图像，可以提高确定的虚拟视点下图像的准确度。

[0090] 步骤S303、针对所述黑白图像，确定所述黑白图像中每一像素点对应的第二深度信息，根据所述第二深度信息将所述黑白图像转换为所述第一黑白图像。

[0091] 可选的，确定所述黑白图像中每一像素点对应的第二深度信息，包括：

[0092] 当在确定第一眼睛视点下的第一子黑白图像时，根据所述黑白图像和所述第一眼睛对应的彩色相机拍摄的彩色图像，确定所述黑白图像中每一像素点对应的第二深度信息；

[0093] 和/或，当在确定第二眼睛视点下的第二子黑白图像时，根据所述黑白图像和所述第二眼睛对应的彩色相机拍摄的彩色图像，确定所述黑白图像中每一像素点对应的第二深度信息。

[0094] 当彩色相机为两个时，黑白图像成像装置设置在两个彩色相机之间，此时可以采用下述方法确定黑白图像中每一像素点的第二深度信息。

[0095] 如图4所示，针对黑白图像，可以根据黑白图像和彩色图像1确定黑白图像对应的视差图1，进而确定黑白图像中每一像素点的第二深度信息1，再根据第二深度信息1计算黑白图像对应的第一子黑白图像；以及，根据黑白图像和彩色图像2计算黑白图像对应的视差图2，进而确定黑白图像中每一像素点的第二深度信息2，再根据第二深度信息2计算黑白图像对应的第二子黑白图像。

[0096] 在计算黑白图像对应的两个虚拟视点下的第二黑白图像时，可以分别根据两个彩色图像来确定，以提高确定的虚拟视点下第一子黑白图像和第二子黑白图像的准确度。

[0097] 在可穿戴设备中设置的相机还存在第二种方式，设置一个彩色相机和一个黑白图像成像装置，两个相机分别对应第一眼睛和第二眼睛。

[0098] 可选的，所述可穿戴设备包括黑白图像成像装置和彩色相机；所述彩色相机为一个，所述彩色相机对应第一眼睛；所述黑白图像成像装置对应第二眼睛；所述彩色图像为与第一眼睛对应的彩色相机拍摄的彩色图像；所述黑白图像为与第二眼睛对应的黑白图像成像装置输出的黑白图像；所述第一彩色图像包括第一眼睛视点下的第一子彩色图像和所述第二眼睛视点下的第二子彩色图像；所述第一黑白图像包括所述第一眼睛视点下的第一子黑白图像和所述第二眼睛视点下的第二子黑白图像；第一像素点为所述第二眼睛视点下的第二子黑白图像中的像素点，第二像素点为所述第二眼睛视点下的第二子彩色图像中的像素点。

[0099] 图5为本发明实施例提供的一种设置一个彩色相机和一个黑白图像成像装置的示意图。如图5所示，可以根据彩色图像和黑白图像计算第一眼睛对应的第一子彩色图像；以及，根据彩色图像和黑白图像计算第一眼睛对应的第一子黑白图像；以及，根据彩色图像和黑白图像计算第二眼睛对应的第二子彩色图像，根据彩色图像和黑白图像计算第二眼睛对应的第二子黑白图像。

[0100] 针对上述两种相机的设置方式，各存在优点与缺点，可以根据实际情况选择具体的相机设置方式。当设置两个彩色相机和一个黑白图像成像装置时，电子设备可以获取与两只眼睛分别对应的彩色图像，则在后续的算法中，针对每一彩色图像的处理方式相同，均利用黑白图像的亮度信息去补充彩色图像的亮度信息即可，在算法设计上较为简单。而针对一个彩色相机和一个黑白图像成像装置的方案，则有一侧对应的是黑白图像，需要为黑白图像填充色彩信息，针对两个相机生成的图像在进行处理时在算法设计上略有差异。

[0101] 此外，相机数量不同，则所需的带宽也有所不同。示例性的，当采用两个彩色相机和一个黑白图像成像装置时，若一个彩色相机所需的带宽为3兆，一个黑白图像成像装置所需的带宽为1兆，则该方案所需的带宽为7兆。当采用一个黑白图像成像装置和一个彩色相机时，则所需的带宽为4兆，可见，设置两个彩色相机和一个黑白图像成像装置的方案对硬件设备的带宽要求较高。此外，当设置的相机数量较多时，则成本也较大。在实际中，可以针对实际情况选择具体的相机设置方式。

[0102] 经过上述操作，无论是两个彩色相机和一个黑白图像成像装置的方案，还是一个彩色相机和一个黑白图像成像装置的方案，均可以得到两个虚拟视点下的两个图像，分别为第一子彩色图像和第一子黑白图像，以及，第二子彩色图像和第二子黑白图像。下面对一个虚拟视点对应的两个图像统称为第一彩色图像和第一黑白图像。

[0103] 由于需要利用第一黑白图像的亮度信息去提升第一彩色图像的亮度信息，需要先将第一彩色图像和第一黑白图像进行像素对齐，从而可以进行相应像素点的亮度融合。

[0104] 步骤S304、针对一个虚拟视点，通过光流确定所述第一彩色图像与所述第一黑白图像的像素对应关系。

[0105] 针对第一彩色图像和第一黑白图像，由于均为同一虚拟视点下的两张图像，则两张图像已处于粗对齐的状态。但是，在粗对齐后两张图像还存在一定的差异，例如，针对真实世界中的某一位置点，其在第一彩色图像和第一黑白图像中的像素点会存在一定的错位，如错位一个或半个像素点。因此，需要对第一彩色图像和第一黑白图像进行精对齐。

[0106] 可选的，针对两个图像，可以采用光流确定一个图像中任一像素点在另一图像中移动的距离，从而根据该移动的距离可以将第一彩色图像和第一黑白图像进行精对齐。

[0107] 由于第一黑白图像的分辨率较高，在精对齐时，可以将第一彩色图像在第一黑白图像上进行精确对齐。

[0108] 具体的，精对齐后，可以得到第一彩色图像中各个像素点与第一黑白图像中各个像素点的对应关系。示例性的，第一彩色图像中的第一个像素与第一黑白图像中的第二个像素点对齐等等。

[0109] 步骤S305、针对所述第一彩色图像中的任意一个第一像素点，根据所述像素对应关系确定所述第一黑白图像中与所述第一像素点对应的第二像素点。

[0110] 当确定像素对应关系后，可以进一步根据像素对应关系确定第一彩色图像中的任一第一像素点在第一黑白图像中对应的第二像素点，进而进行两个对应像素点的亮度融合。

[0111] 步骤S306、确定所述第一像素点对应的第一亮度值和所述第二像素点对应的第二亮度值，根据所述第一亮度值与所述第二亮度值确定所述第一像素点的融合亮度值。

[0112] 当在确定第一彩色图像中第一像素点所对应的第一黑白图像中的第二像素点后，可以将第二亮度值与第一亮度值进行融合，以得到融合亮度值，并将融合亮度值确定为第一彩色图像中第一像素点的亮度值。

[0113] 示例性的，可以将第一彩色图像变换为HSV颜色空间或YUV颜色空间，当变换为HSV颜色空间时，将第一黑白图像的第二亮度值作为V值与第一彩色图像中的V值(第一亮度值)进行融合；当将第一彩色图像变换为YUV颜色空间时，将第一黑白图像的第二亮度值作为Y值与第一彩色图像中的Y值(第一亮度值)进行融合。

[0114] 可选的，确定所述第一像素点对应的第一亮度值和所述第二像素点对应的第二亮度值，包括：

[0115] 根据所述第一像素点的高低频特征信息确定所述第一像素点对应的金字塔窗口尺寸；其中，所述高低频特征信息包括高频或低频，高频对应的金字塔窗口尺寸小于低频对应的金字塔窗口尺寸；

[0116] 根据所述第一像素点对应的所述金字塔窗口尺寸确定所述第一像素点对应的第一亮度值，以及，所述第二像素点对应的第二亮度值。

[0117] 在将两个像素点对应的亮度值进行融合时，可以采用高斯金字塔融合方法。在进行图像融合时，可以利用高斯核分别将第一彩色图像和第一黑白图像分解为多尺度的金字塔图像序列，以分别得到N层图像，将同一层的两张图像进行融合，以得到N张融合后的图像，再将N张融合后的图像按照金字塔图像序列生成的逆过程进行重构，得到融合后的图像。

[0118] 当在将同一层的两张图像融合时，存在一个金字塔窗口尺寸，任一像素点的亮度值与该金字塔窗口尺寸所对应的多个像素点的亮度值有关。通过金字塔融合方法可以在图像的低频和高频处使用不同的金字塔窗口，使得融合后的图像较为平滑。

[0119] 当在进行金字塔融合时，当设置的金字塔窗口越大时，则融合结果会存在鬼影；当设置的金字塔窗口越小时，则融合结果会出现截断问题。基于上述问题，需要设置合适的金字塔窗口尺寸，具体的，可以确定第一像素点的高低频特征信息，当为高频时，则设置较小的金字塔窗口尺寸，当为低频时，则设置较大的金字塔窗口尺寸。

[0120] 在确定高低频特征信息时，可以对第一彩色图像进行拉普拉斯变换，以得到任一第一像素点的高低频特征信息。

[0121] 当在确定第一像素点对应的金字塔窗口尺寸后，可以确定第一像素点的第一亮度值。所述第一亮度值为所述第一彩色图像中预设区域内所包含的多个像素点的亮度平均值；所述预设区域的中心为所述第一像素点；所述预设区域的大小为所述金字塔窗口尺寸的大小。示例性的，当在确定金字塔窗口尺寸为3*3时，则可以将第一彩色图像中第一像素点为中心，3*3大小的预设区域内的各个像素点的亮度的平均值作为第一像素点的第一亮度值，同样的，可以采用上述方法确定第二像素点对应的第二亮度值。

[0122] 通过根据像素点的高低频特征信息确定金字塔窗口尺寸，可以在不同像素点设置不同的金字塔窗口尺寸，从而准确得到第一像素点及第二像素点分别对应的亮度值，从而提高融合后图像的平滑度。

[0123] 可选的，根据所述第一亮度值和所述第二亮度值确定所述第一像素点的融合亮度值，包括：

[0124] 针对任意一个第一像素点，根据所述第一像素点对应的第一遮挡信息以及所述第二像素点对应的第二遮挡信息确定所述第一亮度值和所述第二亮度值分别对应的权重值；所述第一遮挡信息表示所述第一像素点在所述第一彩色图像上的遮挡情况；所述第二遮挡信息表示所述第二像素点在所述第一黑白图像上的遮挡情况；

[0125] 根据所述权重值、所述第一亮度值和所述第二亮度值确定所述第一像素点的融合亮度值。

[0126] 由于第一彩色图像是由彩色相机拍摄的彩色图像经过处理后得到的，而第一黑白图像是由黑白图像成像装置获取的黑白图像经过处理后得到的，由于相机的位置与人眼的位置不同，则对于处理后的第一彩色图像会存在一些遮挡部位(遮挡部位的像素信息无法确定)，对于第一黑白图像也会存在一些遮挡部位。在进行融合时，可以根据第一像素点的遮挡信息，以及，与第一像素点对应的第二像素点的遮挡信息来设置融合时第一亮度值和第二亮度值分别对应的权重值。

[0127] 可选的，当第一像素点对应的第一遮挡信息为被遮挡，且第二像素点对应的第二遮挡信息为未遮挡时，则可以设置第一亮度值对应的权重值1小于第二亮度值对应的权重值2，且权重值1和权重值2的和为1。

[0128] 示例性的，当第一像素点对应的第一遮挡信息为被遮挡，且第二像素点对应的第二遮挡信息为未遮挡时，则可以设置第一亮度值对应的权重值1为0.3，设置第二亮度值对应的权重值2为0.7，通过加权求和得到第一像素点的融合亮度值，即计算权重值1与第一亮度值的乘积，计算权重值2与第二亮度值的乘积，将两个乘积相加，从而得到融合亮度值。

[0129] 可选的，当第一像素点和第二像素点对应的遮挡信息均为未遮挡时，计算第一像素点处的第一梯度和第二像素点处的第二梯度，根据第一梯度和第二梯度的大小关系确定该位置点是否存在细节特征，当存在细节特征时，则设置第二亮度值对应的权重值大于第一亮度值对应的权重值；当不存在细节特征时，则设置第一亮度值对应的权重值大于第二亮度值对应的权重值。

[0130] 当在确定该位置点是否存在细节特征时，可以比较第一梯度和第二梯度，当第二梯度大于第一梯度且差值超过预设值时，则表示该位置点存在细节特征，此时可以利用黑白图像中细节处分辨率较高的特点，提高彩色图像的分辨率，因此，设置第二亮度值对应的权重值2大于第一亮度值对应的权重值1。相反的，则表示该位置点较为平坦，不存在细节特征，此时可以设置第一亮度值对应的权重值大于第二亮度值对应的权重值。

[0131] 可选的，当第一像素点对应的第一遮挡信息为被遮挡，且第二像素点对应的第二遮挡信息为被遮挡时，则可以采用高斯滤波平滑的方式将遮挡部位的像素信息补全。

[0132] 通过根据第一彩色图像与第一黑白图像的遮挡情况来设置融合时的权重值，可以提高融合亮度值的准确性。

[0133] 步骤S307、根据各个第一像素点的融合亮度值确定所述虚拟视点对应的透视图像。

[0134] 由于RGB图像是与硬件相对应的图像，当在确定各个第一像素点的融合亮度值后即可得到HSV图像或YUV图像，可以进一步将HSV图像或YUV图像转换为RGB图像。

[0135] 通过先将第一彩色图像与第一黑白图像进行像素对齐，再进行亮度融合，以提高融合结果的准确性。

[0136] 此外，针对设置一个彩色相机和一个黑白图像成像装置的方案，在计算透视图像时，还需要增加一个处理步骤。

[0137] 可选的，根据各个第一像素点的融合亮度值确定所述虚拟视点对应的透视图像，包括：

[0138] 针对所述第二眼睛视点下的第二子黑白图像中的任意一个第一像素点，从所述第二眼睛视点下的第二子彩色图像中提取与所述第一像素点对应的第二像素点的颜色信息，将提取的所述颜色信息确定为所述第一像素点的颜色信息；

[0139] 根据各个第一像素点的融合亮度值以及所述颜色信息确定所述第二眼睛视点对应的透视图像。

[0140] 针对三个相机的方案，或者，两个相机的方案中彩色相机一侧，在进行亮度融合时，都是将第一黑白图像的亮度融合到第一彩色图像上。而针对两个相机的方案中第二眼睛处设置的为黑白图像成像装置，此时在进行亮度融合时，可以将第二子彩色图像的亮度融合到第二子黑白图像上。此外，由于第二子黑白图像中不存在颜色信息，则可以从第二子彩色图像中提取颜色信息，从而根据提取的颜色信息和融合亮度值得到第二眼睛视点下的透视图像。

[0141] 在两个相机的方案中，在确定第二眼睛视点下的透视图像时，通过将第二子黑白图像作为基准图像，第二子黑白图像与第二眼睛视点下的真实图像更加接近，再通过颜色信息的提取，可以使得确定的第二眼睛视点下的透视图像更加准确。

[0142] 图6为本发明实施例提供的一种图像透视装置的结构示意图，所述装置应用于可穿戴设备，该装置60包括：

[0143] 获取模块601，用于获取所述可穿戴设备拍摄的多个图像，所述多个图像包括黑白图像和至少一个彩色图像；所述黑白图像和所述至少一个彩色图像为同时拍摄的图像；

[0144] 转换模块602，用于将所述至少一个彩色图像和黑白图像分别转换为第一彩色图像和第一黑白图像；所述第一彩色图像和所述第一黑白图像为相应虚拟视点对应的彩色图像和黑白图像；

[0145] 确定模块603，用于针对一个虚拟视点，根据与所述虚拟视点对应的所述第一彩色图像的亮度与所述第一黑白图像的亮度确定所述虚拟视点对应的透视图像。

[0146] 可选的，所述转换模块602具体用于：

[0147] 针对任意一张彩色图像，确定所述彩色图像中每一像素点对应的第一深度信息，根据所述第一深度信息将所述彩色图像转换为所述第一彩色图像；

[0148] 针对所述黑白图像，确定所述黑白图像中每一像素点对应的第二深度信息，根据所述第二深度信息将所述黑白图像转换为所述第一黑白图像。

[0149] 可选的，所述确定模块603具体用于：

[0150] 通过光流确定所述第一彩色图像与所述第一黑白图像的像素对应关系；

[0151] 针对所述第一彩色图像中的任意一个第一像素点，根据所述像素对应关系确定所述第一黑白图像中与所述第一像素点对应的第二像素点；

[0152] 确定所述第一像素点对应的第一亮度值和所述第二像素点对应的第二亮度值，根据所述第一亮度值与所述第二亮度值确定所述第一像素点的融合亮度值；

[0153] 根据各个第一像素点的融合亮度值确定所述虚拟视点对应的透视图像。

[0154] 可选的，所述确定模块603在确定所述第一像素点对应的第一亮度值和所述第二像素点对应的第二亮度值时，具体用于：

[0155] 根据所述第一像素点的高低频特征信息确定所述第一像素点对应的金字塔窗口尺寸；其中，所述高低频特征信息包括高频或低频，高频对应的金字塔窗口尺寸小于低频对应的金字塔窗口尺寸；

[0156] 根据所述第一像素点对应的所述金字塔窗口尺寸确定所述第一像素点对应的第一亮度值，以及，所述第二像素点对应的第二亮度值。

[0157] 可选的，所述确定模块603在根据所述第一亮度值与所述第二亮度值确定所述第一像素点的融合亮度值时，具体用于：

[0158] 针对任意一个第一像素点，根据所述第一像素点对应的第一遮挡信息以及所述第二像素点对应的第二遮挡信息确定所述第一亮度值和所述第二亮度值分别对应的权重值；所述第一遮挡信息表示所述第一像素点在所述第一彩色图像上的遮挡情况；所述第二遮挡信息表示所述第二像素点在所述第一黑白图像上的遮挡情况；

[0159] 根据所述权重值、所述第一亮度值和所述第二亮度值确定所述第一像素点的融合亮度值。

[0160] 可选的，所述可穿戴设备包括黑白图像成像装置和彩色相机；所述彩色相机为两个，分别对应第一眼睛和第二眼睛；所述黑白图像成像装置设置在两个彩色相机之间；所述彩色图像包括与第一眼睛对应的彩色相机拍摄的彩色图像，以及，与第二眼睛对应的彩色相机拍摄的彩色图像；所述虚拟视点包括第一眼睛视点和第二眼睛视点；所述第一彩色图像包括第一眼睛视点下的第一子彩色图像和所述第二眼睛视点下的第二子彩色图像；所述第一黑白图像包括所述第一眼睛视点下的第一子黑白图像和所述第二眼睛视点下的第二子黑白图像；

[0161] 所述转换模块602在确定所述彩色图像中每一像素点对应的第一深度信息时，具体用于：

[0162] 根据所述彩色图像和所述黑白图像确定所述彩色图像中每一像素点对应的第一深度信息；

[0163] 所述转换模块602在确定所述黑白图像中每一像素点对应的第二深度信息时，具体用于：

[0164] 当在确定第一眼睛视点下的第一子黑白图像时，根据所述黑白图像和所述第一眼睛对应的彩色相机拍摄的彩色图像，确定所述黑白图像中每一像素点对应的第二深度信息；

[0165] 和/或，当在确定第二眼睛视点下的第二子黑白图像时，根据所述黑白图像和所述第二眼睛对应的彩色相机拍摄的彩色图像，确定所述黑白图像中每一像素点对应的第二深度信息。

[0166] 可选的，所述可穿戴设备包括黑白图像成像装置和彩色相机；所述彩色相机为一个，所述彩色相机对应第一眼睛；所述黑白图像成像装置对应第二眼睛；所述彩色图像为与第一眼睛对应的彩色相机拍摄的彩色图像；所述黑白图像为与第二眼睛对应的黑白图像成像装置输出的黑白图像；所述第一彩色图像包括第一眼睛视点下的第一子彩色图像和所述第二眼睛视点下的第二子彩色图像；所述第一黑白图像包括所述第一眼睛视点下的第一子黑白图像和所述第二眼睛视点下的第二子黑白图像；第一像素点为所述第二眼睛视点下的第二子黑白图像中的像素点，第二像素点为所述第二眼睛视点下的第二子彩色图像中的像素点；

[0167] 所述确定模块603在根据各个第一像素点的融合亮度值确定所述虚拟视点对应的透视图像时，具体用于：

[0168] 针对所述第二眼睛视点下的第二子黑白图像中的任意一个第一像素点，从所述第二眼睛视点下的第二子彩色图像中提取与所述第一像素点对应的第二像素点的颜色信息，将提取的所述颜色信息确定为所述第一像素点的颜色信息；

[0169] 根据各个第一像素点的融合亮度值以及所述颜色信息确定所述第二眼睛视点对应的透视图像。

[0170] 本发明实施例提供的图像透视装置，可以实现上述如图2和图3所示的实施例的图像透视方法，其实现原理和技术效果类似，此处不再赘述。

[0171] 图7为本发明实施例提供的一种电子设备的硬件结构示意图。如图7所示，本实施例提供的电子设备包括：至少一个处理器701和存储器702。其中，处理器701、存储器702通过总线703连接。

[0172] 在具体实现过程中，至少一个处理器701执行存储器702存储的计算机执行指令，使得至少一个处理器701执行上述方法实施例中的方法。

[0173] 处理器701的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。

[0174] 在上述的图7所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：
Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

[0175] 存储器可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器。

[0176] 总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

[0177] 本发明还提供一种可穿戴设备，包括计算单元、黑白图像成像装置和至少一个彩色相机；所述黑白图像成像装置包括深度传感器和/或黑白相机，所述计算单元用于执行上述方法实施例的方法。

[0178] 本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现上述方法实施例的方法。

[0179] 本申请实施例还提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法实施例的方法。

[0180] 上述的计算机可读存储介质，上述可读存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。可读存储介质可以是通用或专用计算机能够存取的任何可用介质。

[0181] 一种示例性的可读存储介质耦合至处理器，从而使处理器能够从该可读存储介质读取信息，且可向该可读存储介质写入信息。当然，可读存储介质也可以是处理器的组成部分。处理器和可读存储介质可以位于专用集成电路(Application Specific Integrated Circuits，简称：ASIC)中。当然，处理器和可读存储介质也可以作为分立组件存在于设备中。

[0182] 需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

[0183] 上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

[0184] 通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。

[0185] 以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。