[0001] 本实用新型涉及一种具有图像合成功能的数字式后视镜、车机系统和车辆。

[0002] 后视镜是驾驶员坐在驾驶室座位上直接获取车辆后面、侧面的外部环境信息的工具，包括内后视镜和外后视镜。内后视镜安装在驾驶员头顶的上方，可以使驾驶员不用太大地变换驾驶中向前的视线即可确认车辆正后方的情景。外后视镜一般安装在车身的两侧，为了便于驾驶员观察，通常需要调整外后视镜的角度。驾驶员在驾驶车辆的过程中，需要根据道路和外部环境来分别观察内后视镜、左侧后视镜或右侧后视镜，以查看后面和侧面不同区域的情景，而且内后视镜和外后视镜都存在一定的视野盲区。

[0003] 目前已经出现数字式后视镜，其包括设置在车辆后部和侧部并用于观察车辆后面和侧面的摄像头、以及便于驾驶员观察摄像头所拍摄的后方情景图像的显示屏。然而，在现有的数字式后视镜中，每个摄像头拍摄的图像都通过一个单独的显示屏来显示，这使得驾驶员仍需要通过多个显示屏来观察后面和侧面的情景，既不方便观察，也不利于判断在车辆后面和侧面出现的目标的相对位置。

[0012] 以下结合附图进一步描述本实用新型的实施例。

[0013] 图1示出本实用新型的实施例的数字式后视镜的结构。如图1所示，数字式后视镜100包括：图像处理单元140，被配置为连接设置在车辆的外部不同位置处的至少两个摄像头(如110，120，130)，接收至少两个摄像头所采集的关于车辆的外部环境的图像数据，以及对所接收的图像数据进行图像数据处理，以获得关于外部环境的合成图像；以及显示器
150，位于所述车辆的内部，并且被配置为连接图像处理单元140，以及显示所获得的合成图像。

[0014] 利用本实用新型的实施例的数字式后视镜，用户(驾驶员和乘客) 可以清晰地观察到由车辆外部的至少两个摄像头所采集图像的合成图像呈现的具有更宽广视野的整体外部环境，从而有利于用户进行车辆外部的观察和相应的车辆操控，提高车辆驾驶和停车过程中的安全性，以及改善用户体验。

[0015] 在本实用新型的实施例中，至少两个摄像头可以具有相连接或相重合的拍摄视野范围，但本实用新型并不限于此。而且，至少两个摄像头也可以不限于仅朝向车辆的后方或侧后方拍摄。根据本实用新型的实施例，通过不同位置的摄像头的拍摄视野范围的组合并获得相应的合成图像，可以使驾驶员在更宽广的视野范围内观察所感兴趣的方向；通过结合具有可调节拍摄方向的摄像头，驾驶员可以在车内显示器上观察具有可调节视野范围的、任何方向上的合成图像，从而大大增强驾驶员对外部环境的观察能力以及扩展观察视野。本领域技术人员可以理解的是，根据本实用新型的实施例所获得的合成图像是合成的视频图像。

[0016] 在一些实施例中，设置在车辆的外部的至少两个摄像头包括：第一后视摄像头110，被设置在车辆的左侧；第二后视摄像头120，被设置在车辆上与左侧相对的右侧；第三后视摄像头130，被设置在车辆的顶部或后部。通过呈现根据这三个后视摄像头采集的图像所获得的合成图像，车辆上的用户可以清晰地观察到车辆的左侧后方、右侧后方以及正后方的整体外部环境，有利于用户进行车辆侧后方和后方的观察和相应的车辆操控。

[0017] 在一些实施例中，图像处理单元140被配置为至少通过对分别来自至少两个摄像头(如第一后视摄像头110、第二后视摄像头120、以及第三后视摄像头130)的图像数据进行图像拼接处理和图像融合处理，来完成图像数据融合处理。在一个示例中，图像处理单元140 包括图像拼接处理组件141和图像融合处理组件142，分别用于对摄像头110、120和130所采集的图像进行图像拼接和图像融合，以获得合成图像。图像拼接处理组件141和图像融合处理组件142可以由硬件、软件或其组合来实现。在另一个示例中，图像处理单元140仅包括图像拼接处理组件141，用以通过拼接各个摄像头采集的图像来获得关于外部环境的拼接的合成图像。

[0018] 在一些实施例中，如图2A所示，第三后视摄像头130位于车辆的纵向中心线210上的位置，第一后视摄像头110和第二后视摄像头 120分别位于车辆的左侧和右侧、并且相对于车辆的纵向中心线210 具有对称的位置。第三后视摄像头130可以位于车辆的顶部以具有向后无遮挡的摄像视野范围。有些车辆的后部(尾部)高度为最大，则第三后视摄像头130可以安装在车辆的后部的顶缘上。在另一个示例中，第三后视摄像头130是位于车辆顶部的摄像头并具有可将其摄像视野范围调节为向车辆前方摄像或向车辆后方摄像的调节机构，以调节该摄像头既可向车辆前方摄像，也可向车辆后方摄像。

[0019] 在本文中所述的车辆的左侧、右侧和后部是相对于车辆的行进方向。在实施例中的各个摄像头可以是光学摄像头、红外线摄像头等，但本实用新型并不限于这些种类。本领域技术人员可以理解，在本实用新型的实施例中并不限于采用三个后视摄像头，也可以采用其它数量的摄像头，例如共设置四个或五个摄像头，可以在车辆的后部或某一侧面设置两个摄像头。

[0020] 如图2B所示，车辆左侧的摄像头110朝向车辆的左后方拍摄，车辆右侧的摄像头120朝向车辆的右后方拍摄，车辆后部或顶部的摄像头130朝向车辆的正后方拍摄，这三个摄像头的摄像视野范围分别为图2B中所标示的112、122和132，图中的摄像视野范围112和
122 采用与摄像视野范围132不同的区域填充图案以示区别。将这三个摄像头110、120和
130所拍摄的图像通过图像拼接处理和图像融合处理，就可以获得整体的摄像视野范围包含112、122和132的合成图像。通常，摄像头110、120的设置位置使得它们的摄像视野范围
112、 122与摄像头130的摄像视野范围132之间存在重合的范围。针对在重合的范围内的相同目标，由于摄像头110、120和130的拍摄角度和拍摄距离的不同，所拍摄目标在图像中的形状、颜色、亮度和/或尺寸都可能不同，所摄取图像所包含的目标信息也可能不完全相同。

[0021] 图像拼接处理将三个不同摄像头拍摄的源图像拼接成一幅合成的全景图像；图像拼接处理包括图像配准和图像无缝衔接。通常，图像拼接处理可以包括：图像预处理，包括数字图像处理的基本操作(如去噪、边缘提取、直方图处理等)、建立图像的匹配模板以及对图像进行某种变换(如傅里叶变换、小波变换等)等操作，确定两幅相邻图像重合的较精确位置，为特征点的搜索奠定基础；图像配准，就是采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置，在基本重合位置确定后，找到待匹配的特征点，进而确定两幅图像之间的变换关系；根据匹配点建立图像的变换模型或变换矩阵，根据模板或者图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；统一坐标变换，根据建立的数学转换模型，将待拼接图像转换到参考图像的坐标系中，完成统一坐标变换；图像无缝衔接，对待拼接图像的重合区域进行无缝衔接处理，得到拼接重构的平滑无缝的全景图像，实现图像的拼接；最后是拼接图像的平滑处理。图像无缝衔接处理的主要目标是通过对各个源图像的像素值的修正，使得拼接后的合成图像在拼缝附近能光滑过渡且合成图像整体颜色和灰度和谐，同时又能保证在修正像素值时从待拼接的源图像中获取尽可能多的信息量和尽可能清晰的合成图像。

[0022] 在图像融合处理中，可以将至少两个(例如三个)摄像头所采集到的关于同一目标的图像数据经过图像处理，以最大限度地提取各个采集图像中的目标有效信息，最后综合成高质量的合成图像，有利于提高图像信息的利用率，提升原始图像的空间分辨率和光谱分辨率，减少输出的合成图像的不确定度和冗余度；能够扩大合成的拼接图像所含有的时间空间信息，增加图像信息处理的可靠性，改进图像处理的鲁棒性能。在本实用新型的实施例中，可以采用三个以上的摄像头，例如在车辆的后部和/或车辆的两个侧面各设置两个摄像头，通过图像融合处理来提高合成图像的清晰度。

[0023] 在图3A至图3D所示的示例中，图3A示出后方摄像头(即第三后视摄像头130)采集的图像；图3B示出右侧摄像头(即第二后视摄像头120)采集的图像；图3C示出左侧摄像头(即第一后视摄像头110)采集的图像；图3D示出在显示器150上显示的合成图像的示意图，其中包含了图3A(中部)、图3B(左部)、图3C(右部) 中的场景图像。驾驶员通过显示器150观察到图3D所示的合成图像，可以具有更宽广的观察视野，可以清楚地观察到车辆两边的侧后方以及正后方的外部环境(包括在侧后方和正后方行驶的其它车辆)，也有利于判断在车辆正后方和侧后方出现的目标的相对位置，且其观察没有视野盲区。

[0024] 在一些实施例中，显示器150被设置在车内后视镜位置处，例如车内驾驶员座位的右上方，驾驶员可以按照与观察常规后视镜相类似的方式来观察数字式后视镜100。在另一些实施例中，显示器150可以是车辆的车机系统的显示器，例如中控屏，用户可以通过显示功能切换来在中控屏上观察车辆侧后和后方的外部环境。在另一些实施例中，显示器150是平视显示系统(HUD)，通过投影单元将图像处理单元140获得的合成图像映射在例如车辆的前挡风玻璃窗或侧挡风玻璃窗上，使驾驶员不必低头，就能方便地看清车辆侧后方和后方的整体外部环境。平视显示系统也可以在显示车速、油量或电量等参数的同时显示图像处理单元140输出的关于车辆侧后方和正后方的整体外部环境的合成图像。

[0025] 在另一些实施例中，显示器150是头戴式显示屏(HMD)，例如利用虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术，将图像处理单元140获得的合成图像显示在头戴式显示屏上，使驾驶员可以随时方便地看清车辆侧后方和后方的整体外部环境。图像处理单元140可以被包含在车辆的车机系统中，亦即由车机系统中的图像处理单元来实现图像处理单元140的图像处理功能，并且通过与显示器150的有线或无线连接，将所获得的合成图像发送到显示器150以供显示。

[0026] 在一些实施例中，第一后视摄像头110、第二后视摄像头120、以及第三后视摄像头130中的至少一个被安装在可改变其拍摄视野范围的调节机构上。在一个示例中，第三后视摄像头130被设置在车辆的顶部或后顶部(亦即车辆的后部上的最高部位)，以及被安装在可改变第三后视摄像头130的拍摄视野范围的调节机构上。例如，该调节机构是一个可自动旋转或人工旋转的机械式结构，通过旋转调节机构，可以使第三后视摄像头130朝向车辆的前方、前上方、左后方或右后方中的任一方向拍摄，以使驾驶员可以着重观察其感兴趣的方向或其它的视野盲区。另外，第一后视摄像头110和第二后视摄像头 120也可以被设置成其拍摄视野范围可调节(例如调节为朝向车辆的左前方、右前方拍摄)的状态，通过调节这三个摄像头中至少一个的拍摄视野范围，可以使得这三个摄像头110、120和130的合成图像能够呈现驾驶员期望的方向或其它视野盲区，例如，在车辆行驶在道路上时需要仔细观察车辆某一侧的外部环境，或者，在车辆顶部可能被外部物体碰撞的情况下需要仔细观察车辆前上方的外部环境。在另一个示例中，三个摄像头110、120和130为红外线摄像头并且被分别调节为朝向车辆的左前方、右前方和正前方，驾驶员在夜间或黑暗环境中可以通过合成图像来观察前方的外部环境。

[0027] 利用本实用新型的数字式后视镜中的上述调节机构，可以根据实际行驶需要将数字式后视镜调节为数字式前视镜、侧视镜、仰视镜等任一种。

[0028] 在一些实施例中，图像处理单元140连接车辆的行驶记录仪，以及将其输出的合成图像传送到行驶记录仪中。由此可以将呈现车辆的外部环境(如，侧后方和正后方)的合成图像记录在行驶记录仪中，使行驶记录仪记录的内容更加完整，不局限于常规行驶记录仪仅记录前方摄像头采集的图像。例如，行驶记录仪可以记录位于车辆侧后方和正后方的整体道路实况和其它车辆行驶状况，以及位于车辆侧后方和正后方的车辆及行人的声音信息。

[0029] 图4示出根据本实用新型的实施例的车机系统的结构方框图。如图4所示，车机系统400包括：图像处理单元410，被配置为连接设置在车辆的外部的至少两个摄像头，并接收至少两个摄像头所采集的关于车辆的外部环境的图像数据，以及对所接收的图像数据进行图像数据处理，以获得关于外部环境的合成图像。车机系统400可以由配置有图像处理器的常规车机系统来实现，其不仅可以通过包括各种功能单元来实现常规车机系统的各种功能(例如导航、定位、音乐视频播放、电子游戏、收音机、网络通信、防盗监控等)，还可以实现对多个摄像头所采集的图像的合成功能。

[0030] 在一些实施例中，设置在车辆的外部的至少两个摄像头包括：第一后视摄像头110，被设置在车辆的左侧；第二后视摄像头120，被设置在车辆上与左侧相对的右侧；第三后视摄像头130，被设置在车辆的顶部或后部。通过显示器420上显示根据这三个后视摄像头采集的图像所获得的合成图像，车辆上的用户可以清晰地观察到车辆的左侧后方、右侧后方以及正后方的具有更宽视野的整体外部环境，有利于用户进行车辆侧后方和后方的观察和相应的车辆操控。

[0031] 在一些实施例中，图像处理单元410被配置为至少通过对分别来自至少两个摄像头(如第一后视摄像头110、第二后视摄像头120、以及第三后视摄像头130)的图像数据进行图像拼接处理和图像融合处理，以获得关于外部环境的合成图像。在一个示例中，图像处理单元410包括图像拼接处理组件411和图像融合处理组件412，分别用于对摄像头110、120和130所采集的图像进行图像拼接和图像融合，以获得合成图像。图像拼接处理组件411和图像融合处理组件412可以由硬件、软件或其组合来实现。

[0032] 在一些实施例中，如图4中的虚线框所示，车机系统400还包括显示器420，被配置为连接图像处理单元410，以及显示图像处理单元410输出的合成图像。显示器420可以是独立设置的专用于后方视野观察的显示器，也可以是车机系统所配置的显示器。在一些实施例中，显示器420是平视显示系统(HUD)或头戴式显示屏(HMD)。

[0033] 在一些实施例中，图像处理单元410连接车辆的行驶记录仪，以及将所输出的合成图像传送到行驶记录仪中以供记录。

[0034] 本领域技术人员可以理解，图4所示的图像处理单元410和显示器420在结构和功能上都可以与图1所示的图像处理单元140和显示器150相类似，因此也可以实现上述参照图1所述实施例的图像处理和显示功能。

[0035] 本实用新型的实施例还提供一种车辆，该车辆包括：根据上述实施例所述的数字式后视镜；或根据上述实施例所述的车机系统。在本实用新型的实施例中，包含图像处理单元的车机系统可以结合车辆上的多个摄像头和设置在车辆内部的显示器(例如，专用于后视观察的显示屏，中控屏，HUD或HMD)来实现本实用新型的数字式后视镜。

[0036] 本领域技术人员可以理解，本实用新型的数字式后视镜中的图像处理单元也可以由车辆的其它信息处理设备(例如智能驾驶计算平台)的图像处理单元来实现，车辆上的多个摄像头可以直接连接智能驾驶计算平台，以传送所采集的外部环境的图像，并由智能驾驶计算平台中的图像处理单元进行图像处理与合成。

[0037] 以上描述仅是本实用新型的优选实施例，并非构成对本实用新型的任何限制。本领域技术人员在了解了本实用新型的内容和原理后，可以在不背离本实用新型原理的情况下，进行形式和细节上的各种修改和变型，而这些基于本实用新型的原理的修改和变型仍在其权利要求书所限定的保护范围之内。