双光图像整合设备及无人机 【技术领域】 [0001] 本实用新型涉及无人机技术领域，尤其涉及一种双光图像整合设备及无人机。 【背景技术】 [0002] 双光图像是指整合了两种或者更多类型的图像采集设备对同一个画面进行拍摄 或者录像后获得的多通道图像。例如，同时由可见光镜头等可见光成像设备和红外热成像 设备组成的双光拍摄系统。 [0003] 应用该双光拍摄系统可以同时获得红外成像图像和可见光图像，两种图像之间各 具特点，能够相互补充和配合，为后续的处理提供更多的功能选项。 [0004] 但是，现有的双光拍摄系统拍摄获得的不同类型的图像数据在存储、传输和合成 过程中仍然存在着一定的不足，制约了后续图像传输和图像存储的表现，如何改善对双光 拍摄系统拍摄获得双光图像的数据处理策略，避免图像信息丢失、图像传输同步性差等缺 陷是当前迫切需要解决的问题。 【发明内容】 [0005] 为了解决上述技术问题，本实用新型实施例提供一种保障图像传输同步性能的同 时避免信息丢失的双光图像整合设备及无人机。 [0006] 为解决上述技术问题，本实用新型实施例提供以下技术方案：一种双光图像整合 设备。所述双光图像整合设备包括：接收端口，合成模组、输出端口以及大容量存储器； [0007] 所述接收端口用于接收来自第一图像设备的第一图像数据和来自第二图像设备 的第二图像数据；所述合成模组用于组合所述第一图像数据和第二图像数据，合成第三图 像数据；所述接收端口用于输出所述第三图像数据；所述大容量存储器用于独立存储所述 第一图像数据和所述第二图像数据。 [0008] 可选地，所述第三图像数据为画中画图像；所述画中画图像包括主显示画面和叠 加在所述主显示画面上的副显示画面。 [0009] 可选地，所述合成模组具体用于： [0010] 将所述第一图像数据缩放至与第一视频画面相对应的尺寸并且，将所述第二图像 数据缩放至第二视频画面相对应的尺寸； [0011] 以所述第一视频画面为所述主显示画面，在所述主显示画面上叠加作为所述副显 示画面的所述第二视频画面； [0012] 或者以所述第二视频画面为所述主显示画面，在所述主显示画面上叠加作为所述 副显示画面的所述第一视频画面； [0013] 生成包括所述主显示画面和所述副显示画面的画中画图像。 [0014] 可选地，所述第三图像数据为所述第一图像数据和第二图像数据，逐个像素融合 获得的融合图像。 [0015] 可选地，所述合成模组具体用于： [0016] 根据所述第一图像数据和第二图像数据在每个像素位置的灰度值，确定所述第一 图像数据在第k个像素位置的第一图像性质和所述第二图像数据在第k个像素位置的第二 图像性质； [0017] 比较所述第一图像性质和所述第二图像性质，确定所述第k个像素位置的灰度值； k为1至K的整数，K为所述第一图像数据和所述第二图像数据的像素数量； [0018] 根据所有像素位置的灰度值，获得所述融合图像。 [0019] 可选地，所述第一图像数据为红外热成像图像数据，所述第二图像数据为可见光 图像数据。 [0020] 可选地，还包括编码模组；所述编码模组用于以预设的编码算法，对所述第一图像数据、第二图像数据以及第三图像数据进行编码； [0021] 所述大容量存储器还用于独立存储所述编码后的第一图像数据和所述编码后的 第二图像数据。 [0022] 可选地，所述编码模组具体用于：在所述第一图像数据和所述第二图像数据为图 片时，所述预设的编码算法为JPEG、DNG或者Tiff编码；在所述所述第一图像数据和所述第二图像数据为视频时，所述预设的编码算法为 H265或H264编码；所述大容量存储器为SD 卡。 [0023] 为解决上述技术问题，本实用新型实施例还提供以下技术方案：一种无人机。所述无人机包括：无人机主体；所述无人机主体上搭载有并列设置的第一图像设备和第二图像 设备；如上所述的双光图像整合设备；所述双光图像整合设备与所述第一图像设备和所述 第二图像设备连接，接收所述第一图像数据和第二图像数据；图传装置，所述图传装置与所述双光图像整合设备连接，向地面端传输所述双光图像整合设备合成的第三图像数据。 [0024] 可选地，所述第一图像设备为红外摄像机，所述第二图像设备为高清摄像机。 [0025] 与现有技术相比较，本实用新型实施例的提供双光图像整合设备根据后续不同的 应用，将双光图像(即第一图像数据和第二图像数据)分别使用不同的数据处理方式进行处 理，可以在避免图像存储时出现信息丢失的同时保持图像传输过程中双光图像的同步，可 以很好的满足用户的需求。 【附图说明】 [0026] 一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说 明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除 非有特别申明，附图中的图不构成比例限制。 [0027] 图1为本实用新型实施例的应用环境示意图； [0028] 图2为本实用新型实施例提供的电子计算平台的结构框图； [0029] 图3为本实用新型实施例提供的双光图像的应用示意图； [0030] 图4为本实用新型实施例提供的双光图像整合设备的示意图； [0031] 图5为本实用新型实施例提供的双光图像整合方法的方法流程图； [0032] 图6为本实用新型实施例提供的画中画图像的示意图； [0033] 图7为本实用新型另一实施例提供的画中画图像的示意图； [0034] 图8为本实用新型实施例提供的生成融合图像的方法流程图； [0035] 图9为本实用新型实施例提供的图像融合方法的方法流程图； [0036] 图10为本实用新型实施例提供的检测窗的示意图； [0037] 图11为本实用新型实施例提供的图像融合的检测窗的示意图。 【具体实施方式】 [0038] 为了便于理解本实用新型，下面结合附图和具体实施例，对本实用新型进行更详 细的说明。需要说明的是，当元件被表述“固定于”另一个元件，它可以直接在另一个元件上、或者其间可以存在一个或多个居中的元件。当一个元件被表述“连接”另一个元件，它可以是直接连接到另一个元件、或者其间可以存在一个或多个居中的元件。本说明书所使用 的术语“上”、“下”、“内”、“外”、“底部”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元 件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。 此外，术语“第一”、“第二”“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性。 [0039] 除非另有定义，本说明书所使用的所有的技术和科学术语与属于本实用新型的技 术领域的技术人员通常理解的含义相同。本说明书中在本实用新型的说明书中所使用的术 语只是为了描述具体的实施例的目的，不是用于限制本实用新型。本说明书所使用的术语 “和/或”包括一个或多个相关的所列项目的任意的和所有的组合。 [0040] 此外，下面所描述的本实用新型不同实施例中所涉及的技术特征只要彼此之间未 构成冲突就可以相互结合。 [0041] 双光图像一般是指采用包含两种或者更多类型以上的镜头的双光相机等双光图 像采集设备采集获得的图像。为陈述简便，本实用新型实施例的双光相机为包含红外摄像 头和可见光摄像头的图像采集设备，采集获得针对同一拍摄画面的红外热成像图像以及可 见光高清图像。 [0042] 图1为本实用新型实施例提供的应用环境。如图1所示，所述应用环境包括无人机 10、智能终端20以及无线网络30。 [0043] 无人机10可以是以任何类型的动力驱动的无人飞行载具，包括但不限于四轴无人 机、固定翼飞行器以及直升机模型等。在本实施例中以四轴无人机为例进行陈述。 [0044] 该无人机10可以根据实际情况的需要，具备相应的体积或者动力，从而提供能够 满足使用需要的载重能力、飞行速度以及飞行续航里程等。无人机上还可以添加有一种或 者多种功能模块，令无人机能够实现相应的功能。 [0045] 例如，在本实施例中，该无人机10可以通过云台等安装固定支架，搭载有双光相 机，用于采集双光图像。相对应地，该无人机10还可以设置图传装置，将双杠相机采集获得的双光图像上传至与无人机10建立连接的设备中。 [0046] 无人机10上包含至少一个主控芯片，作为无人机10飞行和数据传输等的控制核 心，整合一个或者多个模块，以执行相应的逻辑控制程序。 [0047] 例如，在一些实施例中，所述主控芯片上可以包括用于对双光图像进行数据处理 和后续应用双光图像整合设备，实现对双光图像的处理、传输或者存储。 [0048] 图2为本实用新型实施例提供的电子计算平台的结构框图。该电子计算平台可以 用于实现所述主控芯片中的全部或者部分功能模块的功能。如图2 所示，该电子计算平台 100可以包括：处理器110、存储器120以及通信模块 130。 [0049] 所述处理器110、存储器120以及通信模块130之间通过总线的方式，建立任意两者 之间的通信连接。 [0050] 处理器110可以为任何类型，具备一个或者多个处理核心的处理器。其可以执行单 线程或者多线程的操作，用于解析指令以执行获取数据、执行逻辑运算功能以及下发运算 处理结果等操作。 [0051] 存储器120作为一种非易失性计算机可读存储介质，例如至少一个磁盘存储器件、 闪存器件、相对于处理器110远程设置的分布式存储设备或者其他非易失性固态存储器件。 [0052] 存储器120可以具有程序存储区，用于存储非易失性软件程序、非易失性计算机可 执行程序以及模块，供处理器110调用以使处理器110执行一个或者多个方法步骤。存储器 120还可以具有数据存储区，用以存储处理器110 下发输出的运算处理结果。 [0053] 通信模块130是用于建立通信连接，提供物理信道的功能模块。通信模块130可以 是任何类型的无线或者有线通信模块，包括但不限于WiFi模块或者蓝牙模块等。 [0054] 智能终端20可以是任何类型，用以与无人机建立通信连接的智能设备，例如手机、平板电脑或者智能遥控器等。该智能终端20可以装配有一种或者多种不同的用户交互装 置，用以采集用户指令或者向用户展示和反馈信息。 [0055] 这些交互装置包括但不限于：按键、显示屏、触摸屏、扬声器以及遥控操作杆。例如，智能终端20可以装配有触控显示屏，通过该触控显示屏接收用户对无人机的遥控指令 并通过触控显示屏向用户展示由双光相机航拍获得的图像信息，用户还可以通过遥控触摸 屏切换显示屏当前显示的图像信息。 [0056] 在一些实施例中，无人机10与智能终端20之间还可以融合现有的图像视觉处理技 术，进一步的提供更智能化的服务。例如无人机10可以通过双光相机采集图像的方式，由智能终端20对图像进行解析，从而实现用户对于无人机10的手势控制。 [0057] 无线网络30可以是基于任何类型的数据传输原理，用于建立两个节点之间的数据 传输信道的无线通信网络，例如位于不同信号频段的蓝牙网络、 WiFi网络、无线蜂窝网络或者其结合。 [0058] 图1所示的应用环境仅显示了双光相机在无人机上的应用。本领域技术人员可以 理解的是，该双光相机还可以被搭载在其它类型的移动载具(如遥控车)上，执行相同的功 能。本实用新型实施例公开的关于双光相机和双光图像的实用新型思路并不限于在图1所 示的无人机上应用。 [0059] 图3为本实用新型实施例提供的双光图像整合的应用过程。在图3所示的实施例 中，双光图像包括第一图像数据A和第二图像数据B。第一图像数据A和第二图像数据B可以 被组合输出为单通道的第三图像数据。 [0060] 如图3所示，由双光相机采集获得第一图像数据A和第二图像数据B通常会有如下 几项流向：传输到大容量存储设备中进行保存(210)、传输至显示设备向用户展示(220)或 者进行图像视觉处理(230)。 [0061] 图4为本实用新型实施例提供的用于执行图3所示的双光图像应用过程的整合设 备，可以配置有相应的硬件和软件单元以实现图2所示的数据处理过程。所述整合设备具体可以是现有任何类型的处理器芯片实现，其可以作为分立的芯片也可以作为其中一个功能 模块，整合到无人机的飞控芯片内。 [0062] 如图4所示，所述整合设备可以包括：接收端口41、合成模组42、输出端口43以及大容量存储器44。 [0063] 其中，所述接收端口41是与双光相机或者数据源连接的输入端口，用于接收来自 第一图像设备的第一图像数据和来自第二图像设备的第二图像数据。 [0064] 所述合成模组42是一个进行图像数据合成的功能模块，可以由硬件电路的方式实 现，用于通过一种或者多种方式组合所述第一图像数据和第二图像数据，获得一个单通道 的图像数据输出。 [0065] 在一些实施例中，所述第三图像数据可以为画中画图像；所述画中画图像包括主 显示画面和叠加在所述主显示画面上的副显示画面。 [0066] 相对应地，所述合成模组42具体可以用于：首先将所述第一图像数据缩放至与第 一视频画面相对应的尺寸并且，将所述第二图像数据缩放至第二视频画面相对应的尺寸。 然后，以所述第一视频画面为所述主显示画面，在所述主显示画面上叠加作为所述副显示 画面的所述第二视频画面；或者以所述第二视频画面为所述主显示画面，在所述主显示画 面上叠加作为所述副显示画面的所述第一视频画面。最后，生成包括所述主显示画面和所 述副显示画面的画中画图像。 [0067] 在另一些实施例中，所述第三图像数据为所述第一图像数据和第二图像数据，逐 个像素融合获得的融合图像。 [0068] 相对应地，所述合成模组42具体可以用于：首先，根据所述第一图像数据和第二图像数据在每个像素位置的灰度值，确定所述第一图像数据在第k 个像素位置的第一图像性 质和所述第二图像数据在第k个像素位置的第二图像性质。其次，比较所述第一图像性质和所述第二图像性质，确定所述第k 个像素位置的灰度值；k为1至K的整数，K为所述第一图像数据和所述第二图像数据的像素数量。最后，根据所有像素位置的灰度值，获得所述融合图像。 [0069] 本领域技术人员可以根据本实用新型实施例中揭露的合成模组42需要执行的功 能步骤，选择使用对应的硬件电路来实现(例如一个或者多个比较电路，图像窗处理电路 等)。根据所要实现的功能步骤，选择和设计硬件电路的方式为本领域技术人员所熟知，是本技术领域的公知常识，在此不作赘述。 [0070] 所述接收端口43是一个数据输出端口，其可以与后续的多个处理模块连接，用于 输出由所述第一图像数据和第二图像数据组合获得的第三图像数据。 [0071] 大容量存储器44是可以是任何合适类型的非易失性的存储设备，用于提供足够的 存储空间以保存采集获得的所有原始数据，包括但不限于，SD卡、 SSD硬盘、机械硬盘或者闪存等。在本实施例中，所述大容量存储器44采用 SD卡。 [0072] 所述大容量存储器44可以根据实际需要选择合适的数量，例如可以设置为两个， 分别用于第一图像数据或者第二图像数据的存储。当然，所述大容量存储器44也可以直接 使用位于无人机中的其它系统提供的存储空间或者存储设备。例如，可以直接保存在无人 机图传装置的存储设备中。 [0073] 除了三种基本的图像数据的流向以外，还可以增加或者减少一些图像处理步骤， 以满足不同的需要。 [0074] 例如，还可以包括对图像数据的编码操作，以减少传输和存储所需要的数据量。亦即，以预设的编码算法，分别对所述第一图像数据、第二图像数据以及组合获得的第三图像数据进行编码(240)。 [0075] 编码后的第一图像数据和第二图像数据可以被保存在大容量存储设备中。编码后 的第三图像数据则可以提供给视觉处理或者智能终端，向用户展示。 [0076] 所述预设的编码算法具体可以采用任何类型的编码算法，也可以针对图像数据的 区别选择一种或者多种编码算法进行编码。例如，在所述第一图像数据和所述第二图像数 据为图片时，所述预设的编码算法可以为JPEG、DNG 或者Tiff编码。而在所述第一图像数据和所述第二图像数据为视频时，所述预设的编码算法为H265或者H264编码。 [0077] 相对应地，所述整合设备还可以进一步的包括编码模组45。所述编码模组设置在 输出端口和大容量存储器之间，用于执行上述的编码操作。 [0078] 在传统的处理方法中，通常会将第一图像数据A和第二图像数据B进行组合后，作 为一个单通道的第三图像数据提供给后续的处理模块(如大容量存储器等)。但是，在进行 组合以后，大容量存储设备中保存的图像信息重叠在一起，无法剥离出原始的图像信息，使得保存的图像信息存在一定的缺失。 [0079] 而在另一些双光相机设计中，两个不同类型的镜头和后续的图像处理结构完全独 立设置。由此，第一图像数据A和第二图像数据B之间的相互独立传输的，两者之间容易出现不一致的问题。在显示设备向用户展示第一图像数据A和第二图像数据B时，同步性较差，严重影响了用户体验。 [0080] 应用本实用新型实施例提供的双光图像整合方法，可以很好的克服以上传统处理 方法存在的问题，同时解决保存时原始信息丢失和显示图像不同步的问题。在本实施例中，以所述第一图像数据为红外热成像数据，所述第二图像数据为可见光数据为例进行描述。 [0081] 图5为本实用新型实施例提供的双光图像整合方法。如图5所示，该双光图像整合 方法包括如下步骤： [0082] 501、分别接收来自第一图像设备的第一图像数据和来自第二图像设备的第二图 像数据。 [0083] 第一图像数据和第二图像数据是不同拍摄类型的图像数据，例如红外图像和可见 光图像。该第一图像数据和第二图像数据是相互对应的。亦即，由并行设置的两个镜头所采集，是对同一个画面或者场景在不同类型的光线下的记录数据。 [0084] 502、独立存储所述第一图像数据和所述第二图像数据。 [0085] 在数据采集完成后，独立进行第一图像数据A和第二图像数据B的存储和记录时 (流向210)。亦即，分别将第一图像数据A和第二图像数据B存储在同一存储设备的不同的存储区块或者不同的存储设备中。 [0086] 503、组合所述第一图像数据和第二图像数据，合成第三图像数据。 [0087] 组合、合成所述第一图像数据和第二图像数据的过程是指将两者的数据按照一定 的算法规则，对两者的数据进行整合。最终合成获得的第三图像数据是一个单通道的图像 数据，包含了第一图像数据和第二图像数据的信息。 [0088] 504、提供所述第三图像数据。 [0089] 单一通道的第三图像数据可以进一步的提供给后续的处理操作，例如提供至图传 系统，提供给智能终端进行显示(流向220)或者进行视觉运算处理。 [0090] 在本实用新型实施例提供的双光图像融合方法中合成获得的第三图像数据在传 输过程中不存在双通道图像数据的同步性问题，在显示设备上显示时可以取得较好的显示 效果，提高用户的使用体验。 [0091] 当然，第三图像数据的合成方式可以根据流向的不同或者第三图像数据的不同而 相应的调整。例如，在一些实施例中，所述第三图像数据可以是在显示设备中显示的画中画图像。 [0092] 所述画中画图像是一种特别的内容呈现方式，是指在在全屏播放的主显示画面 时，在该主显示画面其中一部分面积区域上插入同时播放的另一路副显示画面，以使用户 可以同时观察到两路或以上的视频图像。 [0093] 具体的，所述步骤503的合成方法可以包括如下步骤，以合成获得所述画中画图 像： [0094] 首先，将所述第一图像数据缩放至与第一视频画面相对应的尺寸并将所述第二图 像数据缩放至第二视频画面相对应的尺寸。 [0095] 第一视频画面和第二视频画面的尺寸都是根据实际情况所确定的，与显示设备的 屏幕大小、画中画大小以及是否被选择作为主显示画面等因素相关。 [0096] 然后，根据用户的选择指令，从第一视频画面和第二视频画面中确定哪一个作为 主显示画面。最后，将副显示画面叠加到主显示画面上，生成画中画图像。 [0097] 例如，如图6所示，可以以所述第一视频画面为主显示画面，在所述主显示画面上 叠加作为副显示画面的第二视频画面。 [0098] 又或者如图7所示，以所述第二视频画面为主显示画面，在所述主显示画面上叠加 作为副显示画面的所述第一视频画面上，生成画中画图像。 [0099] 所述主显示画面是指画中画图像中全屏显示的部分。而副显示画面则是指叠加在 全屏显示上的部分显示区域。用户可以根据自己的需要，选择第一视频画面或者第二视频 画面作为画中画图像的主显示画面。当然，还可以相应的调整主显示画面和副显示画面的 尺寸。 [0100] 最后，将生成包括所述主显示画面和所述副显示画面的画中画图像。生成的画中 画图像是一个单通道图像，经过第一图像数据和第二图像数据组合后获得，每一帧画中画 图像都是完整的，传输到显示设备中不会存在同步性的问题。 [0101] 在另一些实施例中，在提供给流向230时，所述第三图像数据可以为所述第一图像 数据和第二图像数据，逐个像素融合获得的融合图像。 [0102] 融合图像是提供给图像视觉处理的基础图像数据，其通过逐个像素点融合的方式 来整合第一图像数据和第二图像数据。该图像视觉处理可以是任何合适的一种或者多种图 像处理算法，包括边缘检测、人脸识别以及平滑处理等。 [0103] 传统的融合图像是直接逐个像素点的比较第一图像数据和第二图像数据后，取两 者中较大的灰度值作为融合图像在该像素点的灰度值。这样的简单的融合方式很容易导致 图像细节的丢失而影响后续的图像视觉处理过程。例如，在第一图像数据有一部分区域具 有较丰富的纹理，而第二图像数据对应的部分为高灰度区域时，融合图像在这个区域的纹 理将会消失，无法保存。 [0104] 为了尽可能的保存图像的细节，提高后续图像视觉处理的准确度，在一些实施例 中，可以使用图8所示的方法步骤来获得融合图像。如图8所示，所述融合图像的过程包括： [0105] 801、根据所述第一图像数据和第二图像数据在每个像素位置的灰度值，确定所述 第一图像数据在第k个像素位置的第一图像性质和所述第二图像数据在第k个像素位置的 第二图像性质。 [0106] 所述像素位置是指在像素点在图像中的位置，用于标识不同的像素点。例如，在一个二维图像中，像素点的像素位置可以由(x，y)这样的数组表示，x为像素点在图像长度上的位置，y为像素点在图像宽度上的位置。 [0107] 在本实施例中，以k来表示不同的像素点位置。所述图像性质是指该像素位置的图 像的特点，包括纹理是否丰富，过度是否平滑或者是否属于边缘等。通常可以采用像素位置的领域的方式来计算或者界定所述图像性质。 [0108] 802、比较所述第一图像性质和所述第二图像性质，确定所述第k个像素位置的灰 度值。 [0109] 其中，k为1至K的整数，K为所述第一图像数据和所述第二图像数据的像素数量。 [0110] 对于一个二维图像来说，将长度和宽度包含的像素点数量相乘即可得到该二维图 像的像素数量。如上所述，第一图像数据和第二图像数据之间的像素点是对应的，数量相 同。 [0111] 803、根据所有像素位置的灰度值，获得所述融合图像。 [0112] 重复对每个像素位置都进行判断，确定各个像素位置的灰度值以后，便可以获得 最终的融合图像提供给后续的视觉处理。 [0113] 图9为本实用新型实施例提供的一种图像融合的具体方法。如图9所示，所述图像 融合方法可以包括如下步骤： [0114] 901、设置检测窗的尺寸。所述检测窗是指在图像性质计算过程中，检测取样的窗 口大小，用于定义一个合适尺寸的邻域。 [0115] 902、通过预设的检测窗，判断在第k个像素位置的平滑程度是否小于预设的平滑 阈值。若是，则执行步骤903、若否则执行步骤904。 [0116] 具体的，检测窗可以根据实际情况设置合适的尺寸，例如，如图10所示的，可以设置为长宽均为3个像素的检测窗。每个都根据检测窗内的像素点之间的灰度值关系来计算 图像性质。 [0117] 图10为本实用新型实施例提供的检测窗的示意图。如图10所示，在一幅二维图像 中，检测窗的尺寸为3ⅹ3，第k个像素位置通过Xm，n表示，m和 n分别表示二维图像中所在行和列的像素点。 [0118] 首先依次计算在检测窗内，第k个像素位置与若干个相邻的像素位置之间的灰度 值差值。亦即，分别计算Xm‑1，n和Xm，n、Xm+1，n和Xm，n、Xm，n‑1和 Xm，n以及Xm，n‑1和Xm，n之间的灰度值的差。 [0119] 然后，判断上述计算获得灰度值的差是否均小于预设的平滑阈值。当所有的灰度 值的差均小于平滑阈值时，执行步骤903。否则，则执行步骤904。该平滑阈值是一个经验数值，可以根据实际的图像数据、数据种类和/或其它相关因素，由本领域技术人员所选定。 [0120] 903、确定所述第k个像素位置的图像性质为平滑。 [0121] 平滑是指在这个像素位置的图像区域具有纹理较少的图像特性，通常可以表示在 这个像素点具有较少的细节。 [0122] 904、确定所述第k个像素位置的图像性质为非平滑。 [0123] 非平滑是指相对于定义的标准而言，这个位置的图像区域具有比较丰富的纹理。 这样的图像特性的可以表示该像素位置具有较多的细节，应当予以保留。 [0124] 步骤901至步骤904均分别在第一图像数据和第二图像数据进行，从而确定在第k 个像素位置的图像性质是否为平滑。 [0125] 具体的，由于图像数据的种类不相同，第一图像数据和第二图像数据还可以在判 断是否平滑是可以使用不同的判断标准或者平滑阈值。例如，对于第一图像数据使用第一 平滑阈值，并且对于第二图像数据使用第二平滑阈值。并最终获得第一图像数据在像素位 置k的第一图像性质(905a)和第二图像数据在相同像素位置的第二图像性质(905b)。 [0126] 在确定了第一图像性质和第二图像性质以后，便可以继续执行如下步骤： [0127] 906、判断所述第一图像性质和第二图像性质是否相同。若是，则执行步骤907，若否，则执行步骤908。 [0128] 907、判断所述第一图像性质和第二图像性质是否均为平滑。若是，则执行步骤 909。若否，则执行步骤910。 [0129] 908、判断所述第一图像性质和第二图像性质哪一个为非平滑。若第一图像性质为 非平滑，执行步骤912。若第二图像性质为非平滑，执行步骤913。 [0130] 909、计算第一图像数据和第二图像数据在所述第k个像素位置的灰度值的平均值 作为所述第k个像素位置的灰度值。 [0131] 910、比较所述第一图像数据和第二图像数据在所述第k个像素位置的灰度值。 [0132] 911、以两者中较高的灰度值作为所述第k个像素位置的灰度值。 [0133] 912、以第二图像数据在所述第k个像素位置的灰度值为所述第k个像素位置的灰 度值。 [0134] 913、以第一图像数据在所述第k个像素位置的灰度值为所述第k个像素位置的灰 度值。 [0135] 以下结合具体实例，详细描述图9所示的步骤在实际操作中的实现方式。假设所述 第一图像数据为可见光，第二图像数据为红外热成像，检测窗的尺寸为3ⅹ3。 [0136] 其中，xm，n表示所述可见光在像素点(m，n)的灰度；T1为所述第一平滑阈值；ym，n表示所述红外热成像在像素点(m，n)的灰度，T2为所述第二平滑阈值，zm，n为融合图像在像素点(m，n)的灰度。 [0137] 如图11所示，首先分别采集第一图像数据和第二图像数据中，包含像素点(m，n)在内，其周围一共9个像素点的灰度数据。 [0138] 然后，按照如下由四段曲线组成的分段函数，计算融合图像在像素点(m， n)的灰 度zm，n： [0139] 1)当满足 时，令 [0140] 该第一段曲线即为图9中步骤909的情形，对应的判断条件是第一图像性质和第二 图像性质均为平滑。 [0141] 2)当满足 以及 时，令zm,n＝xm,n [0142] 该第二段曲线为图9中步骤913的情形，对应的判断条件是第一图像性质为平滑， 第二图像性质为非平滑。 [0143] 3)当满足 以及 时，令zm,n＝ym,n [0144] 该第三段曲线即为图9中步骤912的情形，对应的判断条件是第一图像性质为平 滑，第二图像性质为非平滑。 [0145] 4)在以上三种情况都不满足的情况下，令zm,n＝max(xm,n,ym,n)。 [0146] 该第四段曲线即为图9中步骤911的情形，对应的判断条件是第一图像性质和第二 图像性质均为非平滑。 [0147] 通过以上方式可以根据每个像素位置的具体情况来计算最终的像素点灰度值。这 样的可以更好的反映和保留两种图像数据中包含的图像细节。最终获得的融合图像的信息 源较为丰富，后续的视觉处理算法的输出效果一致，也有利于提升视觉处理算法的处理性 能。 [0148] 本实用新型实施例提供的双光图像整合方法可以提供融合图像或者画中画图像。 用户可以在智能终端20上输入相应的控制指令对显示屏幕显示的图画进行调整。例如，用 户可以输入切换指令，将红外图像作为主显示画面，以可见光图像为副显示画面，或者还可以控制智能终端直接显示融合图像。 [0149] 这样的，传输到图传装置的图像通过画中画的方式叠加为单通道的图像数据，解 码显示后可以更好的支持智能终端实时查看，避免两路图像不同步的问题。 [0150] 本领域技术人员应该还可以进一步意识到，结合本文中所公开的实施例描述的示 例性的双光图像整合方法的各个步骤，能够以电子硬件、计算机软件或者二者的结合来实 现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了 各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定 应用和设计约束条件。 [0151] 本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但 是这种实现不应认为超出本实用新型的范围。所述的计算机软件可存储于计算机可读取存 储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。 [0152] 最后应说明的是：以上实施例仅用以说明本实用新型的技术方案，而非对其限制； 在本实用新型的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合， 步骤可以以任意顺序实现，并存在如上所述的本实用新型的不同方面的许多其它变化，为 了简明，它们没有在细节中提供；尽管参照前述实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改， 或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本 质脱离本实用新型各实施例技术方案的范围。