[0001] 本申请实施例涉及物联网智能家居领域，尤其涉及图像检测识别装置及其检测识别方法。

[0002] 随着物联网家用智能设备的普及，涌现出越来越多的智能应用场景。沉浸式智能电视机灯带就是一种融合智能照明、智能摄像机的产品。它主要通过摄像机实时获取电视机屏幕颜色，再控制安装在电视机背面的灯带显示对应颜色，实现一种沉浸式观影体验。

[0003] 此类产品中主要技术可以概括为三部分，即电视机屏幕区域识别、实时屏幕取色、实时灯带控制。电视屏幕区域识别，目前上市产品主要通过人工标定来实现，即通过可视画面，用户通过界面交互手动完成区域标记。

[0004] 但是这种标定过程在人为交互过程中会导致产品操作复杂、步骤冗余，用户体验差且还有可能标定结果不准确。

[0050] 本申请实施例提供了图像检测识别装置及其检测识别方法，具有更高的准确度，从而实现优化电视机屏幕显示区域的检测和识别，实现实时屏幕取色，且操作简便，提高用户的使用感受。

[0051] 随着物联网家用智能设备的普及，涌现出越来越多的智能应用场景。沉浸式智能电视机灯带就是一种融合智能照明、智能摄像机的产品。它主要通过摄像机实时获取电视机屏幕颜色，再控制安装在电视机背面的灯带显示对应颜色，实现一种沉浸式观影体验。

[0052] 此类产品中主要技术可以概括为三部分，即电视机屏幕区域识别、实时屏幕取色、实时灯带控制。电视屏幕区域识别，目前上市产品主要通过人工标定来实现，即通过可视画面，用户通过界面交互手动完成区域标记。

[0053] 但是这种标定过程在人为交互过程中会导致产品操作复杂、步骤冗余，用户体验差且还有可能标定结果不准确。

[0054] 基于此，本申请实施例提供了一种图像检测识别装置，应用于家居智能设备，请参阅图1，本申请实施例提供的图像检测识别装置的一种实施方式包括：先验信息保存模块101、摄像模块102、图像处理模块103以及通讯模块104。其中：

[0055] 先验信息保存模块101，用于保存图像检测识别装置在初次启用时所需的先验信息，且在图像检测识别装置初次启用时将先验信息传输至图像处理模块，以使得图像处理模块根据先验信息确定矩形显示区域的位置信息。

[0056] 结合本装置的使用场景，当本装置用于检测电视机或者其他具有显示器功能的设备时，应该在安装后初次启用时进行显示区域的检测识别和校准，值得注意的是，本申请实施例中矩形显示区域用于指代电视机屏幕等其他具有显示器功能的设备的矩形显示区域，本申请实施例中的初次启用也不局限于本装置第一次开机使用，还应当包括本装置进行系统重置的情况。

[0057] 先验信息是由本装置的技术开发人员在装置设计制造阶段通过多次实验得到的用于实现本装置执行其功能的一些信息或参数，在装置生产阶段将其预存于先验信息保存模块101中，以便实现本装置的技术效果。

[0058] 具体地，为了实现检测识别到矩形显示区域的位置信息的技术效果，本装置通过在设计开发阶段预先对多个尺寸的电视机屏幕进行图像获取，具体到通过选取覆盖35‑70寸大小的电视机屏幕作为样本，通过实验验证当本装置的摄像头安装于指定区域时(如电视机屏幕的顶边或者底边接近中点的位置)，摄像头的安装边的两个顶点总是落在通过摄像头看到的监控画面图像中的一定范围内，所以这两个顶点，以及安装边的中点的具体坐标位置就通过这种方式获取并设定为固定的坐标值预存在先验信息保存模块101中。且在开发试验阶段，开发人员还发现电视机屏幕的底边在经过摄像头成像存在变形的情况后，仍然可以落在一个固定的范围内，且这个范围可用一个矩形框来表示，所以将这个矩形框的位置也作为先验信息保存在先验信息保存模块101中。

[0059] 摄像模块102，用于获取矩形显示区域的图像数据，并将图像数据传输至图像处理模块，以使得图像处理模块根据图像数据确定矩形显示区域的位置信息。

[0060] 图像处理模块103，用于通过帧间相对差算法获取矩形显示区域的位置信息。

[0061] 通过摄像模块102拍摄不同亮度状态下的多帧图像，对这多帧图像采用帧间差算法去获取到不同帧之间的相对变化情况，由于本实施例中所获取的多帧图像中所包含的像素点既包括电视机屏幕部分，也包括放置电视机的环境部分，所以当调节电视机的屏幕亮度时，每一帧图像的相同位置的像素变化存在相对变化趋势，本实施例中通过这种相对变化趋势从而获得矩形显示区域的位置信息，所采用的方法相对于行业内所公知的帧间差算法进行了基于相对变化趋势的改进，所以在本申请中采用“帧间相对差算法”的描述方式来体现具体的实现过程。

[0062] 通讯模块104，用于图像检测识别装置与主机或终端之间的信息交互：设有包括USB、串口SPI总线中的一个或多个接口，以有线连接方式或无线连接方式连接与主机或终端，以使得具备不同接口的各种主机或终端都能连接图像检测识别装置而具备图像检测识别功能。

[0063] 本实施例中，通过摄像模块102获取矩形显示区域的图像数据，采用图像处理模块103通过帧间相对差算法并结合人工标定的先验信息获取矩形显示区域的位置信息，具有更高的准确度，从而实现优化电视机屏幕显示区域的检测和识别，实现实时屏幕取色，且操作简便，提高用户的使用感受。

[0064] 本申请实施例提供的图像检测识别装置的另一种实施方式包括：先验信息保存模块101、摄像模块102、图像处理模块103以及通讯模块104。其中：

[0065] 先验信息保存模块101，用于保存图像检测识别装置在初次启用时所需的先验信息，且在图像检测识别装置初次启用时将先验信息传输至图像处理模块，以使得图像处理模块根据先验信息确定矩形显示区域的位置信息。

[0066] 结合本装置的使用场景，当本装置用于检测电视机或者其他具有显示器功能的设备时，应该在安装后初次启用时进行显示区域的检测识别和校准，值得注意的是，本申请实施例中矩形显示区域用于指代电视机屏幕等其他具有显示器功能的设备的矩形显示区域，本申请实施例中的初次启用也不局限于本装置第一次开机使用，还应当包括本装置进行系统重置的情况。

[0067] 先验信息是由本装置的技术开发人员在装置设计制造阶段通过多次实验得到的用于实现本装置执行其功能的一些信息或参数，在装置生产阶段将其预存于先验信息保存模块101中，以便实现本装置的技术效果。

[0068] 具体地，为了实现检测识别到矩形显示区域的位置信息的技术效果，本装置通过在设计开发阶段预先对多个尺寸的电视机屏幕进行图像获取，具体到通过选取覆盖35‑70寸大小的电视机屏幕作为样本，通过实验验证当本装置的摄像头安装于指定区域时(如电视机屏幕的顶边或者底边接近中点的位置)，摄像头的安装边的两个顶点总是落在通过摄像头看到的监控画面图像中的一定范围内，所以这两个顶点，以及安装边的中点的具体坐标位置就通过这种方式获取并设定为固定的坐标值预存在先验信息保存模块101中。且在开发试验阶段，开发人员还发现电视机屏幕的底边在经过摄像头成像存在变形的情况后，仍然可以落在一个固定的范围内，且这个范围可用一个矩形框来表示，所以将这个矩形框的位置也作为先验信息保存在先验信息保存模块101中。

[0069] 摄像模块102，用于获取矩形显示区域的图像数据，并将图像数据传输至图像处理模块，以使得图像处理模块根据图像数据确定矩形显示区域的位置信息。

[0070] 本装置中摄像模块102采用鱼眼摄像头以获取到180°广角的监控画面，使得当本装置安装于电视机屏幕的顶端或底边上时，仍能将电视机屏幕的画面较为完整地体现在监控画面中。摄像模块102也可以有其他能实现同样技术效果的广角摄像头，具体此处不做限定。

[0071] 在摄像头安装时，用户可以通过用户终端进行交互，以使得本装置获取到具体的安装位置信息，以便于后续检测电视机显示区域的步骤实现。具体的用户终端的交互界面可以如下图4所示。

[0072] 例如，当鱼眼摄像头安装在电视机屏幕上方时，摄像头所拍摄的监控画面截图和对应的安装方式在用户终端的界面截图如图5所示。

[0073] 如上图5为将鱼眼摄像头安装于70寸电视机顶边接近中点的位置所获取到的监控画面截图。两种方式的区别在于获取的电视机顶点位置不同，具体计算中顶点位置通过旋转变换即可。在人工标定获取先验信息的过程中，首先通过以上截图画面建立坐标系，其中图像左上角顶点为计算机坐标系中的原点(0，0)，沿着图像左上角顶点水平往右为计算机坐标系中的X轴正方向，即横坐标。沿着图像左上角垂直往下为计算机坐标系中的Y轴正方向即纵坐标。

[0074] 具体步骤如下：

[0075] 将摄像头按照产品使用规则，安装在不同尺寸电视机顶部后，获取监控画面截图；

[0076] 首先确定鱼眼图像顶部中点坐标，如图5中标注的实际电视机顶部中点；

[0077] 再获取电视机顶部左右两个顶点坐标，如图5中左上角和右上角标注；

[0078] 第三步获取电视机底部左中右三个坐标点，如图5中左下角和右下角标注。图中黑色框可以确定电视机底边的上下范围和长度范围，经过标定测量可确认不同35‑70寸的电视机底边都能落在黑色边框内部；

[0079] 电视机左右边框的中点，由左右两边的上下顶点连线中点计算得到，如图5中标注的实际电视机左、右边中点；

[0080] 经过以上标定步骤，可以初步确定电视机在摄像头画面中的位置，为后续算法检测更精确顶点坐标提供支持。

[0081] 图像处理模块103，用于通过帧间相对差算法获取所述矩形显示区域的位置信息。

[0082] 通过摄像模块102拍摄不同亮度状态下的多帧图像，对这多帧图像采用帧间差算法去获取到不同帧之间的相对变化情况，由于本实施例中所获取的多帧图像中所包含的像素点既包括电视机屏幕部分，也包括放置电视机的环境部分，所以当调节电视机的屏幕亮度时，每一帧图像的相同位置的像素变化存在相对变化趋势，本实施例中通过这种相对变化趋势从而获得矩形显示区域的位置信息，所采用的方法相对于行业内所公知的帧间差算法进行了基于相对变化趋势的改进，所以在本申请中采用“帧间相对差算法”的描述方式来体现具体的实现过程。

[0083] 本实施例中，可以通过用户在用户终端交互的方式获取电视机在打开和关闭状态下的两帧图像，为后续算法提供图像数据，交互界面如下图6、图7所示。

[0084] 获取到的电视机在关、开状态下的两帧图像在用户终端显示的截图如下图8、图9所示，将两幅图片做帧间差分，获取差分图像如下图10。

[0085] 差分过程中，利用电视机从关到开的状态，电视机屏幕区域亮度必然增大而背景区域亮度必然减小这一相对变化趋势，将图像中像素变大的区域标记为白色区域，反之标记为黑色区域，最终差分图像如图10所示。其中图像的大块白色区域为电视机屏幕区域，其他黑色区域为电视机以外的背景区域。结合先验信息可以快速定位电视机大概区域，本实施例中的电视机顶部的左、右顶点和中点都使用人工标定数据，继而结合帧间相对差算法，定位电视机底部顶点。

[0086] 通讯模块104，用于图像检测识别装置与主机或终端之间的信息交互，以有线连接方式或无线连接方式连接与主机或终端，以使得各种主机或终端都能连接图像检测识别装置而具备图像检测识别功能。

[0087] 本实施例中，摄像模块102通过鱼眼摄像头获取矩形显示区域的图像数据，使得电视机屏幕能够完整地出现在监控画面中，采用图像处理模块103通过帧间相对差算法并结合人工标定的先验信息获取矩形显示区域的位置信息，具有更高的准确度，从而实现优化电视机屏幕显示区域的检测和识别，实现实时屏幕取色，并且具体体现了用户终端交互的实现过程，可看出其操作简便，能够实现提高用户的使用感受。

[0088] 请参阅图2，本申请实施例提供的图像检测识别方法的一种实施方式包括步骤201至步骤205。

[0089] 201、获取先验信息。

[0090] 先验信息包括位于安装边的第一顶点坐标、第二顶点坐标、第一中点坐标以及相对边所在区域；其中，安装边为矩形显示区域靠近安装鱼眼摄像头的边，相对边为矩形显示区域中与安装边相对的边，第一中点为所述安装边的第一顶点与第二顶点之间的中点。

[0091] 具体地，获取多份样本图像数据，样本图像数据为由鱼眼摄像头对不同尺寸的矩形显示区域进行拍摄得到的监控画面。根据样本图像建立目标坐标系，以样本图像的左上角顶点为坐标原点，沿着图像左上角顶点水平向右为X轴正方向，沿着图像左上角顶点垂直向下为Y轴正方向。

[0092] 在人工标定过程中，首先将样本图像顶边的中点确定为第一中点，根据其在目标坐标系中的具体位置确定第一中点坐标。其次，对多份样本图像逐份进行放大，开发人员通过对放大后的样本图像进行肉眼观测并确定每一份样本图像中的安装边的第一顶点和第二顶点的具体位置并进行标注，结合目标坐标系确定多份样本图像中的第一顶点坐标和第二顶点坐标。将多份样本图像中的第一顶点坐标形成第一顶点坐标集合，将多份样本图像中的第二顶点坐标形成第二顶点坐标集合，对第一顶点坐标集合求平均值，得到的平均值坐标确定为先验信息中通过人工标定方式获取的第一顶点坐标，同理，也可用此方法获取先验信息中的第二顶点坐标。

[0093] 开发人员在人工标定过程中还发现电视机屏幕的底边在经过摄像头成像存在变形的情况后，仍然可以落在一个固定的范围内，且这个范围可用一个矩形框来表示，所以将这个矩形框的位置也作为先验信息

[0094] 202、获取矩形显示区域的第一图像数据和第二图像数据。

[0095] 第一图像数据和第二图像数据为矩形显示区域在不同亮度状态下的图像数据。具体可通过与用户终端交互的形式控制鱼眼摄像头获取矩形显示区域在不同亮度状态下的第一图像数据和第二图像数据。

[0096] 203、对第一图像数据和第二图像数据运用帧间相对差算法，确认矩形显示区域的相对边的第三顶点坐标、第四顶点坐标和第二中点坐标。

[0097] 根据第一图像数据和第二图像数据在不同亮度状态下的相对像素变化，将像素变大的区域标记为白色像素区域，将像素变小的区域标记为黑色像素区域，得到差分图像。根据先验信息在差分图像上标注相对边所在区域；其中，相对边所在区域以矩形框表示，且矩形框内包括部分白色像素区域和部分黑色像素区域。以矩形框左上角顶点为起点，一个像素点作为基本单位，每次统计矩形框内水平方向一行像素点的数量，且计算白色像素点数量在一行像素点总数中所占的第一比例。沿Y轴方向遍历矩形框，当第一比例达到预设的第一条件时，确认当前行的纵坐标为相对边的第三顶点和第四顶点的纵坐标，第三顶点和第四顶点的横坐标为矩形框垂直于X轴的两条边的横坐标，得到第三顶点坐标和第四顶点坐标。继续沿Y轴方向遍历矩形框，当第一比例达到预设的第二条件时，确认当前行的纵坐标为位于相对边的第二中点的纵坐标，取第三顶点的横坐标与第四顶点的横坐标的中间值作为第二中点的横坐标，得到第二中点坐标。

[0098] 具体地，预设的第一条件可以为：遍历过程中，当白色像素占比连续两次小于90％。预设的第二条件可以为：遍历过程中，当白色像素占比连续两次小于60％。以上数据通过开发人员在开发测试过程中试验得出的效果最优值，在实际应用过程中，可以通过调节阈值来增强本方案的容错性，得到相对较优的检测识别结果，具体此处不做限定。

[0099] 204、结合先验数据，通过第一顶点坐标与第三顶点坐标确定第三中点坐标，通过第二顶点坐标与第四顶点坐标确定第四中点坐标。

[0100] 第三中点坐标为第一顶点与第三顶点之间的中点的坐标，第四中点坐标为第二顶点与第四顶点之间的中点的坐标。

[0101] 205、将第一顶点坐标、第二顶点坐标、第三顶点坐标、第四顶点坐标、第一中点坐标、第二中点坐标、第三中点坐标以及第四中点坐标确定为矩形显示区域的位置信息。

[0102] 本实施例中，通过鱼眼摄像头获取矩形显示区域的图像数据，使得电视机屏幕能够完整地出现在监控画面中，通过帧间相对差算法并结合人工标定的先验信息获取矩形显示区域的位置信息，具有更高的准确度，从而实现优化电视机屏幕显示区域的检测和识别，实现实时屏幕取色，提高用户的使用感受。

[0103] 图3是本申请实施例提供的图像检测识别装置结构示意图，该图像检测识别装置300可以包括一个或一个以上中央处理器(central processing units，CPU)301和存储器
305，该存储器305中存储有一个或一个以上的应用程序或数据。

[0104] 其中，存储器305可以是易失性存储或持久存储。存储在存储器305的程序可以包括一个或一个以上模块，每个模块可以包括对图像检测识别装置中的一系列指令操作。更进一步地，中央处理器301可以设置为与存储器305通信，在图像检测识别装置300上执行存储器305中的一系列指令操作。

[0105] 图像检测识别装置300还可以包括一个或一个以上电源302，一个或一个以上有线或无线网络接口303，一个或一个以上输入输出接口304，和/或，一个或一个以上操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等。

[0106] 该中央处理器301可以执行前述图1至图2所示实施例中图像检测识别装置所执行的操作，具体此处不再赘述。

[0107] 所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

[0108] 在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

[0109] 所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

[0110] 另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

[0111] 所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，read‑only memory)、随机存取存储器(RAM，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。