技术领域
[0001] 本发明涉及狗用交互式显示系统、其操作方法以及狗用交互式显示装置，更具体地涉及通过确定狗是否接近、狗是否在观看视频、狗的情绪、狗的声音、运动以及健康信息中的至少一者来控制狗用显示装置的操作的狗用交互式显示系统、其操作方法以及狗用交互式显示装置。
相关背景技术
[0002] 随着养宠物狗的人口增加且公众对宠物狗的兴趣增多，已在开发狗用显示装置。在现有的狗用显示装置中，狗主人直接选择视频以单方面地提供给狗，因此狗可能会对视频失去兴趣。
[0003] 另外，当狗主人在显示装置开启的状态下外出或远离显示装置时，可能存在这样的问题：即使狗根本不观看视频，视频也会继续播放，即使狗通过视频产生消极情绪，视频也会继续播放。
具体实施方式
[0058] 关于本文中公开的本发明的实施例，具体的结构和功能描述仅仅是出于说明本发明的实施例的目的，因此本发明的实施例可以实施为多种形态，且不应解释为限于本文中描述的实施例。
[0059] 本发明可以进行多种改变并且可以具有各种形态，因此将在附图中示出具体实施例并在正文中详细描述。然而，这并不旨在将本发明限于具体公开的形态，并且应当理解为涵盖包含在本发明的构思和技术范围内的所有改变、等同物和替代物。
[0060] 诸如第一、第二等术语可以用于描述多种构件，但是该构件不应受这些术语限制。上述术语可以用于区分一构件与另一构件的目的。例如，在不脱离本发明的范围的情况下，可以将第一构件称为第二构件，类似地也可以将第二构件称为第一构件。
[0061] 在提到一构件与另一构件“连接”或“联接”时，可以理解为该构件可以与该另一构件直接连接或联接，或者它们之间也可以存在其他构件。相反，在提到一构件与另一构件“直接连接”或“直接联接”时，应理解为它们之间不存在其他构件。描述构件之间关系的其他表达方式(例如“在...之间”和“直接在…之间”或“与…邻近”和“直接与…邻近”)也应类似地解释。
[0062] 本申请中使用的术语仅用于描述具体实施例，并不旨在限制本发明。除非上下文另有明确指示，否则单数表述包括复数表述。在本申请中，诸如“包括”或“具有”的术语应理解为旨在表示存在所描述的特征、数字、步骤、操作、构件、部分或其组合，而不预先排除存在或添加一个或多个其他特征、数字、步骤、操作、构件、部分或其组合的可能性。
[0063] 除非另外定义，本文中使用的所有术语(包括技术或科学术语)具有与本发明所属技术领域的普通技术人员通常理解相同的含义。诸如常用词典中定义的术语应解释为与相关技术上下文中具有的含义一致的含义，并且除非在本申请中明确定义，否则不应解释为具有理想的或过于正式的含义。
[0064] 另一方面，如果某些实施例可以以不同的方式实现，则也可以与流程图中指定的顺序不同地执行特定块内指定的功能或操作。例如，两个连续的块实际上可以基本上同时执行，也可以根据所涉及的功能或操作反向执行。
[0065] 下面，将参照附图更详细地描述本发明的优选实施例。附图中相同的附图标记用于相同的构件，并且省略对相同构件的重复描述。
[0066] 图1是示出根据本发明一实施例的狗用交互式显示装置100的一使用示例的图。
[0067] 参照图1，狗用交互式显示装置100可以是供狗使用的显示装置，并且可以安装在便于狗观看的位置(或高度)。例如，狗用交互式显示装置100可基于考虑到狗的视觉特性的图像数据来显示视频。由于狗用交互式显示装置100基于考虑到狗的视觉特性的图像数据来显示视频，因此能够提高狗对视频的注意力。
[0068] 例如，狗用交互式显示装置100可以执行对输入图像数据的颜色校正、对比度校正、伽马校正、边缘校正、亮度校正和驱动频率转换中的至少一种，以适应狗的视觉特性。
[0069] 例如，狗用交互式显示装置100可以接收输入图像数据，执行颜色校正，并输出图像数据。
[0070] 狗基于蓝色和黄色(狗可以将红色和绿色识别为黄色)的组合来区分颜色，距离紫外线越近，就越容易区分颜色。即，狗比人类更容易在蓝色系列区分颜色。因此，狗用交互式显示装置100可以生成输出图像数据，其中与输入图像数据相比，增加红色、绿色和蓝色中的蓝色比率。
[0071] 另外，狗用交互式显示装置100根据狗的视觉特性对输入图像数据(IMG)进行对比度校正、伽马校正、边缘校正以及驱动频率转换，因此能够增加狗观看视频的沉浸感。
[0072] 图2是示出根据本发明一实施例的狗用交互式显示系统的框图。
[0073] 参考图1和图2，狗用交互式显示系统可以包括狗用交互式显示装置100。狗用交互式显示系统可以包括狗的显示装置100、控制装置200、外部传感器300和存储器400。狗用交互式显示系统还可以包括由狗主人携带的移动设备500。
[0074] 控制设备200可以向狗主人的移动设备500发送通知消息，狗主人可以使用移动设备500远程控制狗用交互式显示系统。例如，移动设备500可以使用显示单元110执行视频通话功能。
[0075] 在本说明书中，术语控制装置和控制单元可以互换使用。在本说明书中，术语传感器单元可以指设置在狗用显示装置100内的内置传感器，也可以指布置在狗用显示装置100外部的外部传感器300。
[0076] 图3是示出图2中的狗用显示装置100的框图。图4是示出图2中的控制装置200的框图。图5是示出图4中的个体识别单元210的操作的概念图。图6是示出图2中的外部传感器300的框图。
[0077] 参照图1至图6，狗用交互式显示系统包括：用于显示视频的显示单元110；用于感测狗的状态的传感器单元120、130、140、150；以及控制单元200，其基于传感器单元120、130、140、150的感测数据来确定狗是否接近、狗是否在观看视频以及狗的情绪中的至少一者，以控制该系统的操作。
[0078] 传感器单元可以包括相机120、接近传感器130和麦克风140。传感器单元还可以包括冲击感测传感器150。
[0079] 控制单元200可以包括基于感测数据来识别个体的个体识别单元210。
[0080] 个体识别单元210可以使用由相机120感测到的数据来确定狗的颜色、狗的面部特征的形状、狗的面部特征的位置等，并且个体识别单元210可以基于关于狗的颜色、狗的面部特征的形状、以及狗的面部特征的位置中的至少一者来识别个体。
[0081] 如图4所示，个体识别单元210可以基于由相机120感测到的狗的眼睛、鼻子和嘴巴的各自位置和形状等来识别个体。例如，个体识别单元210可以基于由相机120感测到的狗的鼻纹来识别个体。
[0082] 例如，个体识别单元210也可以使用诸如机器学习和深度学习的人工智能算法来识别个体。即，可以使得基于狗图像来学习狗的品种信息、年龄信息、性别信息等，从而在相机120捕捉到狗时，个体识别单元210可以自动识别狗的个体信息。
[0083] 当有两只狗(狗1、狗2)使用狗用交互式显示系统时，个体识别单元210可以基于狗的颜色、狗的面部特征的形状和狗的位置中的至少一者来确定由狗用显示装置100的相机120捕捉到的狗是狗1还是狗2。
[0084] 控制单元200可以根据个体改变显示单元110上显示的内容。即，如果个体识别单元210识别到的狗是狗1，则控制单元200可以在显示单元110上显示狗1通常偏好的内容。如果个体识别单元210识别到的狗是狗2，则控制单元200可以在显示单元110上显示狗2通常偏好的内容。
[0085] 个体识别单元210也可以确定狗的品种和年龄。控制单元200可以基于狗的品种和年龄来改变显示在显示单元110上的内容。
[0086] 例如，如果个体识别单元210识别到的狗不是数据库中存储的狗，则个体识别单元210可以基于狗的品种和年龄来提供个性化内容。
[0087] 控制单元200还可以包括接近状态确定单元220，其基于来自接近传感器130的数据来确定狗是否接近。
[0088] 例如，当狗与显示单元之间的距离在第一距离以内的状态持续第一时间以上时，接近状态确定单元可以确定狗已接近，并且当狗与显示单元之间的距离在大于第一距离的第二距离以外的状态持续比第一时间更长的第二时间以上时，接近状态确定单元可以确定狗已远离。这里，例如，第一距离可以是50cm，第二距离可以是1m。另外，第一时间可以是5分钟，第二时间可以是20分钟。即，可以与用于确定接近状态的条件相比更严格地管理用于确定远离状态的条件。当确定狗处于远离状态时，可以关闭显示单元110的电源以减少狗用显示装置100的耗电。
[0089] 控制单元200还可以包括观看状态确定单元230，其基于来自相机120的数据来确定狗是否在观看视频。
[0090] 观看状态确定单元230可以检测狗的眼睛的位置(眼睛检测)，对狗的眼睛设置感兴趣区域(ROI)，并基于感兴趣区域来进行眼睛跟踪。观看状态确定单元230可以通过眼睛跟踪技术确定狗的视觉注意力分配、视线位置、视线移动等来确定狗是否专注于视频。
[0091] 例如，观看状态确定单元230可以使用诸如机器学习和深度学习的人工智能算法来确定是否在观看视频。即，可以使得基于狗的静态图像或狗的视频来学习观看沉浸状态，从而在相机120捕捉到狗时，观看状态确定单元230可以自动识别观看沉浸状态信息。
[0092] 控制单元200还可以包括情绪识别单元240，其基于来自相机120的数据来确定狗的情绪。或者，情绪识别单元240也可以基于来自相机120的数据和来自麦克风140的数据来确定狗的情绪。
[0093] 例如，情绪识别单元240可以基于狗的耳朵运动和面部肌肉运动来确定狗的积极情绪和消极情绪。
[0094] 例如，情绪识别单元240可使用狗的面部特征的角度和其眼睛的形状来确定狗的积极情绪和消极情绪。
[0095] 情绪识别单元240可以基于眼睑闭合程度和张嘴程度来确定狗的疲劳度。如果狗的眼睑闭合程度大，则情绪识别单元240可以确定狗的疲劳度较高。如果狗的张嘴程度大，则情绪识别单元240可以确定狗正在打哈欠，如果打哈欠的次数较多，则情绪识别单元240可以确定狗的疲劳度较高。
[0096] 例如，情绪识别单元240可以使用诸如机器学习和深度学习的人工智能算法来确定狗的积极情绪、消极情绪、疲劳度等。即，可以使得基于狗的静态图像或狗的视频来学习狗的情绪状态，从而在相机120捕捉到狗时，情绪识别单元240可以自动识别情绪状态信息。
[0097] 在本发明的一实施例中，显示单元110和传感器单元120、130、140、150可以包括在显示装置中。传感器单元120、130、140、150可以是狗用显示装置100的内置传感器。
[0098] 或者，传感器单元可以是布置在狗用显示装置100外部的外部传感器300。在图6中，将外部传感器300示出为包括拍摄装置310和记录装置320。外部传感器300可以包括如上所述的相机、接近传感器和麦克风。外部传感器300可以布置在笔记本电脑、个人计算机、互联网电视和闭路电视监控系统中的至少一种内。
[0099] 狗用交互式显示系统可以使用狗用显示装置100的内部传感器以及布置在狗用显示装置100外部的多种电子设备(笔记本电脑、个人计算机、互联网电视、闭路电视监控系统等)所包括的外部传感器来进行操作。
[0100] 图7是示出图2中的狗用交互式显示系统的操作示例的表。
[0101] 参照图1至图7，例如，在接近状态确定单元220确定狗位于邻近位置，观看状态确定单元230确定狗正在观看视频，并且情绪识别单元240确定狗具有积极情绪时(C1)，控制单元200可以控制显示单元110继续播放视频。
[0102] 另外，在接近状态确定单元220确定狗位于邻近位置，观看状态确定单元230确定狗正在观看视频，并且情绪识别单元240确定狗具有积极情绪时(C1)，控制单元200可以向狗主人的移动设备500发送通知消息以通知狗正在以积极情绪观看视频。
[0103] 例如，在接近状态确定单元220确定狗位于邻近位置，观看状态确定单元230确定狗正在观看视频，并且情绪识别单元240确定狗的疲劳度在参考值以上时(C2)，控制单元200可以进行控制以关闭显示单元110的电源或改变显示单元110的内容。
[0104] 例如，在接近状态确定单元220确定狗位于邻近位置且情绪识别单元240确定狗已入睡时，控制单元200可以进行控制以关闭显示单元110的电源。
[0105] 例如，在接近状态确定单元220确定狗位于邻近位置且情绪识别单元240确定狗具有消极情绪时(C3)，控制单元200可以在显示单元110上显示狗主人的照片或视频以稳定狗的情绪。例如，狗主人的照片或视频可以存储在存储器400中。
[0106] 例如，在接近状态确定单元220确定狗位于邻近位置且情绪识别单元240确定狗具有消极情绪时(C3)，控制单元200可以进行控制以改变显示单元110的内容以稳定狗的情绪。这种情况下，可以将内容改为狗通常偏好的视频、零食视频等。例如，狗通常偏好的视频可以存储在存储器400中。
[0107] 另外，在接近状态确定单元220确定狗位于邻近位置且情绪识别单元240确定狗具有消极情绪时(C3)，控制单元200可以向狗主人的移动设备500发送通知消息以通知狗具有消极情绪。
[0108] 存储器400可以将狗对显示在显示单元110上的内容的观看与否标记到内容以进行存储。由此，能够获知狗沉浸观看过的内容，并且能够将狗沉浸观看过的内容推断为狗偏好的内容。
[0109] 存储器400可以将狗对显示在显示单元110上的内容的情绪标记到内容以进行存储。因此，能够获知狗表现出积极情绪的内容，并且能够将狗表现出积极情绪的内容推断为狗偏好的内容。
[0110] 以这种方式推断为狗偏好的内容可以用作对于相应个体或狗品种的推荐内容或者安抚性内容。
[0111] 在接近状态确定单元220确定狗位于邻近位置且观看状态确定单元230确定狗没有在观看视频时(C4)，控制单元200可以进行控制以改变显示单元110的内容。
[0112] 在接近状态确定单元220确定狗并不位于邻近位置且观看状态确定单元230确定狗没有在观看视频时(C5)，控制单元200可以进行控制以关闭显示单元110的电源。因此，能够降低显示装置的耗电。
[0113] 当在显示单元110的电源关闭的情况下接近状态确定单元220确定狗位于邻近位置时(C6)，控制单元200可以进行控制以开启显示单元110的电源。在显示单元110的电源自动开启时，控制单元200可以向狗主人的移动设备500发送通知消息以通知显示单元110的电源已自动开启。
[0114] 另外，在碰撞感测传感器150感测到碰撞时(C7)，控制单元200可以发送用于向狗主人通知感测到碰撞的通知消息，以促使狗主人采取行动。
[0115] 例如，在通过麦克风140识别到吠叫声或嚎叫声多次重复时(C8)，控制单元200可以进行控制以播放哨声或安抚性内容。
[0116] 这里，安抚性内容可以是治愈性音乐。或者，安抚性内容可以是狗主人的照片或视频。或者，安抚性内容可以是狗沉浸观看过的内容或狗表现出积极情绪的内容。
[0117] 另外，在通过麦克风140识别到吠叫声或嚎叫声多次重复时(C8)，控制单元200也可以向狗主人的移动设备500发送声音产生通知消息。
[0118] 图8是示出图2的狗用交互式显示系统的操作序列的示例的流程图。
[0119] 参照图1至图8，狗用交互式显示系统的数据处理流程可以包括以下步骤：基于基础数据来识别个体(个体识别单元210)；利用眼睛检测和眼睛跟踪技术来确定狗是否在观看视频(观看状态确定单元230)；和通过分析狗在观看视频时的面部表情和行为等来识别情绪(情绪识别单元240)。这里，基础数据可以包括每个个体的轮廓图像、每个个体的情绪状态参考数据等。基础数据可以用于个体识别步骤、观看状态确定步骤和情感识别步骤等。
[0120] 狗用交互式显示系统的数据处理流程可以基于视频观看与否以及情绪识别等来进行个体的偏好分析。
[0121] 控制单元200可以从内容供应商提供的内容平台接收内容，并且执行与偏好分析结果相对应的内容推荐操作。另外，控制单元200可以基于偏好分析结果来更新基础数据。
[0122] 另外，控制单元200可以将偏好分析结果发送到内容平台以提供关于之后待接收的内容的个性化信息。
[0123] 内容平台可以利用每个个体的偏好分析结果来持续为每个个体(按狗的品种、年龄)推荐和提供合适的内容。
[0124] 从狗用交互式显示系统的设备操作流程来看，可以通过接近传感器130和麦克风140来收集狗的接近信息和声音信息。
[0125] 在通过接近信息和声音信息确定狗邻近显示单元110时，狗用显示装置100的显示单元110和相机120可以自动开启。在这种情况下，例示了接近传感器130和麦克风140预先开启，但是本发明不限于此，并且也可以通过外部传感器300确定接近信息和声音信息。
[0126] 在狗用显示装置100的相机120开启时，可以执行诸如个体识别、眼镜检测、眼睛跟踪和情绪识别等操作。可以通过狗用显示装置100播放与个体的偏好分析结果相对应的内容(内容流媒体)。如图7所示，内容可以包括吸引狗的兴趣的内容、狗主人的照片、狗主人的视频、用于安抚狗的内容、用于训练的哨声、治愈性音乐等。该内容也可以是一般的电视视频或YouTube视频，而不是专门为狗准备的视频。
[0127] 从狗用交互式显示系统的设备操作流程来看，控制单元200如图7所示可以将用于通知狗的状态的多种通知消息发送到狗主人的移动设备500。狗主人可以通过移动设备500控制针对相应情况的设备操作。
[0128] 另外，控制单元200可以将关于所显示的内容以及狗对此表现出的行为、状态和情绪的分析报告发送到狗主人的移动设备500。
[0129] 根据该实施例，可以根据狗是否接近显示单元110来控制显示系统的操作。另外，可以根据狗是否在观看显示单元110上的视频来控制显示系统的操作。另外，可以根据狗对于所显示的视频的情绪变化来控制显示系统的操作。
[0130] 另外，由于基于狗是否接近、狗是否在观看视频以及狗的情绪来控制显示系统的操作，因此能够增加狗的沉浸度并且能够降低显示系统的耗电。
[0131] 另外，通过基于狗是否接近、狗是否在看视频、狗的情绪、狗的吠叫声等来向狗主人的移动设备500发送通知，能够允许狗主人基于该通知进行远程控制。
[0132] 另外，通过识别个体，能够提供适合该个体的个性化内容。
[0133] 另外，通过将狗对于显示单元110上显示的内容的观看与否以及狗的情绪存储在存储器中，能够后续用于内容推荐等。
[0134] 图9是示出根据本发明一实施例的狗用交互式显示装置100A的框图。
[0135] 在本实施例中，可以在狗用显示装置100A内布置显示单元110、传感器单元120、130、140、150、控制单元160以及存储器170。
[0136] 参照图9，狗用交互式显示装置100A可以包括显示单元110、传感器单元120、130、140、150、控制单元160和存储器170。
[0137] 控制单元160可以基于传感器单元120、130、140、150的感测数据来确定狗是否接近、狗是否在观看视频以及狗的情绪中的至少一者以控制显示单元110的操作。
[0138] 图9的控制单元160的操作可以与图2中的控制装置200的操作基本相同，并且图9的存储器170的操作可以与图2中的存储器400的操作基本相同。
[0139] 工业适用性
[0140] 本发明可以应用于狗用显示装置以及包括该显示装置的电子设备。例如，本发明可应用于电视、数字电视、3D电视、监视器、移动电话、智能手机、平板电脑、VR设备、PC、家用电子设备、笔记本电脑、PDA、PMP、数码相机、音乐播放器、便携式游戏机、导航、传感器、可穿戴传感器等。
[0141] 尽管已经参考上述实施例进行了描述，但是本领域普通技术人员将理解，在不背离所附权利要求中阐述的本发明的构思和范围的情况下，可以对本发明进行多种修改和改变。
[0142] <附图标记说明>
[0143] 100、100A：狗用显示装置 110：显示装置
[0144] 120：相机 130：接近传感器
[0145] 140：麦克风 150：碰撞感测传感器
[0146] 160：控制单元 170：存储器
[0147] 200：控制装置 210：个体识别单元
[0148] 220：接近状态确定单元 230：观看状态确定单元
[0149] 240：情绪识别单元 300：外部传感器
[0150] 310：拍摄装置 320：记录装置
[0151] 400：存储器 500：移动设备。
