[0001] 本发明涉及一种增强型镜子，尤其涉及一种包括部分镀银镜面、位于镜面下方的屏幕、相机、以及用于从相机接收数据并将图形图像提供给屏幕的计算机模块的增强型镜子。

[0002] 镜子作为家中独特的收聚点，由人员所执行的作为其日常生活的一部分的活动将在镜子前得以可靠且常规地执行。

[0003] 例如，由人员每天所执行的常见活动可能包括以下中一项或多项：刷牙、梳头、剃须、化妆。

[0004] 此外，由于镜子通常位于房屋内的特定位置，因此可以以合理的精确程度预测人员将在特定位置执行日常活动；例如浴室、走廊或卧室。

[0005] 已知智慧镜子。例如，US2002/0080494描述了一种智能镜子，其中由于人员会在浴室中花费一定量的时间以为当天进行准备，所以其优选地放置在浴室中。镜子允许人员可以在为当天进行准备(例如，刷牙、剃须、头发造型、洗漱和化妆)的同时查看电子新闻和信息以及他们的时间表。这旨在解决人员需要在他们离开家之前计划他们的一天并接收新闻和信息的需求。

[0006] 在所讨论的现有技术镜子中，由于智能镜子中所涉及的技术使得他们能够在进行日常任务的同时进行诸如阅读/观看新闻的其他任务，因此改善了用户的早间例程。

[0007] 本发明的发明人已经认识到，由镜子提供的独特的收聚点也可以用于改善来自日常任务本身的用户体验和/或表现和/或结果。市场上需要能够与用户，特别是与FMCG用户交互的智能镜子以增强他们的体验。

[0008] 通常，日常任务将涉及使用可能包括诸如牙刷、发刷、吹风机或剃刀的梳理工具的手持物体。梳理工具可能是或可能不是智能装置。另外，手持物体可以采取快速消费品(FMCG)容器的形式。对于快速消费品供应商来说，镜子在家中所提供的独特收聚点为提供商提供了增强其产品购买者的用户体验的理想机会。

[0009] 除了家中的用户体验之外，本发明的发明人还认识到，智能镜子还有可能在诸如美发沙龙等商业环境中提供改进的用户体验。

[0010] 用户在镜子前方所可以使用的FMCG产品的示例包括：口腔护理产品，例如牙膏和牙刷；护发产品，例如洗发水、护发素、护理产品、造型产品、造型装置；以及护肤产品，例如龄活霜、化妆品和除臭剂。

[0011] 提供了一种改进的智能镜子，其适用于涉及家庭/消费者空间以及零售应用中的用户和/或对象交互应用。

[0126] 下方将关于图1和图4描述增强型镜子的示例。增强型镜子1包括镜面2和相机3，显示屏幕20位于镜面2下方。

[0127] 显示屏幕20和相机3均可通信地连接到计算机模块4。显示屏幕通过诸如HDMI电缆的第一连接21连接到计算机模块4，相机通过诸如USB连接的第二连接22连接到计算机模块4。

[0128] 相机形成例如RGB-D装置的相机模块的一部分，该相机模块包括用于捕获镜子的用户的图像和相关联的深度信息的视觉相机和深度扫描仪。RGB-D装置可以是专门构建的，或者可以是预先存在的产品，例如Microsoft Kinect 2运动感测输入装置。

[0129] 镜面被部分镀银，使得可以通过镜面观看显示屏幕。在图1所示的实施例中，部分镀银表面是部分反射材料已被直接涂覆于其上的显示屏幕自身的表面。然而，设想部分镀银表面可以作为与显示屏幕分离的部件而提供，然后直接设置在显示屏幕的前方。

[0130] 部分镀银镜涂层应被选择为具有优化为给出最大反射性但依然允许高水平图像亮度以透射通过镜面的反射性/透明性比率。合适的透射率值的示例是66％，合适的反射率值的示例是31％。然而，本领域技术人员会理解其他值是可接受的。

[0131] 计算机模块包括一个或多个处理器，该一个或多个处理器包括与存储器和各种其他部件通信的中央处理单元(CPU)。

[0132] 这些其他部件可以包括电源、网络接口(在某些情况下不需要)、输入/输出接口、音频接口和用户控制。镜子可以语音激活，其他音频触发可以包括吹风机的打开。

[0133] 计算机模块编程为从相机3接收数据并将图形图像提供到显示屏幕，使得它们通过(部分镀银)镜面2可见。常规的学习算法用于捕获并分析来自相机的数据，并且基于该分析提供关于用户的信息。

[0134] (可选的)壳体单元25包围镜面、显示屏幕和相机。该壳体在浴室设置中是有利的，以防止水损害。

[0135] 关于图2描述了具有附加特征的增强型镜子，其中同样的部件具有与图1中相同的数字。

[0136] 除了图1中的部件之外，图2的增强型镜子还包括呈两个细长照明面板形式的多个照明面板，在这种情况下为LED面板，镜子的任一侧各设置一个面板。诸如ArduinoTM微处理器的照明控制器8在多个照明面板和计算机模块之间提供接口。照明控制器8和计算机之间的连接可以是USB连接或任何其他合适的连接器。额外的电源为照明面板供电。

[0137] 计算机模块可以响应于相机接收的输入来控制由照明面板发出的光，使得照明用作反馈机制。照明可由已达到的阈值触发。这样的阈值可以包括时间阈值(例如，在其间发生诸如刷牙的特定动作的某时间量)。可替代地或另外地，触发某照明事件的阈值可以是距离触发(例如靠近镜子)。

[0138] 每个照明面板可以由多个照明部段组成，这些部段可单独控制，使得照明面板的某些部分可以被单独控制。例如，当用户靠近镜子时，照明面板的各个部段可以从面板中的一个部段到另一个顺序地点亮。当照明面板内的所有部段被点亮时，这向用户指示他们站在最佳位置。

[0139] 作为示例，镜子可以包括一对照明面板，每个照明面板由多个照明部段组成。例如，每个面板可以是大致线性的，并且沿着镜子的相应侧竖直设置。当用户鉴别为已经进入到镜子的视野中，或者可替代地进入到镜子的视觉通道内(在下文描述)，则照明面板的照亮可以控制为指示用户他们正在靠近与镜子交互的最佳位置。

[0140] 例如，当用户进入镜子的视野或视觉通道时，每个照明面板的最上方和最下方的照明部段被照亮。随着用户朝向与镜子交互的最佳位置(例如视野或视觉通道的中心)移动，每个面板的其余照明部段得以顺序地照亮。照亮顺序可以从最上方和最下方的部段开始(如所描述的)，照明面板的照亮分别从最上方和最下方的部段朝向面板的中心逐渐演变。换言之，随着用户从它们的初始位置朝向最佳位置移动接近，最上方第二个部段和最下方倒数第二个部段的照明部段均可以得以照亮。随着用户继续向最佳位置移动，剩余的照明部段得以顺序照亮。如将认识到的，随着用户朝着最佳位置移动，每个照明面板的效果作为“收聚”效果而呈现至用户，其中照明部段从面板的顶部和底部顺序地照亮，以最终“相遇”在照明面板的中心。照明控制器可以配置成照亮面板的部段，使得当用户处于最佳位置时，始自面板的顶部的照亮顺序和始自面板的底部的照亮在面板的中心处相遇。用户越靠近最佳位置，越多的LED在镜子的竖直中心会聚。当用户成功地位于最佳位置时，照明部段的全部或一部分可以关闭。

[0141] 如果用户离开位于镜子前方的最佳位置，则照明的“收聚”照亮可以反向进行。也就是说，照明面板中心的部段首先熄灭，然后分别沿着向上方向和向下方向朝向最上方部段和最下方部段使部段逐渐熄灭。

[0142] 这种照明配置提供了一种指示用户何时处于与镜子交互的最佳位置的直观方法。这种照明配置可以用于指示用户相对于镜子的最佳角度位置和/或用户距镜子的最佳距离。上述的照明配置形成了针对用户的反馈机制，以至于用户为了镜子的最佳操作而移动的结果以人体工程学的方式传送给用户。以这种方式，用户能够将自身置于镜子的最佳位置处，而不需要了解存在最佳位置或最佳位置位于何处。这种照明配置从用户的最佳位置概念抽离，并且以人体工程学的方式且简单地允许用户将自身置于最佳位置。

[0143] 上述照明的使用示出在图11的示意图中。

[0144] 照明面板可以提供特定的照明度以激励可再现或特定的环境。诸如光电二极管(未示出)的光传感器可以检测从用户反射的光强和/或光波长以提供实际水平的测量结果，并且能够通过改变由照明面板发射的光强和/或光波长来实现特定强度或色相。用于此的照明面板可以与用于反馈和/或数据传输的那些照明面板分开，使得可以同时执行不同的照明功能(气氛和反馈)。通过为图像捕获创建可再现的条件，用户可以更准确地评估某些光场(办公室/居所/晴天/餐厅等)内的产品性能。

[0145] 照明控制器可以配置为闪光或脉冲，并因此配置为经由高频闪光将信息光学地从计算机模块4传输到FMCG对象/容器/装置10,110，如果这种信息由计算机模块获得，则进行控制。

[0146] 照明面板的一个或多个元件可以是定向的和/或可调焦的。照明面板可以高度可控，适用于不同的场景，并且可以与应用/程序交互。例如，照明可以用作计时器指示器，其中诸如全光或无光的照明信号指示应当停止诸如刷牙的活动。

[0147] 除了由照明面板提供的可见光之外，可以存在额外的光源(未示出)以提供IR和/或UV光。这种额外的光源提供了对于用户不可见的数据传输机制。

[0148] 图2所示的实施例还包括由用于接收诸如来自用户的语音命令的音频信号的麦克风(未示出)以及用于将音频信息中继给用户的扬声器6所组成的音频接口。扬声器和麦克风两者例如经由USB连接可通信地连接到计算机模块4。

[0149] 图2的实施例还包括通信模块7，该通信模块7使得增强型镜子能够与用户装置10无线通信。用户装置可以采取诸如手机、平板电脑或笔记本电脑的移动装置的形式。可替代地，用户装置可以采取智能FMCG的形式，诸如蓝牙牙刷。除了自身的通信模块之外，智能FMCG还可以具有其他智能特征，诸如加速度计、声音传感器、光传感器、相机、陀螺仪和化学分析仪。来自这些智能特征中的一个或多个智能特征的信息可以经由通信模块7传送到增强型镜子101的计算机模块。通信模块7还可以支持除了蓝牙以外的其他合适的无线通信方法，例如WiFi、近场通信(NFC)和蓝牙LE(低能量)。

[0150] 可以设想，关于图2描述的额外特征中的任何一个或其组合可以应用于图1的实施例。

[0151] 增强型镜子允许使用具有内置相机和蓝牙或WiFi数据传输功能的手持装置，以使用户可以看到由于他们的眼睛位置而通常无法看到的身体部位。因为用户可以在镜子屏幕中看到手持装置的位置以及该装置所捕获的图像，所以这种交互易于使用。这允许用户容易地控制并导航手持装置。

[0152] 增强型镜子的用户可以从在线存储库安装程序。一些程序可以从在线服务器与镜子进行交互。为了在保证安全性和隐私的同时实现这种交互，这些在线服务器与镜子操作系统(OS)之间的任何交互均必须通过镜子OS api调用来完成。

[0153] 图3示出了图2中所示实施例的镜子OS软件部件的概览，其中相同的附图标记对应于图1和图2中的那些特征。对由相机模块3接收的视觉和深度信息的处理在两个主要阶段来实现。在第一阶段中，位于实际相机模块本身处的软件执行对数据的分析。例如，相机模块处的软件可以包括以下中的一个或多个：面部识别、词汇分析(其中一个示例为“拇指向上识别器”)以及符号识别器。在第二阶段中，可以在增强型镜子1,101的计算机模块4内运行其它应用。诸如FMCG容器的对象可以在基于屏幕的交互环境中作为第一类交互字符使用。可以通过视觉感测来检测FMCG的存在，例如通过RGB或RGB-D相机。可替代地，可以通过诸如蓝牙、WiFi或NFC的无线通信技术来检测FMCG的存在。在图9中描绘了用作控制器的FMCG容器的示例。

[0154] 当使用RGB-D时，也可以确定FMCG容器的位置和定向。

[0155] 在一些实施例中，对FMCG容器的检测将触发产品特定程序或在线内容的加载。通过将FMCG的存在或不存在用作二进制输入，还可以实现用户对屏幕上显示的程序的受限输入。

[0156] 基于视觉的感测可以使FMCG作为多模式控制器使用，其中FMCG的定向和位置可作为对程序的细粒度输入。

[0157] 最后，使FMCG位置的基于视觉的感测与从用户接收的视觉输入(例如，对用户的(头部)姿态、姿势和面部表情的感测)相结合允许对程序的第三组输入。

[0158] 关于图5至图8更详细地描述增强型镜子的操作。

[0159] 在图5至图8所示的实施例中，增强型镜子的相机3是具有集成面部对准的RGB-D扫描仪。如下文更详细描述的那样，可通信地连接到显示屏幕20的计算机模块已经装配有算法，该算法将允许任何用户在相对于对象的正确位置处看到与真实世界对象有关的数字内容。

[0160] 这是一个重要的问题，因为如图5所示，对象的投影将根据用户的视角而位于镜屏幕上的不同位置处。用户A将在镜子上点RA处“看到”对象的反射，而用户B将在镜子的点RB处“看到”对象的反射。

[0161] 对特定用户呈现反射的位置RA/RB(即，从对象到用户眼睛的光路在镜面处反射的点)必须得以确定以便在正确的位置处使图形叠覆。以这种方式，可以可靠地产生诸如指向对象的反射、突出显示对象的特定部分或围绕对象的反射的箭头的图形。这使得所有用户都能够与屏幕上相对于他们的反射定位的图形高精度地交互。

[0162] 用户的视角取决于人的眼睛相对于镜子的位置以及对象的位置。因此，为了准确地将图形放置在显示屏幕20上，眼睛和对象都必须位于真实世界的空间中，即按照3D真实世界坐标，其中，坐标系相对于镜面(MS)，原点位于MS的中心，x轴平行于MS(使用中)的水平侧，y轴平行于MS(使用中)的竖直侧，并且z轴垂直于MS平面。

[0163] 为了检测用户的眼睛(s2)，使用RGB-D相机的面部对准算法。这使在以相机为中心的坐标系中相对于相机的任何用户的眼睛的3D坐标(s3)返回。在增强型镜子的计算机模块4上运行的程序将在相机坐标系中通过相机进行的该测量变换为MS真实世界坐标。这种变换需要一次性测量相机相对于MS坐标系原点的相对位置。在此描述的实施例中，真实世界坐标系的原点是镜面的中心。然而，例如镜子的角落其它适当的点可以用作原点。通过测量相机相对于镜子的位置，可以使眼睛位置(由相机测量)旋转且平移到真实世界坐标系中。

[0164] 定制对象识别软件(位于计算机模块4中)定位一个或多个对象(s4)，在这种情况下为消费品(FMCG容器)。为了使对象识别软件对新的对象起作用，必须添加新的对象识别软件，或者必须更新现有软件以包含(“学习”)新的对象。

[0165] 一旦确定了用户的眼睛和对象的位置，就使用投影几何来计算镜子/屏幕上投影对象的点xo(s5)。从RGB-D相机观察场景，这在相对于相机的参考系(3D相机世界坐标)中提供了头部和感兴趣对象的3D坐标。任务是推导2D镜子坐标中的2D坐标，其中参考系对应于或可映射到屏幕的像素位置。

[0166] 若给定由RGB-D相机观察到的对象上的3D点，则首先计算距镜子的距离d。然后，将该点垂直于镜子并沿着该方向平移该距离的两倍(见图6)。然后，通过找到镜子平面和连接刚刚计算的虚拟3D点与用户眼睛的位置的直线之间的交点来计算由用户观察到的镜子中的点。然而，结果点仍位于3D相机世界坐标中。如图7所示，通过知道镜子屏幕中心按照3D相机空间坐标的位置和镜子屏幕按照每英寸屏幕像素的分辨率，可以直接计算到2D镜子坐标(镜子空间，以像素为单位)的转换。

[0167] 特别地，镜子平面在3D相机世界坐标中的坐标由平面中的点和正交于该平面的矢量给出：

[0168] 其中

[0169] 3D点x的镜面位置表示为：

[0170]

[0171] 反射对象在镜子上被感知的点xo被计算为平面Pm和以下直线的交点：

[0172] 其中

[0173] 可替代地，同一点可以被计算为下列两条直线的交点：

[0174] 其中

[0175] 其中

[0176] 最后，需要如图6所示地由3D进行转换(S6)：

[0177]

[0178] 为了获得最佳精度，可以考虑对象的角度。因此，变换成显示屏幕20上的像素涉及对以下物理变量的确定：

[0179] ·RGBDF轴角度：RGBD传感器向下倾斜的度数

[0180] ·RGBDF偏移量Y：RGBD传感器位于镜子左上角上方的距离，以米为单位[0181] ·RGBDF偏移量X：RGBD传感器距镜子左上角偏移的距离，以米为单位[0182] ·ScreenHeight：屏幕的X分辨率，以像素为单位

[0183] ·ScreenWidth：屏幕的Y分辨率，以像素为单位

[0184] ·screenDotsPerMeter：每平方米的像素数

[0185] 一旦已知这些物理变量，就可以执行以下操作步骤：

[0186] 应用从RGBD传感器接收以下两条信息作为以米为单位的3D矢量：

[0187] 1.用户的眼睛位置

[0188] 2.待叠覆的对象的位置

[0189] 一旦建立起这些信息输入，则执行以下六个变换步骤：

[0190] 1.围绕RGBDF轴角度旋转和平移眼睛位置以校正角度和偏移(使用RGBDF轴角度、RGBDF偏移量Y、RGBDF偏移量X)

[0191] 2.围绕RGBDF轴角度旋转和平移对象位置以校正角度和偏移(使用RGBDF轴角度、RGBDF偏移量Y、RGBDF偏移量X)

[0192] 3.计算对象的反射位置

[0193] 4.计算新的眼睛位置与对象的反射位置之间的矢量

[0194] 5.计算真实世界坐标系中该矢量与镜子的交点

[0195] 6.将该交点转换为像素坐标(使用ScreenHeight，ScreenWidth，screenDotsPerMeter)

[0196] 这六个步骤返回显示屏幕20上的像素x,y坐标，特定用户在该坐标处看到对象的反射。

[0197] 词汇分析可以包括识别用户方面的多个姿势。这种姿势例如可以包括拇指向上姿势(以指示接受或肯定的回答)和拇指向下姿势(以指示拒绝或否定的回答)。应当理解，也可以通过词汇分析来识别其他姿势。姿势可以不限于手势，例如，词汇分析可以识别面部/头部姿势，例如用户点头或摇头以指示肯定和否定的回应。提取词汇信息的能力允许用户以非常直观且符合人体工程学的方式与镜子进行交互。特别地，在用户使用这种镜子之前几乎不需要进行教导，因为词汇分析能够识别用户在日常生活中可能已经熟悉的动作。换句话说，用户不必为了与包括词汇分析的镜子交互而学习一组特定的命令。

[0198] 下文详细描述两种特定的词汇交互。这两种交互都需要在从镜子反射的图像中鉴别如用户所看到的用户手部的位置，以及用户手部和与在屏幕上显示的用户手部重合的图像(用户从他们的观察位置所感知的)之间的感知交互。

[0199] 作为第一计算，根据上述方法确定用户眼睛的真实世界3D位置。以类似的方式，还确定用户手部的真实世界3D位置。在一个示例中，确定用户手部的中心的位置。在另一示例中，确定用户手掌的中心的位置。

[0200] 根据上述方法，计算用户手部或手掌在反射空间中的位置。接着，计算手部/手掌在镜子的表面上反射的2D位置。屏幕上的2D位置通常对应于用户在屏幕上看到手部的反射(从用户眼睛的真实世界3D位置的视角来看)处的坐标。

[0201] 手部在屏幕上的2D位置可以用作交互点。在镜子的屏幕上，可能会显示有界面部件。这种界面部件通常可以对应于用户可以与之交互的图形显示的区域。界面部件的示例包括按钮、开关、手柄(可以转动)、旋钮(可以转动)。本领域技术人员将会理解存在一系列可能的界面部件。每个界面部件在屏幕上都有位置，并且用户可以在该位置看到界面部件。例如，界面部件具有由2D屏幕坐标(Ix，Iy)定义的交互对象中心。界面部件还在屏幕上以有限大小显示：例如，矩形界面部件具有交互对象宽度Iw和交互对象高度Ih。将理解到，界面部件还可能具有其他形状，例如圆形界面部件。

[0202] 描述了与界面对象交互的两种示例性模式，每种模式均使用交互点。如图10示出的示意图所示，第一种模式的交互是“抓取”。在抓取模式中，用户将他们的手部的反射(从用户的眼睛位置看到的)对准他们所期望与之交互的界面部件。当用户感知到他/她的手部的反射与界面部件对准时，他/她可以将他们的手部合为拳头，从而与界面部件交互。例如，合上拳头可以导致界面部件被“抓取”。相反，当用户打开他/她的手部时，界面部件被“释放”。抓取和释放功能有效地实现了镜子的拖放功能。合上用户的手部还可以导致与界面部件的不同交互，例如，合上手部可以导致界面部件的按钮按压。

[0203] 图11示出了实现悬停交互模式的示例性方法。该方法以面部和眼睛检测和位置测量开始，并且在触发界面部件的选择之前完成测量用户手部处于界面部件的上方悬停位置中的时间，以确定该时间段是否超过预定的触发时间段。

[0204] 如图11示出的示意图所示，第二种交互模式是“悬停”。在悬停模式中，用户将他们的手部的反射(从用户的眼睛位置看到)与他们所期望与之交互的界面部件对准。当用户感知到他/她的手部的反射与界面部件对准时，他/她可以将他们的手部保持在界面部件上。镜子配置为测量用户将他们的手部保持在界面部件上的时间段。如果用户将他/她的手部保持在界面部件上达到至少预定的触发时间段，则触发与界面对象的交互。例如，该对象可以被“抓取”或被选择。悬停功能仅使用用户所感知的用户的反射来实现与镜子的简单交互。

[0205] 图11中所示的方法以面部和眼睛检测和位置测量开始，并且在触发交互部件的选择之前完成测量用户手部处于界面部件上方悬停的位置中的时间，以确定该时间段是否超过预定的触发时间段。

[0206] 对于抓取和悬停这两种交互模式而言，均计算用户手部的反射与界面部件的重合程度。

[0207] 假设交互点是矩形的，则以下内容是已知的：

[0208] ·反射的手部中心2D坐标＝(Hx，Hy)

[0209] ·交互部件中心2D坐标＝(Ix，Iy)

[0210] ·交互部件宽度＝Iw

[0211] ·交互部件高度＝Ih

[0212] 例如，当以下条件为真时，手部和界面部件之间的交互被触发：

[0213] (Hx+(Iw/2))<(Ix+(Iw/2))AND(Hx-(Iw/2))>(Ix-(Iw/2))AND(Hy+(Ih/2))<(Iy+(Ih/2))AND(Hy-(Ih/2))>(Iy-(Ih/2))

[0214] 上述条件基本上相当于确定如用户所感知的反射的手部2D坐标是否位于矩形交互部件内。

[0215] 在悬停功能的情况下，如上所述，还可以存在所实施的预定触发时间段条件。

[0216] 交互的抓取和悬停模式对用户来说是非常符合人体工程学且直观的，用户能够轻松地与镜子进行交互，而无需学习特定的命令。

[0217] 界面部件可以是显示在屏幕上的用户的一部分。

[0218] 在一些实施例中，在安全性是重要的考虑因素的情况下，增强型镜子形成壁挂系统的一部分。下文参照图12和图13来描述这种系统的示例。

[0219] 图12的系统包括增强型镜子(例如上文关于图1至图4所描述的那些增强型镜子中的任何一个)，其中显示屏幕20位于镜面下方并且相机模块包括用于捕获镜子的用户的图像和相关联的深度信息的深度扫描仪。增强型镜子1将包括计算机模块4，计算机模块4本身包括一个或多个处理器，该一个或多个处理器配置为处理从相机模块接收的图像并控制显示在显示屏幕上的图像。

[0220] 在增强型镜子1形成壁挂系统的一部分的情况下，外部世界和计算机模块之间的唯一的通信手段是与一个或多个用户对象10的连接。在这种情况下，用户对象10是与已经嵌入的数据一起销售的物理产品(例如，FMCG)。

[0221] 如本申请中其他地方所述，增强型镜子1与对象10之间的连接例如可以是光学连接或无线数据连接。在图12所示的实施例中，来自对象10的数据可以由增强型镜子上的通信模块7接收，即数据通信是单向的，只有镜子接收来自产品的数据。因为数据不会被发送到产品，所以该实施例对于关注安全性的用户而言可能是优选的。

[0222] 通过避免增强型镜子1的计算机模块4与任何其他装置之间的网络连接，由于数据保持在家中，所以安全性的风险被最小化。也就是说，由于无需连接到物联网，因此提供了更高的隐私性。

[0223] 这种数据传输机制在一个或多个用户对象包括FMCG容器的情况下是最可行的，这是因为产品的容器是定期购买的并因此可以提供持续且定期的更新。换句话说，本发明不涉及“大数据”，相反，旨在帮助用户(也是FMCG的消费者)充分利用FMCG产品。

[0224] 图13所示的实施例与图12所示的实施例的不同之处在于，增强型镜子能够向用户和对象10发送数据72。

[0225] 在图12和图13所示的实施例中，计算机模块4包括内置数据库。数据库可以包括由系统主动或被动(“冷启动”)输入到数据库中的用户个人信息。

[0226] 数据库可以具有预编译的软件模板，软件模板可以通过来自产品的数据修改和激活(如下文更详细的描述)。处理器可以使用用户信息来优化/个性化设置软件更新。另外，数据库可以由与不同的使用情况(刷牙、涂抹护肤霜、头发造型)有关的一系列应用组成。

[0227] 在一些实施例中，产品可以是被动的，由镜子来触发/管理数据传输。

[0228] 位于产品上的数据可以被加密，并可以包含与数据关联的ID密钥。通过这种方式，可以避免用镜子被黑客/假冒产品篡改的风险。在一些实施例中，可以使用单向网络连接(即，仅接收)来更新镜子处的ID密钥。

[0229] 在一些实施例中，增强型镜子可以包括在从FMCG产品接收到数据时激活的硬件更新(例如，诊断传感器)。

[0230] 在一些实施例中，从增强型镜子的存储器运行的这些应用的某些算法/变量/属性将具有通用的基本设置。如果从FMCG对象收到数据，则会更新并“个性化设置”该特定应用。变量/新算法/属性信息将直接包含在FMCG对象中。可以经由无线数据传输(例如，蓝牙)或通过视觉方式(例如，编码在FMCG的容器上的条形码或类似标记中)来实现信息的传递。

[0231] 可替代地或附加地，存储在增强型镜子的存储器中的应用的范围是完整的。每个应用可以通过数字“密钥”来“解锁”。数字密钥可以采取来自特定FMCG对象的数据传输的形式并且可以被编码。这种实施例的优点是潜在变化范围大得多，而只有有限量的数据从FMCG传递到镜子。然而，一个缺点是应用的选择限于预编程到镜子中的程序。

[0232] 增强型镜子的计算机模块与用户对象之间的连接可以通过以下中任何一个或多个来实现：光、声音、本地电子装置、振动、对象形状、对象移动和对象图形。在FMCG容器或其他对象上的图形充当数字密钥或数据源的情况下，图形可以印在仅在电磁频谱的不可见部分中(即在UV或IR光下)可见的墨水中。

[0233] 特别地，FMCG对象可是“非智能FMCG”。非智能FMCG不包括从其自身主动输出信息或数据的设备。非智能FMCG也无法进行双向交互。一般而言，非智能FMCG的总信息量是固定的，并且非智能FMCG允许通过系统来检测信息，系统利用相机的检查来观察非智能FMCG。因此，非智能FMCG的总信息量可以视觉传达。换句话说，可以仅从非智能FMCG的外观来确定来自非智能FMCG的信息。在正常情况下，人眼可能看不到特定标记。

[0234] 非智能FMCG包装上的特定标记可以特别设计成易于通过增强型镜子的相机和计算机模块进行区分和测量。特定标记例如可以包括符号、条形码、二维条形码或QR码。

[0235] 符号可以是显示(例如，印刷)在非智能FMCG包装上的简单几何形状。符号可以包括在包装上，使得该使符号相对于非智能FMCG包装的其余部分具有较高的视觉对比度，从而使增强型镜子的计算机模块更容易地鉴别符号。例如，符号可以是白色背景上的黑色简单几何形状。符号可以不是旋转对称的。如果该符号不是旋转对称的，则利用相机观察该符号的系统能够鉴别该符号的角度定向。如果系统还可以从符号中鉴别出非智能FMCG，则符号的定向可以用来推断应用该符号的非智能FMCG的定向。

[0236] 特定标记可以使得镜子例如从符号和对应FMCG数据库中鉴别FMCG。数据库可以本地存储在镜子中，或者可以与镜子远程存储。如果数据库远程存储，则镜子可以通过网络(例如，互联网)查询数据库。

[0237] 可以使用特定协议来防止由镜子发送的数据被除FMCG之外的任何装置拾取，其中该FMCG能够从该装置接收数据。这可以通过对数据进行编码使得数据仅由相关的对象读取来实现。

[0238] 此外，可以使用例如NFC或蓝牙的短范围的传输系统，这有利地意味着只有处于一定距离内的装置可以与镜子交互。

[0239] 最后，所选的传输系统可以连接到特定的识别参数，例如物理FMCG对象的视觉识别。通过这种方式，提供了额外的检查，其检查视觉数据、确定对象的形状、根据存储在镜子的存储器中的规则检查形状、并且仅在FMCG对象的形状与存储器中的规则所定义的形状相匹配时进行信息传输。

[0240] 在存在网络连接的地方，这可以是单向连接，使得仅允许传入数据。以这种方式，安全性风险得以最小化，但镜子仍然可以接收更新并且还可以与外部装置交互，例如，天气预报。在安全性根本不成问题的情况下，可以存在双向连接，使得数据可以经由镜子传入和传出系统。

[0241] 下文结合图14和图15描述本发明的另一个实施例。

[0242] 根据前述实施例，增强型镜子201的计算模块4配置为从相机接收视觉信息；处理信息；并基于处理后的信息在显示屏幕上显示一个或多个图像。然而，该实施例不同于以上关于图1和图2所描述的实施例之处在于，由运算模块所处理的视觉信息所覆盖的视野减少为来自视觉通道202,203内的视觉信息，该视觉通道对应于相机视野的子集。

[0243] 相应地，可以基于镜子的物理尺寸来确定视觉通道的高度和宽度。例如，视觉通道可以对应于用户可以看到自己在镜子中反射的位置。通过这种方式，镜子仅与可以在镜子中看到自己的用户交互。实施这种的视觉通道可防止镜子与视觉通道外部的用户的无意交互。

[0244] 在一些实施例中，视觉通道的范围针对特定镜子来定义，并且应用于由该镜子所实施的所有应用和/或功能。此外，相同的视觉通道可以与特定镜子的多个硬件配置一起使用。

[0245] 图14示出了视觉通道的两种可能的选择；其一为锥形，另一为矩形。应注意到，在任一情况下，尽管四个用户C、D、E和F均位于相机的视野204之内，但他们均位于在视觉通道之外。

[0246] 对于镜子的应用而言，用户仅对用户的反射可见的视野范围感兴趣。该视野范围明显小于例如与视频游戏控制台一起使用的标准相机的全部视野。

[0247] 由于视觉通道外部的数据在执行计算之前被丢弃，因此视觉通道可以简化计算并减少所需的存储空间。

[0248] 在图14所示的实施例中，相机是RGB-D装置，其包括用于捕获镜子的用户的图像和相关联的深度信息的深度扫描仪。RGB-D装置包括输入软件，以提取相机视野内每个检测到的人的骨架数据点。

[0249] 由图14的增强型镜子所执行的处理示出在图15的流程图中。

[0250] RGB-D相机捕获全帧(即，覆盖相机可能的视野的图像)。通过RGB-D装置处的最大x、y和z输入来提供代表全帧的子集的视觉通道。

[0251] 计算模块包括剔除软件，剔除软件配置为：处理由RGB-D装置提取的骨架点；提取由RGB-D装置检测到的每个用户的特定骨架区域的位置；丢弃对应于特定骨架区域位于视觉通道外部的任何用户的数据。

[0252] 骨架区域可以是用户的脊柱，或者可以是另一身体部位或区域，例如头部、手臂或腿部。身体上的中心区域诸如脊柱或头部可能是有利的。

[0253] 剔除软件可以执行定位每个检测到的骨架的特定骨架点的真实世界Z坐标和X坐标并丢弃真实世界X坐标和Z坐标位于视觉通道外部的相关用户视觉数据的步骤。

[0254] 剔除软件还配置为丢弃对应于特定骨架区域最接近RGB-D装置的用户以外的任何用户的数据。也就是说，特定骨架区域(例如脊柱)的z坐标具有最低值的用户。

[0255] 除了剔除软件之外，运算模块还包括：执行软件，其从剔除软件接收未丢弃的数据并处理该数据。

[0256] 本实施例的增强型镜子可以包括用于与便携式用户装置交互的软件。在这种示例中，便携式电子装置包括仅当它们出现在通道中时才激活的特征。例如，交互式智能牙刷一旦移动到视觉通道内就会被激活。

[0257] 这可以通过包括LED和光接收器的便携式电子装置来实现。当来自LED的光线被镜子反射并被光接收器接收时，则便携式电子装置将在镜子中“看到”自己时使至少一个特征从“关闭”配置切换为“打开”配置。

[0258] 最大的x、y和z坐标(或者如果选择更复杂的形状的通道，则为极坐标)对应于在人员的信息将不被运算模块处理之前人员可能处于的“最左”或“最右”处。这些界限可以设定为对应于用户可以站在镜子前方但仍然能够看到他们的反射的最远位置(即，通道的“外侧界限”)。

[0259] 在一些实施例中，位于运算模块处的附加软件可以编程为“锁定”到用户头部的位置。

[0260] 随着用户的移入，他们的骨架被RGB-D装置获取。这会输出他们头部位置的坐标。例如，坐标可以对应于每个用户的头部的中心或每个用户的头部的最高点。这些坐标然后用于创建一个动态的“边界盒”；这个区域将粗略地包绕他们的头部。此边界盒的坐标将随着用户的移动而移动。

[0261] 然后将这些边界盒坐标应用于相机图像。通过这种方式，相机图像显示用户的头部，并且被“锁定”到他们的头部，而不管用户使头部在RGB-D装置的视线内移动的位置。

[0262] 边界盒的一个应用是巧妙处理面部识别。面部识别软件仅应用于边界盒内的视觉数据，这减小了图像区域的大小，在该图像区域中面部必须与位于运算模块的存储器内的数据库中的面部相匹配。

[0263] 图16示出了用于在屏幕上绘制叠覆的方法和相关联的步骤，从镜子的用户的视角来看，该叠覆在用户看来位于镜子中反射的对象上。该对象可以是用户的一部分或者可以是用户持有的或位于用户上的对象。

[0264] 所示方法首先检测视觉通道(如上所述的视觉通道)中的所有骨架。在第二步骤中，系统鉴别视觉通道内的哪个骨架最接近镜子。由于视觉通道中可能有多个人，所以这是一个重要的步骤。最接近的用户鉴别为“激活”，并且是行为由镜子所监测并且将与镜子交互的用户。

[0265] 当激活用户在视觉通道内时，他/她可能未处于与镜子交互的最佳位置。为了使激活用户移动到最佳位置，可以如上所述控制镜子周围的照明，从而以直观方式将用户引导到最佳位置。

[0266] 当激活用户处于最佳位置或接近该位置时，系统鉴别激活用户的面部并开始交互会话。系统还鉴别可以由相机看到的对象(例如，非智能FMCG)以及该对象的位置。该对象将如激活用户所感知的被叠覆图形。

[0267] 接下来，检测激活用户的面部，并随后鉴别激活用户的眼睛位置(激活用户的眼睛的3D坐标)。对象的对象检测也被执行。

[0268] 根据对象的3D坐标，计算对象在反射空间中的3D位置虚拟位置。为了计算镜面上对象出现至用户的点，镜子的运算模块：测量从镜面到对象的垂直距离；计算在镜面与对象相反的相反侧上距镜子相同垂直距离处的3D虚拟位置；计算从3D虚拟位置到用户眼睛的3D坐标的视线；并确定镜面平面与该视线的交点。该交点对应于镜面上的点，在该点上物体以镜面上的2D坐标呈现至用户。

[0269] 然后，在显示屏幕上在镜面上的交点处绘制对象的叠覆。该叠覆与用户所感知的对象反射的位置重合，因此叠覆看起来与对象重合。该对象可以是用户自身的一部分。例如，叠覆可以包括看起来指向对象的箭头。叠覆可能是一个环圈，所以叠覆看起来围绕着对象。以这种方式，对象可以突出显示给镜子的用户。

[0270] 结合本文描述的任何实施例，增强型镜子可以包括编程为产生两个屏幕输出的软件。屏幕本身可以是双视图屏幕，其中屏幕提供两个单独的视觉输出，并因此从计算机模块接收两个视觉输出；在第一角度范围上可见的第一视觉输出；以及在第二角度范围上可见的第二视觉输出，所述第二角度范围选择为使得与所述第一角度范围不叠覆。

[0271] 这种特征可以用在沙龙中，使得顾客看到与美发师/沙龙工作人员不同的东西。

[0272] 在此描述的任一实施例中，可以通过音频或视觉输入来触发增强型镜子。视觉触发可能包括与产品相关的特定行为，例如从容器上取下盖子。在这种情况下，计算机模块中的软件可以教导或预编程为使用对象学习来识别这种事件。

[0273] 用于本文描述的任何一个方面或实施例的对象学习过程的示例如下所示：

[0274] 1.用户向镜子展示对象，并使用语音命令来初始化对象学习，包括赋予该对象唯一的ID；

[0275] 2.镜子使用其相机拍摄静止图像，并将其显示在镜子上。基于用户手部的位置、颜色和深度信息来完成对象的初始分区；

[0276] 3.用户使用语音命令来微调分区

[0277] 4.一旦完成，对象的RGB-D表示被存储为对象的肯定示例；

[0278] 5.还从图像的其他部分采样多个否定示例；

[0279] 6.利用在步骤4和5中收集的新训练数据来更新统计机器学习模型；

[0280] 7.用户在不同的位置向镜子展示对象，并且镜子使用步骤2的初始分区过程的加权评分和模型在步骤6中训练的机器学习预测来对对象的位置进行分区。其还为用户展示模型预测以评估正确性；以及

[0281] 8.重复步骤3-7直到用户对系统的自动识别结果满意为止。

[0282] 下文描述本发明的另一实施例。该实施例涉及可以与上述任何方面和/或实施例结合使用的“冷启动”机制。

[0283] 在该实施例中，计算模块包括被配置为提取关于用户的信息的“冷启动软件”。

[0284] 该软件从增强型镜子系统的一个或多个传感器获得输入并提取关于个体的相关信息。

[0285] 以这种方式，可以被动地获得和存储关于用户的一定程度的个性化信息，而用户不必主动回答问题。这提供了更快、更无缝的用户交互。

[0286] 冷启动机制对于使用增强型镜子进行产品推荐特别有用。通常，产品推荐包括完成问卷以描述与做出推荐相关的头发和其他属性；例如：

[0287] ·头发的颜色

[0288] ·头发的长度

[0289] ·头发的质地

[0290] ·头发的运动

[0291] ·优选的风格

[0292] ·当前的头发护理状态

[0293] 一旦输入了答案，传统的问卷系统可以基于用户输入的信息做出推荐。输入数据的过程可能很漫长，并且经常令用户感到沮丧。

[0294] 以下举例说明如何使用“冷启动”机制来改进推荐过程：

[0295] ·用户接近镜子并捕获视觉图像；

[0296] ·冷启动软件应用检测头发区域的算法；

[0297] ·冷启动软件应用算法以检测面部区域；

[0298] ·从相关区域提取有关头发和面部的信息，例如：

[0299] 1.头发的颜色

[0300] 2.头发的长度

[0301] 3.头发的质地

[0302] 4.头发的运动

[0303] 5.优选的风格

[0304] ·提取的信息可单独使用也可与调查问卷一起使用来进行推荐，与传统的方法相比，问卷的长度缩短。

[0305] 当冷启动软件应用于产品推荐时，该冷启动软件通过使用从消费者的智能镜子反射评估的视觉信息，可以更快地实现个性化产品或状态推荐，从而减少使用传统的调查问卷方法来收集数据的需求。还可以具有商业上的优点，例如在个性化过程中减少“用户退出”。这可能与店内或家用有关。

[0306] 该软件可以适应在更长时间内捕获信息以识别用户行为的状态或趋势。

[0307] 尽管已经结合上述示例性实施例描述了本发明，但是对于本领域技术人员而言，在给出本公开时，许多等同的修改和变化将是显而易见的。因此，上文阐述的本发明的示例性实施例被认为是说明性的而非限制性的。在不脱离本发明的精神和范围的情况下，可以对所描述的实施例进行各种改变。

[0308] 在此描述的实施例均涉及具有部分镀银表面的增强型镜子，然而，可以设想在此描述的概念，特别是视觉通道的概念还可以应用于简单的显示屏幕，其不具有额外的部分镀银涂层。

[0309] 上文提及的所有参考文献通过引用并入本文。