[0001] 本发明涉及用于控制电子设备或电气设备的用户界面。

[0002] 许多现代电子设备诸如智能手机和平板电脑等配备有触摸屏，该触摸屏提供用于向用户传达信息的显示器和可供用户使用以向设备提供输入的界面这两者。这样的显示器通常可以是液晶显示器(LCD)或基于发光二极管(LED)的显示器，其提供有电阻式传感器阵列或者(更典型地对于时髦设备而言)电容式传感器阵列，其能够在输入物体(例如手指或触控笔)接触显示器时确定该输入物体的位置。

[0003] 这样的触摸屏可以是直观的，通常向用户呈现简单的界面，在该界面中，用户可以例如用其手指或触控笔按下显示器上呈现的按钮或移动显示器上呈现的滑块，使得用户通常可以用最少的指令或训练来使用触摸屏。

[0004] 近年来，为更广泛的设备(包括大型电器诸如冰箱和洗衣机等)提供触摸屏已变得更加普遍，而传统设备如果提供有任何此类界面则会是更基本的用户界面(例如，使用物理按钮、滑块、拨盘等)。

[0005] 虽然这些设备的制造商可能使用与智能手机中使用的电阻式或电容式触摸传感器相耦合的LCD或基于LED的触摸屏，但这些并不适用于所有应用。触摸屏可以提供高分辨率消歧和多点触摸检测(即，同时检测例如来自不同手指的多个触摸输入的能力)，但是通常昂贵(例如，由于感测和保护玻璃层)，显著增加了内置该触摸屏的设备的成本。此外，触摸屏可能占用设备上相当大的物理空间，这会对设备本身的物理结构产生不希望有的限制。

[0006] 为了缓解这些缺点，已经提出为电子设备提供“虚拟”触摸屏，其中，将显示投影到一表面(如设备的表面，或外部的表面上，诸如桌子或工作台面上)上并且使用设备外部的机构、例如使用相机来确定用户手指相对于所投影的图形用户界面的元素在哪里以便确定给定的用户输入，以捕获用户输入。

[0007] 在US 2007/0159453中已经提出了这种虚拟触摸屏的一种形式，以利用红外传输和检测来为移动电话和平板电脑提供虚拟小键盘或键盘，以便在没有感测表面的情况下执行触摸感测。然而，这样的红外触摸传感器通常使用多个元件。例如，一种实现可以涉及使用位于显示区域周围的光发射器和光传感器的两个阵列。

[0107] 图1是根据本发明的实施例的用户输入设备2的示意图。用户输入设备2包括：投影仪4；激光源6；光传感器阵列8；第一超声发射器10；第一超声接收器12；第二超声发射器14；和第二超声接收器16。光传感器阵列8是与其它组件分开的部分，所述其它组件均在图1中的共同的壳体18内，然而，在其他布置中，例如在图4中所示的布置中，组件2、4、6、8、10、12、
14、16可以在单个集成单元中提供。下文中将详细描述这些不同组件的各自的功能。

[0108] 虽然在该特定实施例中存在两个超声发射器10、14和两个超声接收器12、16，但应当理解的是，通常来讲，可以使用仅两个发射器和一个接收器的布置或仅两个接收器和一个发射器的布置来实现本发明。下面参考图12和图13来描述这些布置的示例。

[0109] 图2是图1的用户输入设备2的组件的框图。从该框图中可以看出，除了先前参考图1描述的组件2、4、6、8、10、12、14、16之外，用户输入设备2还包括处理器3、视频接口5和通信接口13。将超声发射器10、14和超声接收器12、16组成为声学位置感测装置7，以便于引用。
类似地，将激光源6和光传感器阵列8组成为光学触摸感测装置9。

[0110] 通信接口13被设置为将由用户输入设备2检测到的输入传送到一个或多个外部设备。该接口 13提 供有线 接口和无 线通信接口 ，其可以 使 用以及WiMAXTM中的至少一个进行通信。

[0111] 投影仪4通常是小型的轻型投影仪，例如“微型投影仪”，并且被设置为将显示20投影到表面上，例如投影到桌子、地板、墙壁或者电器的表面诸如冰箱门上——下文进一步详细描述其中一些示例。投影仪4通常被设置为通过视频接口5从诸如计算机、微控制器、片上系统等的外部源中接收视频数据，并将其转换为用户可以看到的可见显示20。合适的微型投影仪的示例包括：由 制造的YogaTMTablet 2Pro或由 制造的Moto Insta Share Projector。

[0112] 从图3中可以看到这样的显示20，图3提供了由图1的用户输入设备2投影的虚拟触摸屏的俯视图。该显示20具有长度22和宽度24并且被投影在与投影仪4相距距离26处。该显示20被分成元件网格28，用户可以在其中提供输入，其中元件网格28可以具有与所述显示本身不同的分辨率(即，所显示像素的数量可以与能够在其中检测到输入物体的单独位置的数量不同)。

[0113] 图4是使用中的图1的用户输入设备2的透视图。在这种情况下，光传感器阵列8通过一对侧臂19连接到壳体18，使得用户输入设备2形成单个集成单元。在一些布置中，这些侧臂19可以是可移除的，使得用户可以针对给定的应用而将光传感器阵列8放置在合适位置处。在其他布置中，例如，在要将用户输入设备2集成到另一设备诸如烤箱中的情况下，壳体18和光传感器阵列8之间的连接可以是永久性的。

[0114] 从图4中可以看出，投影仪4将显示20投影到表面21上，其中，在该情形中，显示20包括图形用户界面(GUI)，该图形用户界面(GUI)包括拨盘23和三个按钮25a-c。用户可以与这些元件中的每一个进行交互，例如，如下所述，通过按下“按钮”25a-c中的一个或多个和/或通过旋转“拨盘”23进行交互。

[0115] 图5是图1中的用户输入设备2所使用的声学位置感测装置的俯视图。如上所述，图5中的用户输入设备2包括一对超声TOF位置传感器：第一超声发射器10和接收器12，它们形成第一超声传感器；以及第二超声发射器14和接收器16，它们形成第二传感器。

[0116] 一旦光学触摸传感器9(即，红外激光器6和光传感器阵列8)检测到触摸事件，第一超声发射器10便发射第一超声信号52，该第一超声信号52被触摸该表面21的物体反射，从而第一超声接收器12接收第一反射超声信号54。类似地，在检测到触摸事件之后第二超声发射器14发射第二超声信号56，该第二超声信号56被物体反射，并且第二超声接收器16因此接收第二反射超声信号58。基于每一个上述过程的往返TOF，可以例如使用在本申请人的较早公开WO 2009/115799 A1中所述的二维椭圆交叉，计算从每个超声TOF位置传感器到物体(在该情形中是用户手指40)的距离。

[0117] 然后，处理器3可以根据该位置信息，即与由每个传感器获得的往返TOF有关的数据，确定用户手指40的位置。然后可以分析所确定的位置以确定用户输入，例如，用户是否触摸了上文中参考图4所描述的“按钮”25a-c中的一个或者旋转了上文中参考图4所描述的“拨盘”23。

[0118] 图6是示出由包括激光源6和光传感器阵列8的光学触摸感测装置使用的光束的另一俯视图。激光源6被设置为在光传感器阵列8的方向上在显示20上投射红外激光束30。在图7(图7为光学触摸感测装置的框图)中可以看出，该激光束30源于由控制器36操作的激光模块34产生的点激光束32。该点激光束32穿过半圆形(即，凸起的)柱面透镜38，该柱面透镜38将初始光束32的光扩散成线或片，该线或片离开激光源6作为光束30。

[0119] 如果用户希望使用他们的手指40进行输入，则他们可以用其手指40接近该显示20所投射到的表面。如图8所示，当他们接近该表面时，他们的手指40将中断至少部分红外激光片30。这导致区域42中没有激光存在，原因在于光已被用户手指40阻挡。这导致光传感器阵列8内的许多元件不会接收到任何红外辐射，因此向控制器36返回报告有东西中断了光束30，这表明用户可能已经触摸该表面。然后，控制器36可以将此中继传递到处理器3，以便通知处理器已经发生了触摸。

[0120] 在这种布置中，光束30覆盖了所投影的显示20的整个范围，并且光传感器阵列8至少与所述显示的宽度24一样宽，使得可以检测到该显示上任何点处的触摸。然而，应当理解的是，光传感器阵列8可以比所述显示更短或更宽，或者分别减小触摸空间或者将触摸空间增加到显示之外。

[0121] 处理器3和/或控制器36可以确定阵列8内被阻挡的光传感器的数量，并由此确定阻挡红外光束30的物体的尺寸。然后，处理器3可以基于这一确定的尺寸判断该触摸是否为有效触摸或者是否其为错误输入(例如，如果用户意外地走进该显示)。一旦确定已经发生了有效触摸事件，则用户输入设备2可以如之前参考图5所述确定触摸的位置。

[0122] 图9是根据本发明的另一个实施例的光学位置感测装置的俯视图。图1中示出了可替选的用户输入设备2'，其中，相同的附图标记表示与前述组件相同的组件。然而，与上述用户输入设备2不同，图9中的用户输入设备2'包括一对红外TOF距离传感器：形成第一传感器的第一红外发射器44和接收器46；以及形成第二传感器的第二红外发射器48和接收器50。

[0123] 一旦光学触摸传感器(即，红外激光器6'和光传感器阵列8')检测到触摸事件，第一红外发射器44就发射第一红外信号60，该第一红外信号60被触摸该表面21的物体反射。第一红外接收器46因此接收第一反射红外信号62。类似地，在检测到触摸事件之后第二红外发射器48发射第二红外信号64，该第二红外信号64被物体反射，且第二红外接收器50接收所产生的第二反射红外信号66。基于上述每一个中的往返TOF，可以计算从每个红外TOF位置传感器到该物体(在该情形中为触控笔)的距离。然后，处理器3可以根据位置信息，即与由每个传感器获得的往返TOF有关的数据，确定触控笔68的位置。

[0124] 本领域技术人员应当理解的是，这些红外TOF位置传感器中的一个或多个可以与如前所述的一个或多个超声位置传感器组合。

[0125] 图10是根据本发明另一实施例的集成到冰箱72中的用户输入设备70的示意图。冰箱72具有位于冰箱门76a、76b之一76a上的组合式冷水和制冰机74。使用者通过将容器诸如玻璃杯放入制冰机74的腔78中并将玻璃杯推向腔78后部的杠杆80，能够获得冷水、冰块或碎冰。

[0126] 为了在不同模式之间(即在冷水、冰块和碎冰之间)进行选择，用户输入设备70向用户提供投射到冰箱门76a上的虚拟触摸屏显示82。包括投影仪86、激光源88、第一超声发射器90、第一超声接收器92、第二超声发射器94和第二超声接收器96的壳体84位于门壳体98内，使得用户输入设备70的所有这些部件均被隐藏看不见。光传感器阵列100被嵌入在制冰机74顶部的凹槽内，因此其也被隐藏看不见。

[0127] 投影仪86将显示82垂直向下投射到门上，并向用户呈现包含三个按钮102a-c的GUI，用户可以按下这些按钮以改变制冰机74的模式。当用户将手指放在门76a的、由显示82覆盖的部分上时，由激光源88和光传感器阵列100形成的光学触摸传感器检测到该触摸并激活超声位置感测装置(即，第一超声发射器90；第一超声接收器92；第二超声发射器94；以及第二超声接收器96)，否则，该超声位置感测装置处于低功率模式以降低功耗。

[0128] 当处于低功率模式时，超声位置感测装置间歇地周期性地发送超声探测信号，其频率低于其确定输入物体的位置时的频率(即，周期更长)。所接收的任何反射信号都通过处理器(例如，上述处理器3)与所存储的信号进行比较，该存器的信号指示冰箱72所处房间内没有用户在场。如果处理器确定所接收的超声探测信号的反射与所存储的信号之间存在差异，并且该差异指示有人在场，则处理器可以启用投影仪86，否则，可以禁用该投影仪86以降低功耗。

[0129] 图11示出了根据本发明又一实施例而使用的独立式用户输入设备104。该独立式用户输入设备104没有集成到任何特定电器中，而是安装在房间108的墙壁106上，如在用户的房间中。用户输入设备104可以用于为不同的家庭自动化控制提供不同的GUI，以例如控制房间中的照明105的亮度或颜色。在该示例中，用户输入设备104提供虚拟触摸屏显示110，用于控制房间108内的中央供暖。

[0130] 所述显示110显示当前天气112和温度114，并向用户提供适合用于设定房间108的期望温度的温度拨盘116。用户可以使用他们的手指40旋转拨盘116以为房间设定所需温度。一旦光学触摸感测装置确定用户的手指40正在触摸所述显示110，位置感测装置(即，先前描述的声学和/或光学位置感测装置)便可以跟踪手指40的移动以确定用户是正在顺时针转动拨盘(以提高温度)还是在逆时针转动拨盘(以降低温度)。

[0131] 一旦用户将他们的手指40从该显示110移开(使得光学触摸感测装置确定光束不再被中断)，可以使用由通信接口13促成的无线连接120将新的期望温度传送到锅炉118。该无线通信接口13使用 和/或WiMAXTM(这些仅为举例)来执行无线通信。

[0132] 锅炉118接收来自用户输入设备104的该输入并且开始使热水循环通过房间中的散热器122，以便升高温度直到其达到用户输入的期望温度。

[0133] 尽管在前述参考图10和图11所描述的示例中，投影仪将显示投影到竖直表面上(即冰箱的门或墙壁)，但是可以理解的是，其也可以应用于水平表面(例如桌面、工作台、地板等)或用于其他角度的表面上或形成复杂形状的表面上。

[0134] 图12是根据另一实施例的用户输入设备2'的示意图，该实施例使用一个超声发射器10'和两个超声接收器12'、16'，其中相同的附图标记表示相同的部件。在该实施例中，光传感器阵列8被替换为单个红外TOF距离传感器15'，其被设置为确定何时发生触摸事件。由于该实施例可以使用最少数量的物理部件进行构造，因此其是特别有利的。

[0135] 应当理解的是，完全可以使用该红外TOF距离传感器15'代替在上文描述的实施例中使用激光源6和光传感器阵列8的布置。

[0136] 红外TOF距离传感器15'发射红外光束，并且基于已知的光速，可以从往返TOF得出到物体的距离。这通常是比先前参考图1中的用户输入设备2所描述的光传感器阵列8更便宜的选项。如果检测到的到附近物体的距离小于某个阈值，则设备2'会确定发生了触摸事件。

[0137] 在光学触摸感测装置检测到触摸事件之后，发射器10'发射超声信号52'，该超声信号52'由用户的手指40'反射。这得到反射超声信号，其在第一超声接收器12'处接收作为第一接收超声信号54'且在第二超声接收器16'处接收作为第二接收超声信号58'。

[0138] 取决于手指40'的位置，第一接收超声信号54'将在第一超声接收器12'处在与第二超声接收器16'处接收的第二接收超声信号58'不同的时间被接收。因此，该时间差表示用户手指40'的位置。然后，处理器可以使用本领域中本身公知的椭圆交叉从与每个接收超声信号54'、58'相关联的往返TOF确定用户手指40的位置。

[0139] 更具体地，基于发射超声信号52'到达手指40'所花费的时间以及得到的反射信号54'到达第一接收器12'所花费的时间，处理器可以确定用户手指40'位于第一椭圆区段轨迹200上，该第一椭圆区段轨迹200对应于会导致该特定总传播时间的手指40'可能所处的点(即，其为等距离曲线)。

[0140] 类似地，基于发射超声信号52'到达手指40'所花费的时间以及得到的反射信号58'到达第二接收器16'所花费的时间，处理器可以确定用户手指40'也位于第二椭圆区段轨迹202上。轨迹200、202相交的点对应于用户手指40'的位置。

[0141] 图13是根据另一实施例的用户输入设备2”的示意图，其使用两个超声发射器10”、14”和一个超声接收器12”，其中相同的附图标记表示相同的部件。

[0142] 在光学触摸感测装置检测到触摸事件之后，第一发射器10”发射第一超声信号52”，且第二发射器14”发射第二超声信号56”，其中这些发射信号52”、56”均被用户手指40”反射。这两个发射信号52”、56”可以例如通过使它们处于不同的频率、通过以不同的时间间隔发射、或通过对每个信号采用不同的啁啾模式，使它们彼此区分。

[0143] 这些发射信号52”、56”中的每一个产生相应的反射超声信号54”、58”，其在超声接收器12”处接收作为第一接收超声信号54”和第二接收超声信号58”。

[0144] 基于第一发射超声信号52”到达手指40”所花费的时间以及所得到的反射信号54”到达接收器12”所花费的时间，处理器可以确定用户手指40”位于第一椭圆区段轨迹300上，其对应于会导致该特定总传播时间的手指40”可能所处的点(即，其为等距离曲线)。

[0145] 类似地，基于第二发射超声信号56”到达手指40'所花费的时间以及所得到的反射信号58”到达接收器12”所花费的时间，处理器可以确定用户手指40”还位于第二椭圆区段轨迹302上。这些轨迹300、302相交的点对应于用户手指40”的位置。

[0146] 因此，应当理解的是，本发明的实施例提供了一种改进的用户输入设备，其使用光学和声学传感器来分别确定是否发生了用户输入以及这种输入发生在何处。本发明的其他实施例利用多个光(优选红外)传播时间传感器来确定输入物体的位置。本领域技术人员将理解，本文描述的实施方案仅为示例性的，且并不限制本发明的范围。