[0003] 本说明书整体涉及电子设备的基于手势的控制，包括(例如)多设备手势控制。

[0004] 诸如可穿戴电子设备之类的电子设备通常配备有诸如键盘、触摸板、触摸屏或按钮之类的输入部件，这些输入部件使得用户能够与电子设备进行交互。在一些情况下，电子设备可被配置为接受来自用户的用于控制电子设备的手势输入。

[0021] 下面示出的具体实施方式旨在作为本主题技术的各种配置的描述并且不旨在表示本主题技术可被实践的唯一配置。附图被并入本文并且构成具体实施方式的一部分。具体实施方式包括具体的细节旨在提供对本主题技术的透彻理解。然而，对于本领域的技术人员来说将清楚和显而易见的是，本主题技术不限于本文示出的具体细节并且可在没有这些具体细节的情况下被实践。在一些情况下，以框图形式示出了熟知的结构和部件，以便避免使本主题技术的概念模糊。

[0022] 本主题公开的各方面提供了使用在第一电子设备处可检测的手势的有限集合对各种不同的第二电子设备(诸如物联网(IoT)设备和/或其他类型的电子设备)的各种不同的控制元件的手势控制。例如，环境可以包括多个设备，每个设备具有一组一个或多个控制元件，诸如开关、旋钮、拨号盘、按钮等。作为示例，该多个设备可以包括IoT设备和智能扬声器。该IoT设备可以是联网光源并且可以包括一组控制元件，诸如通断开关和调光器。该智能扬声器可以包括不同组的控制元件，诸如播放按钮、停止按钮、暂停按钮和音量旋钮。

[0023] 根据一个或多个具体实施，诸如智能手表或其他可穿戴设备、智能电话等的第一电子设备可提供：(i)基于手势选择(例如，使用诸如超宽带(UWB)传感器、蓝牙低能耗(BLE)传感器、与计算机视觉引擎耦合的图像传感器等的第一传感器)另一设备(例如，从多个设备中选择)进行手势控制；(ii)显示用于所选设备的控制元件图标的适当集合(例如，在所选设备的注册或配对期间存储于该第一电子设备处用于手势控制)；(iii)基于手势为所选设备选择该控制元件图标集合中的一个控制元件图标(例如，使用诸如包括加速计、陀螺仪和磁力计中的一者或多者的惯性测量单元(IMU)传感器等的一个或多个其他传感器)；(iv)基于手势控制该元件图标集合中的所选元件图标(例如，使用诸如肌电图(EMG)传感器等的一个或多个附加传感器)。

[0024] 图1示出了根据一个或多个具体实施的包括各种设备的示例性网络环境100。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

[0025] 网络环境100包括电子设备102、103、104、105、106和107(在下文中称为“电子设备102‑107”)、局域网(“LAN”)108、网络110和一个或多个服务器，诸如服务器114。

[0026] 在一个或多个具体实施中，电子设备102‑107中的一个、两个或多于两个(例如，全部)可以与共同账户诸如服务器114的账户(例如，用户账户)相关联(例如，注册和/或登录共同账户)。例如，账户可以是个人用户的账户或组账户。如图1中所说明，电子设备102‑107中的一个或多个电子设备可以包括用于感测该设备周围的环境的各方面的一个或多个传感器152，例如其他设备的存在或位置和/或由该设备的用户执行的手势。

[0027] 在一个或多个具体实施中，电子设备102‑107可以形成互联家庭环境116的一部分，并且LAN 108可通信地(直接或间接地)耦接互联家庭环境116内的电子设备102‑107中的任何两个或更多个。此外，网络110可以例如结合LAN 108将电子设备102‑107中的任何两个或更多个与服务器114通信地(直接地或间接地)耦接。在一些场景中，电子设备诸如电子设备102‑107中的两个或两个以上电子设备可以通过安全直接连接而直接通信，例如，当电子设备106靠近电子设备105时。尽管电子设备102‑107在图1中被示出为形成互联家庭环境的一部分，其中所有设备都连接到LAN 108，但是电子设备102‑107中的一个或多个电子设备可以不是互联家庭环境的一部分和/或可能在一个或多个时间不连接到LAN 108。

[0028] 在一个或多个具体实施中，LAN 108可包括一个或多个不同的网络设备/网络介质和/或可利用一种或多种不同的无线和/或有线网络技术，诸如以太网、光学、Wi‑Fi、蓝牙、Zigbee、以太网电源线、同轴、以太网、Z波、蜂窝、或一般而言任何可通信地耦接两个或更多个设备的无线网络技术和/或有线网络技术。

[0029] 在一个或多个具体实施中，网络110可以是可包括互联网和/或可通信地耦接到互联网的设备的互连网络。出于解释的目的，图1中的网络环境100被例示为包括电子设备102‑107和服务器114；然而，网络环境100可以包括任何数量的电子设备和任何数量的服务器。

[0030] 电子设备102‑107中的一个或多个电子设备可为例如便携式计算设备，诸如膝上型计算机、智能电话、智能扬声器、外围设备(例如，数字相机、耳机)、数字媒体播放器、平板设备、可穿戴设备诸如智能手表或手环、互联家庭设备诸如无线摄像头、路由器和/或无线接入点、无线接入设备、智能恒温器、智能灯泡、家庭安全设备(例如，运动传感器、门/窗传感器等)、智能插座、智能开关等，或任何其他包括和/或通信地耦接到例如一个或多个有线或无线接口的适当设备，诸如WLAN无线电部件、蜂窝无线电部件、蓝牙无线电部件、Zigbee无线电部件、近场通信(NFC)无线电部件和/或其他无线无线电部件。

[0031] 以举例的方式，在图1中，电子设备102‑103中的每一者被描绘为智能扬声器，电子设备106被描绘为智能电话，电子设备107被描绘为智能手表，并且电子设备104和105中的每一者被描绘为数字媒体播放器(例如，被配置为接收数字数据诸如音乐和/或视频并将其流式传输到显示设备诸如电视或其他视频显示器)。在一个或多个具体实施中，电子设备104和105中的一个或多个电子设备可以集成到相应的显示设备中或与相应的显示设备分开。电子设备102‑107中的一个或多个电子设备可以是和/或可以包括下文结合图2A和图2B所论述的设备和/或下文结合图15所论述的电子系统的全部或部分。

[0032] 在一个或多个具体实施中，电子设备102‑107中的一个或多个电子设备可以包括一个或多个机器学习模型，该机器学习模型提供与预测或变换相对应的数据的输出或一些其他类型的机器学习输出。如图1中所示，网络环境100还可以包括一个或多个可控制设备，该可控制设备包括电子设备102‑107和附加设备，诸如电器121和光源123(例如，灯、落地灯、天花板灯、或任何其他照明设备)、和/或IoT设备122(例如，无线相机、路由器和/或无线接入点、无线接入设备、智能恒温器、智能灯泡、家庭安全设备(例如，运动传感器、门/窗传感器等)、智能插座、智能开关等、或包括和/或通信地耦合到(例如)一个或多个有线或无线接口(诸如WLAN无线电、蜂窝无线电、蓝牙无线电、Zigbee无线电、近场通信(NFC)无线电、和/或其他无线电)的任何其他合适的设备、电器、机器、或对象)。在图1的示例中，电子设备102‑107中的一个或多个电子设备(诸如电子设备106和/或电子设备107)可被配置为手势控制设备，其能够识别用于控制一个或多个其他设备(诸如电子设备102、电子设备103、电子设备104、电子设备105、电器121、光源123和/或IoT设备122中的一个或多个)的手势。

[0033] 在一个或多个具体实施中，服务器114可以被配置为执行与用户账户相关联的操作，诸如：关于用户账户存储数据(例如，用户设置/偏好，诸如文档和/或照片的文件等)、关于用户账户与其他用户共享和/或发送数据、关于用户账户备份设备数据、和/或将设备和/或设备组与用户账户相关联。

[0034] 服务器中的一个或多个诸如服务器114可以是和/或可以包括下文结合图2A和图2B所论述的设备和/或下文结合图15所论述的电子系统的全部或部分。出于解释的目的，本文中示出并讨论了单个服务器114。然而，可以提供一个或多个服务器，并且每个不同的操作可以由相同或不同的服务器来执行。

[0035] 图2A示出了根据一个或多个具体实施的可实现用于其他系统的手势控制的示例性设备。例如，图2A的设备200可对应于图1的电子设备106或电子设备107。然而，并非所有所描绘的部件均可在所有具体实施中使用，并且一个或多个具体实施可包括与图中所示的那些相比附加的或不同的部件。可进行这些部件的布置和类型的变化，而不脱离本文所列出的权利要求的实质或范围。可提供附加的部件、不同的部件或更少的部件。

[0036] 设备200可以包括处理器202、存储器204、通信接口206、输入设备207、输出设备210和一个或多个传感器212。处理器202可包括能够处理数据和/或控制设备200的操作的适当逻辑部件、电路和/或代码。就这一点而言，处理器202可被使能以向设备200的各个其他部件提供控制信号。处理器202还可控制设备200的各部分之间的数据传输。另外，处理器
202可使得能够实现操作系统或以其他方式执行代码以管理设备200的操作。

[0037] 存储器204可包括使得能够存储各种类型信息的适当逻辑部件、电路和/或代码，诸如所接收的数据、生成的数据、代码和/或配置信息。存储器204可以包括例如随机存取存储器(RAM)、只读存储器(ROM)、闪存和/或磁性存储装置。

[0038] 在一个或多个具体实施中，存储器204可使用存储器204本地存储的数据来存储一个或多个手势识别模型、与一个或多个其他设备相对应的一个或多个手势集合和/或与一个或多个其他设备相关联的其他信息(例如，位置、标识符、位置信息等)。另外，输入设备207可以包括用于捕获输入的合适的逻辑部件、电路和/或代码，该输入诸如音频输入、远程控制输入，触摸屏输入、键盘输入等。输出设备210可以包括用于提供输出的合适的逻辑部件、电路和/或代码，该输出诸如音频输出、显示输出、光输出和/或触感输出和/或其他触觉输出(例如，振动、点击等)。

[0039] 传感器212可以包括一个或多个超宽带(UWB)传感器、一个或多个惯性测量单元(IMU)传感器(例如，一个或多个加速计、一个或多个陀螺仪、一个或多个罗盘和/或磁力计等)、一个或多个图像传感器(例如，与计算机视觉引擎耦合和/或包括计算机视觉引擎)、一个或多个肌电图(EMG)传感器、光学传感器、光传感器、图像传感器、压力传感器、应变计、激光雷达传感器、接近传感器、超声传感器、射频(RF)传感器、铂光强度传感器和/或用于感测设备200周围的环境的各方面(例如，包括对象、设备和/或该环境中的用户移动和/或手势)的其他传感器。

[0040] 通信接口206可以包括合适的逻辑部件、电路和/或代码，其使得能够诸如在电子设备102‑107和/或服务器114中任意者之间通过网络110进行有线或无线通信(例如，结合LAN 108)。通信接口206可以包括例如蓝牙通信接口、蜂窝接口、NFC接口、Zigbee通信接口、WLAN通信接口、USB通信接口中的一种或多种，或一般地，任何通信接口。

[0041] 在一个或多个具体实施中，处理器202、存储器204、通信接口206、输入设备207和/或它们的一个或多个部分中的一者或多者可在软件(例如，子例程和代码)中实现，可在硬件(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑设备(PLD)、控制器、状态机、门控逻辑部件、分立硬件部件或任何其他合适的设备)中实现，和/或在软件和硬件两者的组合中实现。

[0042] 图2B示出了根据一个或多个具体实施的可由设备200的存储器204存储的信息。例如，设备200可以存储设备信息250、控制集合260和/或一个或多个手势检测模型208。如图所示，对于除设备200之外的一个或多个设备中的每个设备，设备信息250可以包括设备标识符252(例如，设备1ID、设备2ID等，每一个均对应于已注册或登记到设备200以供设备200控制的设备)、设备位置254(例如，设备1位置、设备2位置等，对应于分别由设备1ID、设备2ID等所标识的设备的登记和/或存储位置)以及集合标识符256(例如，集合A ID、集合B ID等，每一个均标识用于控制分别由设备1ID、设备2ID等所标识的设备的一组手势控制元件)。

[0043] 如图2B中所指示的，与每个设备标识符252组合存储的集合标识符256可标识控制集合260内的手势控制元件的对应集合262。在图2B的示例中，集合标识符“集合A ID”可以标识手势控制元件264的集合“A”，并且集合标识符“集合B ID”可以标识手势控制元件264的集合“B”。如图2B中所指示的，取决于设备(例如，取决于设备的类型)，手势控制元件264的集合262可以包括一个手势控制元件、两个手势控制元件或两个以上手势控制元件(例如，三个手势控制元件、四个手势控制元件或四个以上手势控制元件)。

[0044] 例如，对于由设备标识符252标识的灯开关，对应的集合标识符256可以标识具有单个手势控制元件264(例如，通/断开关或调光器控制)的集合262。作为另一示例，对于由设备标识符252标识的智能扬声器，对应集合标识符256可以标识具有若干手势控制元件264(例如，播放按钮、停止按钮、暂停按钮、音量控制旋钮或拨号盘及/或一个或多个其他控制元件，例如，音频调谐元件等)的集合262。在图3的示例中，由“设备1ID”所标识的设备的“集合A ID”所标识的集合“A”包括两个手势控制元件264(例如，元件1和元件2)，并且由“设备2ID”所标识的设备的“集合B ID”所标识的集合“B”包括一个手势控制元件264(例如，元件3)。

[0045] 如图2B所示，每个手势控制元件264可以与相应的手势266来组合存储，当被设备200检测到时，该手势操作相应的手势控制元件264。在图2B的示例中，对应于集合“A”(例如，由“设备1ID”所标识的设备的集合标识符“集合A ID”所标识)的手势控件集合262包括与第一手势266(手势Q)组合存储的第一手势控制元件264(元件1)以及与第二手势266(手势R)组合存储的第二手势控制元件264(元件2)。例如，集合A的元件1可以是按钮，并且用于操作该按钮的手势Q可以是手指推动手势(例如，该手势为用户通过相对于用户的手移动手指，以及/或者通过在手腕处弯曲而相对于用户的手臂移动用户的手来延伸手指并且以上下运动移动手指)。作为另一示例，集合A的元件2可以是旋钮，并且用于操作该旋钮的手势R可以是捏合和旋转手势(例如，该手势为用户将拇指和手指放在一起捏合，并且通过在手腕处旋转用户的手和/或旋转用户的手臂来旋转被捏合的手指和拇指)。作为另一示例，集合A的元件3可以是旋钮，并且用于操作该旋钮的手势R可以是捏合和旋转手势(例如，该手势为用户将拇指和手指放在一起捏合，并且通过在手腕处旋转用户的手和/或旋转用户的手臂来旋转被捏合的手指和拇指)。

[0046] 在一个或多个具体实施中，由相同手势(例如，按钮推动手势、手指捏合手势、手指捏合和旋转手势等)控制的相同类型的手势控制元件264(例如，旋钮、按钮、开关等)可以对不同的设备起不同的效果。例如，在设备1ID标识机顶盒(例如，电子设备104)并且设备2ID标识智能洗碗机(例如，电器121的具体实施)的用例中，元件2可以表示用于媒体回放的播放按钮，并且元件3可以表示用于洗涤循环的循环选择按钮。在该用例中，取决于在设备200处选择了机顶盒或洗衣机中的哪一个来进行手势控制(例如，并且还取决于在设备200处已经选择了所选设备的若干手势控制元件264中的哪一个)，若检测到按钮推动手势(例如，手势R)，设备200在机顶盒处开始媒体回放或者在洗衣机处选择特定洗涤循环。

[0047] 以此方式，设备200可存储机器学习模型208，该机器学习模型被训练以检测可用于控制各种设备的各种功能的用户手势的有限集合(例如，两个手势、三个手势、四个手势、五个手势、十个手势、少于十个手势、少于二十个手势等)。例如，在一个多个具体实施中，可使用通过训练做出有限手势集合中的每个手势的用户而产生的训练EMG信号模式来训练机器学习模型208，以在用户在佩戴实现EMG传感器的设备的同时做出相同手势时检测有限手势集合中的每个手势。

[0048] 在一个或多个具体实施中，机器学习模型208中的一个或多个机器学习模型可以接收来自传感器212中的一个或多个传感器的输出作为输入。可能已经基于来自与传感器212相对应的各种传感器的输出而训练了机器学习模型208，以便检测和/或预测用户手势。
当设备200使用传感器212和机器学习模型208检测到用户手势时，设备200可执行特定动作(例如，产生对应于所选设备和/或用于所选设备的所选手势控制元件的控制信号，以及将该控制信号发送给所选设备)。在一个或多个具体实施中，可基于来自设备200处的传感器
212的本地传感器数据和/或基于一般用户群来训练机器学习模型208。以此方式，在一个或多个具体实施中，即使没有单独用户的任何特定特征的先验知识，也可跨多个不同用户重复使用机器学习模型208。在一个或多个具体实施中，随后可针对设备(诸如设备200)的特定用户来调谐或定制一般用户群上训练的模型。

[0049] 在一个或多个具体实施中，设备200可在各种位置处包括各种传感器以用于确定与一个或多个设备的接近度以用于手势控制、用于确定设备的相对或绝对位置以用于手势控制和/或用于检测用户手势(例如，通过将传感器数据从传感器提供到机器学习模型208)。图3示出了可用于多个其他设备的手势控制的一个示例性布置中以图7的电子设备
107的形式实现设备200的示例。

[0050] 在图3的示例中，电子设备107已经以智能手表的形式实现。在此具体实施中，电子设备107可为执行计算功能(例如，蜂窝式电话通信、WiFi通信、数字显示功能、健身跟踪功能或其他计算功能)的独立设备，和/或可与无线配对或以其他方式无线耦合到该电子设备的一个或多个外部设备或部件(例如，智能电话、游戏系统或其他计算系统)协作。例如，佩戴该设备的手(在所连接的手腕上)所执行的手势可被用作输入命令，该输入命令用于控制电子设备107本身和/或用于操作一个或多个其他设备(诸如图1中的电子设备102‑106、电器121、光源123、和/或IoT设备122中的任何或全部)。

[0051] 如图3所示，电子设备107可以包括外壳302和附接到外壳302的带304。在图3的示例中，外壳302形成具有由显示器402形成的外表面305的表壳。在此示例中，电路306(例如，图2A和图2B中的设备200的处理器202、存储器204、传感器212、通信接口206和/或其他电路)设置于外壳302内。

[0052] 外壳302和带304可以在接口308处附接在一起。在各种具体实施中，接口308可以是纯机械接口或者可以包括带304内的电路与外壳302内的电路306之间的电连接器接口。诸如电路306的处理器202的处理电路可以通信地耦合到安装在外壳302中的一个或多个传感器212和/或(例如，经由接口308)安装在带304中的一个或多个传感器212。

[0053] 在图3的示例中，电子设备107的外壳302包括侧壁310，当电子设备107被佩戴时该侧壁面向用户的手。在一个或多个具体实施中，带304还可以包括侧壁312。外壳302还包括腕部接口表面303(在图3中指示但不可见)和相对的外表面305(例如，由显示器402形成)。侧壁310在腕部接口表面303与外表面305之间延伸。在该示例中，带304包括腕部接口表面
307和相对的外表面309，并且侧壁312在腕部接口表面307和外表面309之间延伸。

[0054] 在一个或多个具体实施中，传感器212中的一个或多个传感器可以被安装在外壳302的侧壁310上或安装到该侧壁。在图3的示例中，超宽带(UWB)传感器314以如下布置被设置在侧壁310上，在该布置中，当被操作时，当电子设备107被佩戴在用户的手腕上时，UWB传感器发送基本上平行于用户的前臂的UWB信号，并且接收反射的或以其他方式返回的UWB信号。以此方式，UWB传感器314可用于基于反射或以其他方式返回的UWB信号来确定用户的前臂(例如，并且因此为电子设备107)何时指向或以其他方式瞄准特定设备以选择该设备进行手势控制。在图3的示例中，电子设备107还包括安装在侧壁中或安装到侧壁的相机315。
在图3的示例中，电子设备107还包括在带304的侧壁312中的UWB传感器314。然而，这仅是例示性的。在各种具体实施中，UWB传感器314可被设置在侧壁310上，而在侧壁312上没有任何相机，和/或在带304中没有任何相机或UWB传感器。

[0055] 尽管本文描述了使用UWB传感器来确定设备正指向的方向和/或该设备所瞄准或指向的另一设备的各种示例(包括图3的示例)，但是应当理解，可以使用其他传感器和/或感测技术来确定设备的指向和/或识别该设备所瞄准或指向的另一设备。作为示例，其他传感器和/或感测技术可以包括从图像传感器和/或BLE传感器接收设备环境的图像的计算机视觉引擎。

[0056] 虽然在图3中不可见，但是一个或多个附加传感器212也可以设置在外壳302的腕部接口表面303上，并且与电路306通信地耦合。可设置在腕部接口表面303上的附加传感器212可以包括光电容积描记(PPG)传感器，该PPG传感器被配置为检测用户组织的微血管床的血容量变化(例如，其中用户将电子设备107佩戴在他/她的身上，诸如他/她的手腕上)。
该PPG传感器可以包括一个或多个发光二极管(LED)和光电二极管/光电探测器(PD)，该一个或多个LED发射光，并且该PD检测反射光(例如，从手腕组织反射的光)。附加地或替代地，可设置在腕部接口表面303上的附加传感器212可对应于以下中的一者或多者：心电图(ECG)传感器、肌电图(EMG)传感器、肌动图(MMG)传感器、皮电反应(GSR)传感器和/或其他被配置为测量生物信号的合适传感器。在一个或多个具体实施中，附加地或替代地，电子设备107可以包括非生物信号传感器，例如，用于检测设备运动、声音、光、风和/或其他环境条件的一个或多个传感器。例如，非生物信号传感器可以包括以下中的一者或多者：用于检测设备加速度的加速计、用于检测声音的音频传感器(例如，麦克风)、用于检测光的光学传感器和/或其他被配置为输出指示设备状态和/或环境条件的信号的合适传感器，并且该非生物信号传感器可被包括在电路306中。

[0057] 应当理解，虽然本文结合各种示例描述了智能手表中的设备200的示例性具体实施，但这些示例仅为说明性的，并且设备200可以其他形状因数和/或设备类型实现，例如，在智能电话、平板设备、膝上型计算机、另一可穿戴电子设备或包括(例如，用于选择用于手势控制的另一设备的UWB传感器或其他传感器和/或用于检测手势的一个或多个传感器、相机等)的任何其他合适电子设备中。

[0058] 一般而言，用于检测手势的传感器可以是响应于用户的手、手腕、手臂和/或用户身体的任何其他合适部位的物理移动和/或定位而生成输入信号(例如，到机器学习模型208)的任何传感器。例如，为了生成输入信号，传感器可在用户的手、手腕和/或手臂的物理运动期间检测用户的手、手腕和/或手臂的外部和/或内部结构的运动和/或定位。例如，从用户的皮肤反射或由用户的皮肤产生的光可以由一个或多个相机或其他光学或红外传感器检测。

[0059] 作为另一示例，可检测(例如，通过肌电图传感器)由佩戴者的肌肉、腱或骨产生的电信号。作为另一示例，由电子设备产生且从用户的肌肉、腱或骨反射的超声波信号可由超声波传感器检测。一般而言，EMG传感器、超声波传感器、相机、IMU传感器(例如，加速计、陀螺仪和/或磁力计)和/或其他传感器可生成信号，该信号可被提供给机器学习模型208以标识佩戴者的手、手腕、手臂、和/或用户身体的其他部位的位置或运动并由此检测用户手势。

[0060] 图4示出了电子设备107在多个其他设备的预定范围内的示例性用例。在图4的示例中，多个其他设备包括电子设备105(例如，机顶盒)、电子设备103(例如，智能扬声器)、灯400(例如，图1中的电器121或光源123的具体实施)和灯401(例如，图1中的电器121或光源
123的具体实施)。在一个或多个具体实施中，电子设备105、电子设备103、灯400和灯401中的每一者可先前已与电子设备107配对或以其他方式注册到电子设备107以用于手势控制。
在一个或多个具体实施中，电子设备105、电子设备103、灯400和灯401中的一者或多者或全部可以包括被配置成与电子设备107的UWB电路通信的UWB电路。在一个或多个具体实施中，电子设备107可先前已存储了(例如，基于先前配对及/或注册操作)电子设备105、电子设备
103、灯400和灯401(例如，和/或一个或多个附加设备)中的每个设备的位置、手势控制集合(例如，每一集合包括一个或多个手势控制元件)、连接信息和/或其他信息。

[0061] 在图4的示例中，电子设备107已经确定电子设备107在电子设备105、电子设备103、灯400和灯401的预定范围内。作为示例，电子设备107可通过确定电子设备107相对于电子设备105、电子设备103、灯400和灯401的位置的预存储和/或预注册地图的位置和/或通过在电子设备105、电子设备103、灯400和灯401在预定范围内时接收或交换与电子设备
105、电子设备103、灯400和灯401的无线通信，诸如直接WiFi(例如，直接在设备的WiFi天线之间交换WiFi协议数据，而无中继WiFi协议数据的介入设备或系统)、蓝牙、超宽带(UWB)或其他无线通信)来确定设备107在电子设备105、电子设备103、灯400和灯401的预定范围内。
例如，预定范围可对应于特定传感器(例如，UWB传感器或BLE天线)的范围，或对应于特定通信协议的范围(例如，直接WiFi范围、蓝牙范围、UWB范围等)。

[0062] 在图4的示例中，电子设备107的显示器402的放大视图410示出了一示例，其中(例如，响应于电子设备107确定电子设备107的用户已做出指向手势，且电子设备107同时指向电子设备105、电子设备103、灯400和灯401的大致方向且在电子设备105、电子设备103、灯400和灯401的预定范围内)电子设备107提供根据电子设备105、电子设备103、灯400和灯
401的对应位置布置的设备图标以供显示。在图4的示例中，电子设备107的用户已经将他们的手臂以及因此为电子设备107(例如，以及电子设备107的UWB传感器)瞄准电子设备103，例如，通过沿着朝向电子设备103延伸的线对准他们的手臂。在此示例中，因为电子设备107(例如，电子设备107的UWB传感器)指向电子设备103，所以显示器402正在显示器402上的中心位置处显示对应于电子设备103的设备图标412，并且在设备图标412的任一侧显示设备图标412和416(分别对应于电子设备105和灯401)(例如，根据电子设备105和灯401大体在电子设备103的任一侧的物理布置显示)。设备图标412、414和416的布置可基于电子设备
105、电子设备103和灯401的先前确定(例如，以及存储)的物理布置或基于电子设备105、电子设备103和灯401的物理布置的实时确定(例如，使用UWB和/或其他传感器和/或信号来确定设备相对于电子设备107的实时位置)来确定。

[0063] 在一个或多个具体实施中，当电子设备107在包括电子设备105、电子设备103、灯400和灯401的环境中被移动和/或重新定向时，设备图标(例如，设备图标412、414和416)的布置可被相应地修改。例如，在图5的示例中，用户417已重新定向电子设备107以将电子设备107(例如，通过移动他们的手臂以瞄准灯400并且因此重新定向电子设备107，其还可对应地改变电子设备107的UWB传感器所指向的方向)远离电子设备103并指向灯400。在图5的示例中，电子设备107的显示器402的放大视图410展示了可如何根据电子设备107的重新定向来重新布置显示器402上的设备图标。在该示例中，设备图标已经相对于图4中所示的设备图标的布置被旋转，使得对应于灯400的设备图标500被显示在显示器402上的中心位置处，并且设备图标412和414(分别对应于电子设备105和电子设备103)被显示在设备图标
500的右侧(例如，根据电子设备的物理环境中的灯400、电子设备105和电子设备103的物理布置显示)。在此示例中，对应于灯401的设备图标416已被旋转离开显示器402的可视显示区域(例如，并且该设备图标可通过在灯401的方向上向后移动或重新定向电子设备107而被旋转回到可视显示区域上)。可基于来自电子设备的UWB传感器的UWB信号、基于来自电子设备的一个或多个IMU传感器(例如，加速计、陀螺仪和/或磁力计)的IMU信号和/或来自其他传感器(例如，电子设备107的BLE天线和/或图像传感器)的其他信号来确定电子设备107的重新定向。

[0064] 在图4和图5的示例中，电子设备107显示在电子设备107的预定范围内的各种其他设备的设备图标。然而，还应理解，在其他示例中，电子设备107可显示不在电子设备107的预定范围内的一个或多个其他设备的设备图标以供选择用于手势控制(例如，设备图标500、412、414和/或416可在电子设备107远离灯500、电子设备105、电子设备103和/或灯401时显示在显示器402上，使得电子设备107可从远程位置选择和/或控制灯500、电子设备
105、电子设备103和/或灯401，如同电子设备107在灯500、电子设备105、电子设备103和/或灯401的预定范围内)，并且/或者电子设备107可促进另一设备的选择(例如，从多个其他设备中选择)用于手势控制，而不显示对应于其他设备的设备图标(例如，电子设备107可在电子设备107的UWB传感器指向或瞄准特定其他设备时提供指示，如点亮显示器、输出声音或触感设备等，而不在电子设备107的显示器上显示设备图标)。

[0065] 如图6中所示，电子设备107可接收对电子设备105、电子设备103、灯400和灯401中的一者的选择以用于手势控制，或可以其他方式识别或确定电子设备105、电子设备103、灯400和灯401中的一者以用于手势控制。在图6的示例中，电子设备107已经接收到对灯400的选择。在该示例中，为了指示对灯400的选择，对应于灯400的设备图标500在显示器402上被放大，并且利用指示器600高亮显示灯400的设备图标500。例如，当来自电子设备107的UWB传感器的数据指示电子设备107指向灯400时，可以显示对灯400的选择的指示器600。例如，可通过使用来自UWB传感器(或BLE传感器和/或成像传感器)的数据确定电子设备指向灯
400(如图6的示例)来接收对用于手势控制的灯400的选择。在一个或多个具体实施中，可通过以下方式选择灯400：保持电子设备107指向对应于灯400的位置达预定时间周期(例如，足以在电子设备107的UWB或其他传感器与灯400的UWB或其他传感器之间交换UWB或其他通信的时间周期，例如，包括响应于来自电子设备107的UWB信号或其他信号的检测而从灯400发送到电子设备107的设备标识符的UWB或其他通信)，以及/或者基于在电子设备107指向对应于灯400的位置时用户执行手势689。

[0066] 在一个或多个具体实施中，电子设备107可以基于对灯400的选择来获得用于灯400的一个或多个手势控制元件264。例如，图7示出了手势控制元件264是由显示在显示器
402上的手势控制图标700表示的滑块702的用例。在图7的示例中，用于灯400的手势控制元件264可以是单个手势控制元件(例如，对应于图2B中的控制集合260的集合B的元件1)。以滑块702的形式提供手势控制图标700可以有助于通知电子设备102的用户要执行什么手势来控制灯401(例如，通过为模拟物理环境中的灯401提供的或用于该灯的物理控制元件，该元件的操作可以是用户所熟悉的)。

[0067] 在图7的示例中，电子设备107可接收由电子设备107的用户基于捏合手势789对手势控制图标700的选择。例如，可由电子设备107通过从电子设备107的传感器(例如，图像传感器、EMG传感器等)接收传感器数据并且将所接收的传感器数据提供给机器学习模型208来检测捏合手势789，该机器学习模型已被训练以基于来自至少该传感器的输入传感器数据识别预定手势集合。

[0068] 在一个或多个具体实施中，电子设备107然后可以通过将用户的一个或多个附加的识别手势应用于与所选择的手势控制图标700相对应的手势控制元件264来控制灯400。例如，电子设备107可通过从电子设备107的传感器(例如，图像传感器、EMG传感器等)接收附加传感器数据并且将额外接收到的传感器数据提供给机器学习模型208来检测与在保持捏合手势789的同时在手腕处枢转手而对应于手的升高或降低的用户手势。在一个或多个具体实施中，用户的手在保持捏合手势789同时的连续向上/向下的手势运动可被应用于连续地升高或降低滑块702，并且相应地连续地生成和发送控制信号以使灯400增加或降低灯
400的亮度。在一个或多个具体实施中，手势控制图标700是可由电子设备107提供的连续控制元件的示例。

[0069] 图8示出了电子设备107已接收对电子设备103(例如，智能扬声器)的选择的另一示例。例如，用户在佩戴电子设备107时可能已经移动他们的手臂以使手臂(例如，并且因此使电子设备107及其UWB传感器)远离灯400而朝向电子设备103瞄准。在该示例中，为了指示对电子设备103的选择，灯400的手势控制图标700已经从显示器402移除，对应于电子设备103的设备图标414在显示器402上被显示和放大，并且使用指示器600高亮显示电子设备
103的设备图标414。例如，电子设备107的用户可能已释放捏合手势789以取消选择或释放手势控制图标700，并且移动电子设备107以指向(例如，利用电子设备的UWB传感器)电子设备103。

[0070] 例如，当来自电子设备107的UWB或其他传感器的数据指示电子设备107指向电子设备103时，可显示对电子设备103的选择的指示器600。例如，可通过使用来自UWB或其他(例如，BLE或成像)传感器的数据确定电子设备指向电子设备103(如图8的示例)来接收对用于手势控制的电子设备103的选择。在一个或多个具体实施中，可通过以下方式来选择电子设备103：保持电子设备107指向对应于电子设备103的位置达预定时间周期(例如，足以在电子设备107与电子设备103之间交换UWB或其它通信的时间周期，例如，包括响应于检测到来自电子设备107的UWB信号或其他信号而从电子设备103发送到电子设备107的设备标识符和/或电子设备103的一个或多个能力的UWB或其他通信，以及/或者基于在电子设备107指向对应于电子设备103的位置时用户执行手势889(例如，用户的手和/或手指指向电子设备103的手势)。

[0071] 在一个或多个具体实施中，电子设备107可以基于对电子设备103的选择(例如，和/或基于电子设备103的一个或多个接收到的和/或先前存储的能力)来获得用于电子设备103的一个或多个手势控制元件264。例如，图9示出了电子设备107存储了用于电子设备103的手势控制集合的多个手势控制元件264的用例。在图9的示例中，电子设备103的手势控制元件264包括播放/暂停按钮、音量控制旋钮、快进按钮和倒退按钮，其分别由电子设备
103的手势控制图标集合900中的手势控制图标902、手势控制图标904、手势控制图标906和手势控制图标908表示。

[0072] 在一个或多个具体实施中，电子设备107可以接收对如图10所示的手势控制图标902、904、906和908中的一个手势控制图标的选择。对手势控制图标902、904、906和908中的一个手势控制图标的选择可基于对电子设备107自身的旋转的IMU检测和/或基于电子设备
107的用户的手势1002。例如，手势1002可以是用户的手腕或手臂的旋转或者电子设备107自身的移动，或者用于在所显示的手势控制图标之间移动指示器1000的另一手势。在图10的示例中，手势1002被电子设备1102检测为用于选择与播放/暂停按钮相对应的手势控制图标902的手势。

[0073] 如图11所指示，一旦已经选择了手势控制图标902(例如，如指示器1000所指示)，电子设备107就可以检测用于与所选择的手势控制图标902交互的手势1102。在该示例中，手势1102可以是手指移动手势，该手指移动手势可以被电子设备107检测为用于按压由手势控制图标902表示的播放暂停按钮的按钮推动手势。在此示例中，将手势控制图标902表示为按钮可有助于通知用户可使用按钮推动手势来控制智能扬声器103，并且因此从用户处引出期望的控制手势(例如，不必以文字和/或文本向用户提供关于如何使用电子设备104来操作智能扬声器103的解释)。可通过从电子设备107的传感器(例如，图像传感器、EMG传感器等)接收传感器数据并且将所接收的传感器数据提供给机器学习模型208来识别手势1102，该机器学习模型被训练以基于来自至少该传感器的输入传感器数据识别包括按钮推动手势的预定手势集合。

[0074] 例如，响应于在手势控制图标902和电子设备103被选择时检测到手势1002，电子设备103可以生成并向电子设备103发送控制信号以开始播放音频内容或暂停正在进行的音频内容的播放。响应于该控制信号，电子设备103可以开始播放音频内容或暂停正在进行的音频内容的播放。在一个或多个具体实施中，电子设备107和电子设备103可使用经由UWB通信交换的设备标识符信息来建立蓝牙连接以检测对用于手势控制的电子设备103的选择。在一个或多个具体实施中，电子设备107和电子设备103可响应于在电子设备107处检测到的手势而建立用于交换用于操作电子设备103的控制信号的传输层。

[0075] 在一个或多个具体实施中，电子设备107可基于该电子设备的移动(例如，如使用诸如加速计、陀螺仪和/或磁力计的IMU传感器检测到)和/或基于如图12中所示的电子设备107的用户的手势1202来接收对手势控制图标902、904、906和908中的另一个手势控制图标的选择。例如，手势1202可以是用户的手腕或手臂的旋转或者电子设备107自身的移动，或者用于在所显示的手势控制图标之间移动指示器1000的另一手势。在图12的示例中，手势
1202被电子设备107检测为用于选择与音量控制旋钮相对应的手势控制图标904的手势。在此示例中，由显示器402呈现的各种手势控制图标各自以从用户处引出特定控制手势以操作对应手势控制元件(例如，通过针对对应设备的对应特征模拟对应物理控制元件)的形式呈现。

[0076] 如图13所指示，一旦手势控制图标904已被选择(例如，如指示器1000所指示)，电子设备107就可以检测另一手势1302以与手势控制图标902交互。在此示例中，手势1302可为用户的手或手腕的旋转(例如，在一个方向或另一方向上)与捏合手势的组合，其可被电子设备107检测为用于(例如，顺时针或逆时针)旋转由手势控制图标904表示的音量控制旋钮的旋钮旋转手势。

[0077] 例如，响应于在手势控制图标904和电子设备103被选择时检测到手势1302，电子设备103可产生控制信号且将控制信号发送到电子设备103以降低(例如，如图13中)或提高电子设备103输出的音频内容的音量。响应于该控制信号，电子设备103可相应地降低或提高音频内容的音量。在一个或多个具体实施中，手势控制图标904是可由电子设备107提供的连续控制元件的示例。

[0078] 图14示出了根据一个或多个具体实施的用于多设备手势控制的示例性过程1400的流程图。出于解释的目的，本文主要参考图1的电子设备107来描述过程1400。然而，过程1400不限于图1的电子设备107，并且过程1400的一个或多个框(或操作)可由一个或多个其他部件和/或其他合适的设备来执行。进一步出于解释的目的，过程1400的框在本文中被描述为顺序地或线性地发生。然而，过程1400的多个框可并行地发生。此外，过程1400的框不必按所示顺序执行，和/或过程1400的一个或多个框不必执行和/或可由其他操作替代。

[0079] 在图14的示例中，在框1402处，电子设备(例如，诸如电子设备107之类的设备200)存储用于多个设备(例如，电器121、光源123、IoT设备122、电子设备102‑106中的任一个电子设备、灯400、灯401和/或可从另一电子设备接收无线控制信号的其他设备)中的每个设备的一个或多个手势控制元件(例如，手势控制元件264)，该电子设备在该多个设备的预定范围(例如，可在该电子设备与该多个设备之间交换UWB信号、蓝牙信号和/或直接WiFi信号的范围)内。在框1402处，该电子设备还可确定已从用户接收到指向手势。在框1402处，该电子设备还可确定该电子设备大体上指向该多个设备的方向，同时在该多个设备的该预定范围内。

[0080] 在一个或多个具体实施中，响应于该电子设备确定该电子设备在该多个设备的该预定范围内，该电子设备可提供用于显示的一个或多个设备图标，该一个或多个设备图标被布置用于根据该多个设备的对应位置进行显示(例如，如上文结合图4和图5所描述的)。在一个或多个具体实施中，该电子设备可在显示该一个或多个设备图标之前接收用于激活手势输入模式的用户输入。例如，该电子设备的用户可通过在该电子设备(例如，同时)大体上指向该多个设备的方向且在该多个设备的该预定范围内的同时用该电子设备进行指向手势来激活手势输入模式。

[0081] 在框1404处，电子设备107可基于来自该电子设备的至少第一传感器(例如，UWB传感器、图像传感器、BLE天线等)的位置数据接收对该多个设备中用于手势控制的一个设备的选择(例如，如上文结合图6和图8所描述的)。例如，该第一传感器可为如本文中所描述的UWB传感器或另一传感器，且接收对该多个设备中用于手势控制的该一个设备的选择可以包括使用来自该第一传感器的数据确定该电子设备指向该多个设备中的该一个设备。在一个或多个具体实施中，该多个设备中的一个或多个设备或全部设备可以包括被配置成与电子设备107和/或启用UWB的其他电子设备的UWB传感器进行UWB通信的UWB传感器。在一个或多个具体实施中，当来自该第一传感器的该数据指示该电子设备指向该多个设备中的该一个设备时，该电子设备还可高亮显示该多个设备中的该一个设备的设备图标。

[0082] 在一个或多个具体实施中，在确定该电子设备指向该多个设备中的该一个设备之前(例如，在接收对该多个设备中的该一个设备的选择之前)，并且响应于该电子设备确定(i)该电子设备在该多个设备的该预定范围内，(ii)用户已做出指向手势，以及(iii)该电子设备指向该多个设备的方向：提供用于显示的多个设备图标，该多个设备图标被布置用于根据该多个设备的多个对应位置进行显示。在一个多个具体实施中，该电子设备可通过确定该电子设备大体上正指向该一个或多个设备的一个或多个设备的方向来确定该电子设备指向该多个设备的方向(例如，使用测量数据和/或传感器，其比用于确定该电子设备正指向若干设备中的哪一个设备以供设备选择的传感器和/或数据更加粗粒度)。在一个或多个具体实施中，该电子设备可通过检测用户的手臂的举起或在不旋转设备显示器以面向用户的眼睛(作为示例)的情况下用户的手臂的举起来确定用户已做出指向手势。

[0083] 虽然本文描述了使用检测用于手势控制的设备的控制设备的传感器(诸如UWB传感器、BLE传感器、图像传感器等)来执行对用于手势控制的设备的选择的各种示例，但是也构想了其他具体实施，其中(例如，在不存在可准确地确定哪个设备正被指向的可用传感器或传感器数据的情况下)，对用于手势控制的设备的选择可通过点击控制设备的触摸屏上的表示该设备的图标来执行，或者通过使用控制设备上的滚轮(例如，由腕戴设备的冠部控制的滚轮)来在用于手势控制的设备之间进行选择。

[0084] 在框1406处，该电子设备可基于该选择获得用于该多个设备中的该一个设备的该一个或多个手势控制元件。在一个或多个具体实施中，用于该多个设备中的该一个设备的该一个或多个手势控制元件可以包括用于该多个设备中的该一个设备的多个手势控制元件(例如，如上文结合图9至图13所描述的)。

[0085] 在框1408处，该电子设备可分别提供用于该多个设备中的该一个设备的该一个或多个手势控制元件的一个或多个手势控制图标(例如，诸如图7和/或图9的手势控制图标700、902、904、906和908等的手势控制图标)以供显示。

[0086] 在框1410处，该电子设备接收对与该一个或多个手势控制元件中的一个手势控制元件相对应的该一个或多个手势控制图标中的一个手势控制图标的选择。在一个或多个具体实施中，该电子设备可使用惯性测量单元接收对用于该多个设备中的该一个设备的该多个手势控制元件中的一个手势控制元件的选择。例如，IMU(例如，加速计、陀螺仪和/或磁力计)可感测到用户旋转该电子设备以在由该电子设备的显示器显示的多个手势控制图标之间移动指示器。作为另一示例，一个或多个图像传感器、EMG传感器或其他传感器可检测用以在由该电子设备的显示器显示的多个手势控制图标之间移动指示器的用户手势。

[0087] 在框1412处，该电子设备可从该电子设备的至少第二传感器(例如，IMU传感器、EMG传感器、相机或图像传感器等)接收传感器数据。例如，从该电子设备的至少该第二传感器接收该传感器数据可以包括：当该多个设备中的该一个设备被选择用于控制时并且当该一个或多个手势控制图标中的该一个手势控制图标被选择时，从该电子设备的至少该第二传感器接收该传感器数据。在一个或多个具体实施中，该至少第二传感器可以包括肌电图传感器。在一个或多个具体实施中，该至少第二传感器还可以包括惯性测量单元(IMU)，包括(例如)加速计、陀螺仪及/或磁力计中的一者或多者。

[0088] 在框1414处，该电子设备可通过将所接收的传感器数据提供给机器学习模型(例如，机器学习模型208中的一个或多个机器学习模型)来识别预定的多个手势中的一个手势，该机器学习模型被训练以基于来自至少该第二传感器的输入传感器数据识别该预定的多个手势中的每个手势。在一个或多个具体实施中，该机器学习模型检测到的相同手势对于不同的选定设备可以有不同的解释。在一个或多个具体实施中，通过将所接收的传感器数据提供给该机器学习模型来识别该多个手势中的该一个手势可以包括：当选择用于该多个设备中的一个设备的该多个手势控制元件中的一个手势控制元件时，将来自该肌电图传感器的肌电图数据提供给该机器学习模型。在一个或多个具体实施中，该一个或多个手势控制元件中对应于该一个或多个手势控制图标中所选择的该一个手势控制图标的该一个手势控制元件包括连续控制元件(例如，旋钮、拨号盘、滑块等)，并且通过将所接收的传感器数据提供给该机器学习模型来识别该多个手势中的该一个手势包括：通过将来自该肌电图传感器的该肌电图数据流提供给该机器学习模型来从该机器学习模型生成连续控制输出。在一个或多个具体实施中，该机器学习模型可能已使用输入训练数据和输出训练数据进行了训练，以当用户在佩戴实现EMG传感器和/或其他传感器的设备时做出相同或相似的手势时检测有限手势集合中的每个手势，其中该输入训练数据包括训练由训练用户做出有限手势集合的每个手势生成的EMG传感器信号图和/或其他传感器信号图，该输出训练数据包括该有限手势集合中的每个手势的标识符。

[0089] 在框1416处，该电子设备可通过将该多个手势中所识别的一个手势应用于该一个或多个手势控制元件中与该一个或多个手势控制图标中所选择的一个手势控制图标相对应的该一个手势控制元件来控制该多个设备中的该一个设备。将该多个手势中所识别的一个手势应用于该一个或多个手势控制元件中与该一个或多个手势控制图标中所选择的一个手势控制图标相对应的该一个手势控制元件可以包括：基于所识别的手势以及所选择的手势控制元件和/或图标来生成控制信号，并且将该控制信号发送到所选择的设备。例如，在一个或多个具体实施中，控制该多个设备中的该一个设备可以包括：该电子设备产生控制信号，该控制信号对应于与该一个或多个手势控制图标中的所选手势控制图标相对应的该一个或多个手势控制元件中的该一个手势控制元件；并且向该多个设备中的该一个设备发送该控制信号。例如，该电子设备可产生控制信号及将该控制信号发送给灯或其他光源，该控制信号致使该灯或其他光源基于所识别的手势增加或降低该灯或其他光源的亮度，如图7的示例。作为另一示例，该电子设备可产生及发送控制信号，该控制信号致使智能扬声器基于所识别的手势开始或暂停音频内容的输出，如图11的示例。作为另一示例，该电子设备可产生控制信号及将该控制信号发送给智能扬声器，该控制信号致使该智能扬声器基于所识别的手势修改该智能扬声器输出的音频内容的音量，如图13的示例。

[0090] 如上所述，本发明技术的一个方面是采集和使用特定和合法来源的数据以用于多设备手势控制。本公开设想，在一些实例中，该所采集的数据可包括唯一地识别或可用于识别具体人员的个人信息数据。此类个人信息数据可以包括人口统计数据、基于位置的数据、在线标识符、电话号码、电子邮件地址、家庭地址、设备标识符、与用户的健康或健身级别相关的数据或记录(例如，生命特征测量、药物信息、锻炼信息、EMG信号)、出生日期或任何其他个人信息。

[0091] 本公开认识到在本发明技术中使用此类个人信息数据可用于使用户受益。例如，个人信息数据可用于多设备手势控制。此外，本公开还预期个人信息数据有益于用户的其他用途。例如，健康和健身数据可根据用户的偏好来使用以提供对其总体健康状况的见解，或者可用作对使用技术来追求健康目标的个体的积极反馈。

[0092] 本公开设想负责收集、分析、公开、传输、存储或其他使用此类个人信息数据的实体将遵守既定的隐私政策和/或隐私实践。具体地，将期望此类实体实现和一贯地应用一般公认为满足或超过维护用户隐私的行业或政府所要求的隐私实践。关于使用个人数据的此类信息应当被突出地并能够被用户方便地访问，并应当随数据的收集和/或使用变化而被更新。用户的个人信息应被收集仅用于合法使用。另外，此类收集/共享应仅发生在接收到用户同意或在适用法律中所规定的其他合法根据之后。另外，此类实体应考虑采取任何必要步骤，保卫和保障对此类个人信息数据的访问，并确保有权访问个人信息数据的其他人遵守其隐私政策和流程。另外，这种实体可使其本身经受第三方评估以证明其遵守广泛接受的隐私政策和实践。此外，应针对被收集和/或访问的特定类型的个人信息数据调整政策和实践，并使其适用于适用法律和标准，包括可用于施加较高标准的辖区专有的具体考虑因素。例如，在美国，对某些健康数据的收集或获取可能受联邦和/或州法律的管辖，诸如健康保险流通和责任法案(HIPAA)；而其他国家的健康数据可能受到其他法规和政策的约束并应相应处理。

[0093] 不管前述情况如何，本公开还预期用户选择性地阻止使用或访问个人信息数据的各方面。即本公开预期可提供硬件元件和/或软件元件，以防止或阻止对此类个人信息数据的访问。例如，在提供多设备手势控制的情况下，本发明技术可被配置为在注册服务期间或随后的任何时间允许用户选择“选择加入”或“选择退出”参与对个人信息数据的收集。除了提供“选择加入”和“选择退出”选项外，本公开还设想提供与访问或使用个人信息相关的通知。例如，可在下载应用时向用户通知其个人信息数据将被访问，然后就在个人信息数据被应用访问之前再次提醒用户。

[0094] 此外，本公开的目的是应管理和处理个人信息数据以最小化无意或未经授权访问或使用的风险。一旦不再需要数据，通过限制数据收集和删除数据可最小化风险。此外，并且当适用时，包括在某些健康相关应用程序中，数据去标识可用于保护用户的隐私。可在适当时通过移除标识符、控制所存储数据的量或特异性(例如，在城市级别而不是在地址级别收集位置数据)、控制数据如何被存储(例如，在用户间汇集数据)和/或其他方法诸如差异化隐私来促进去标识。

[0095] 因此，虽然本公开广泛地覆盖了使用个人信息数据来实现一个或多个各种所公开的实施方案，但本公开还预期各种实施方案也可在无需访问此类个人信息数据的情况下被实现。即，本发明技术的各种实施方案不会由于缺少此类个人信息数据的全部或一部分而无法正常进行。

[0096] 图15示出了可用于实现主题技术的一个或多个具体实施的电子系统1500。电子系统1500可以是图1所示的电子设备102‑107中的一个或多个电子设备和/或服务器114，和/或可以是其一部分。电子系统1500可包括各种类型的计算机可读介质以及用于各种其他类型的计算机可读介质的接口。电子系统1500包括总线1508、一个或多个处理单元1512、系统存储器1504(和/或缓冲器)、ROM 1510、永久性存储设备1502、输入设备接口1514、输出设备接口1506以及一个或多个网络接口1516，或者其子集及变型形式。

[0097] 总线1508总体表示通信地连接电子系统1500的许多内部设备的所有系统、外围设备以及芯片组总线。在一个或多个具体实施中，总线1508将该一个或多个处理单元1512与ROM 1510、系统存储器1504和永久性存储设备1502通信地连接。该一个或多个处理单元1512从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行主题公开的过程。在不同的具体实施中，该一个或多个处理单元1512可以是单个处理器或者多核处理器。

[0098] ROM 1510存储该一个或多个处理单元1512以及电子系统1500的其他模块需要的静态数据和指令。另一方面，永久性存储设备1502可以是读写存储器设备。永久性存储设备1502可以是即使在电子系统1500关闭时也存储指令和数据的非易失性存储器单元。在一个或多个具体实施中，海量存储设备(诸如，磁盘或光盘及其相应盘驱动器)可被用作永久性存储设备1502。

[0099] 在一个或多个具体实施中，可移除存储设备(诸如，软盘、闪存驱动器及其相应盘驱动器)可被用作永久性存储设备1502。与永久性存储设备1502一样，系统存储器1504可以是读写存储器设备。然而，与永久性存储设备1502不同，系统存储器1504可以是易失性读写存储器，诸如随机存取存储器。系统存储器1504可存储一个或多个处理单元1512在运行时可能需要的指令和数据中的任何指令和数据。在一个或多个具体实施中，本主题公开的过程被存储在系统存储器1504、永久性存储设备1502和/或ROM 1510中。该一个或多个处理单元1512从这些各种存储器单元检索要执行的指令和要处理的数据，以便执行一个或多个具体实施的过程。

[0100] 总线1508还连接到输入设备接口1514和输出设备接口1506。输入设备接口1514使得用户能够向电子系统1500传送信息以及选择命令。可与输入设备接口1514一起使用的输入设备可以包括例如麦克风、字母数字混合键盘、触摸屏、触摸板和指向设备(也称为“光标控制设备”)。输出设备接口1506可使得例如能够显示电子系统1500所生成的图像。可与输出设备接口1506一起使用的输出设备可以包括例如扬声器、打印机和显示设备，诸如液晶显示器(LCD)、发光二极管(LED)显示器、有机发光二极管(OLED)显示器、柔性显示器、平板显示器、固态显示器、投影仪、光源、触感部件或用于输出信息的任何其他设备。一个或多个具体实施可包括既充当输入设备又充当输出设备的设备，诸如触摸屏。在这些具体实施中，提供给用户的反馈可以是任何形式的感官反馈，诸如视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。

[0101] 最后，如图15所示，总线1508还通过一个或多个网络接口1516将电子系统1500耦接到一个或多个网络和/或耦接到一个或多个网络节点，诸如图1中所示的服务器114。以此方式，电子系统1500可以是计算机网络(诸如LAN、广域网(“WAN”)或内联网)的一部分，或者可以是网络的网络(诸如互联网)的一部分。电子系统1500的任何或所有部件可与本主题公开一起使用。

[0102] 根据本公开的各方面，提供了一种方法，该方法包括：由存储用于多个设备中的每个设备的一个或多个手势控制元件的电子设备确定所述电子设备在所述多个设备的预定范围内；基于来自所述电子设备的至少第一传感器的数据，接收对所述多个设备中用于手势控制的一个设备的选择；基于所述选择，获得用于所述多个设备中的所述一个设备的所述一个或多个手势控制元件；为用于所述多个设备中的所述一个设备的所述一个或多个手势控制元件分别提供一个或多个手势控制图标以供显示；由所述电子设备接收对与所述一个或多个手势控制元件中的一个手势控制元件相对应的所述一个或多个手势控制图标中的一个手势控制图标的选择；从所述电子设备的至少第二传感器接收传感器数据；通过将所接收的传感器数据提供给机器学习模型来识别预定的多个手势中的一个手势，所述机器学习模型被训练以基于来自至少所述第二传感器的输入传感器数据识别所述预定的多个手势中的每个手势；并且通过将所述预定的多个手势中所识别的一个手势应用于所述一个或多个手势控制元件中与所述一个或多个手势控制图标中所选择的一个手势控制图标相对应的所述一个手势控制元件来控制所述多个设备中的所述一个设备。

[0103] 根据本公开的各方面，提供了一种电子设备，该电子设备包括第一传感器；第二传感器；存储器，所述存储器存储：用于多个设备中的每个设备的一个或多个手势控制元件；和机器学习模型，所述机器学习模型被训练以基于来自至少所述第二传感器的输入传感器数据识别预定的多个手势中的每个手势；和一个或多个处理器，所述一个或多个处理器被配置为：确定所述电子设备在所述多个设备的预定范围内；基于来自所述电子设备的至少所述第一传感器的数据，接收对所述多个设备中用于手势控制的一个设备的选择；基于所述选择，获得用于所述多个设备中的所述一个设备的所述一个或多个手势控制元件；为用于所述多个设备中的所述一个设备的所述一个或多个手势控制元件分别提供一个或多个手势控制图标以供显示；接收对与所述一个或多个手势控制元件中的一个手势控制元件相对应的所述一个或多个手势控制图标中的一个手势控制图标的选择；从至少所述第二传感器接收传感器数据；通过将所接收的传感器数据提供给机器学习模型来识别所述预定的多个手势中的一个手势；并且通过将所述预定的多个手势中所识别的一个手势应用于所述一个或多个手势控制元件中与所述一个或多个手势控制图标中所选择的一个手势控制图标相对应的所述一个手势控制元件来控制所述多个设备中的所述一个设备。

[0104] 根据本公开的各方面，提供了一种存储指令的非暂态机器可读介质，这些指令当由一个或多个处理器执行时致使该一个或多个处理器执行操作，这些操作包括：由存储用于多个设备中的每个设备的一个或多个手势控制元件的电子设备确定所述电子设备在所述多个设备的预定范围内；基于来自所述电子设备的至少第一传感器的数据，接收对所述多个设备中用于手势控制的一个设备的选择；基于所述选择，获得用于所述多个设备中的所述一个设备的所述一个或多个手势控制元件；为用于所述多个设备中的所述一个设备的所述一个或多个手势控制元件分别提供一个或多个手势控制图标以供显示；由所述电子设备接收对与所述一个或多个手势控制元件中的一个手势控制元件相对应的所述一个或多个手势控制图标中的一个手势控制图标的选择；从所述电子设备的至少第二传感器接收传感器数据；通过将所接收的传感器数据提供给机器学习模型来识别预定的多个手势中的一个手势，所述机器学习模型被训练以基于来自至少所述第二传感器的输入传感器数据识别所述预定的多个手势中的每个手势；并且通过将所述多个手势中所识别的一个手势应用于所述一个或多个手势控制元件中与所述一个或多个手势控制图标中所选择的一个手势控制图标相对应的所述一个手势控制元件来控制所述多个设备中的所述一个设备。

[0105] 可以利用编写有一个或多个指令的有形计算机可读存储介质(或一种或多种类型的多个有形计算机可读存储介质)部分地或全部地实现本公开范围之内的具体实施。有形计算机可读存储介质实质上也可以是非暂态的。

[0106] 计算机可读存储介质可以是任何可以由通用或专用计算设备读、写或以其他方式访问的存储介质，包括任何能够执行指令的处理电子器件和/或处理电路。例如，非限制地，计算机可读介质可包括任何易失性半导体存储器，诸如RAM、DRAM、SRAM、T‑RAM、Z‑RAM和TTRAM。计算机可读介质也可包括任何非易失性半导体存储器，诸如ROM、PROM、EPROM、EEPROM、NVRAM、闪存、nvSRAM、FeRAM、FeTRAM、MRAM、PRAM、CBRAM、SONOS、RRAM、NRAM、赛道存储器、FJG和Millipede存储器。

[0107] 此外，计算机可读存储介质可包括任何非半导体存储器，诸如光盘存储装置、磁盘存储装置、磁带、其他磁性存储设备或者能够存储一个或多个指令的任何其他介质。在一个或多个具体实施中，有形计算机可读存储介质可直接耦接到计算设备，而在其他具体实施中，有形计算机可读存储介质可例如经由一个或多个有线连接、一个或多个无线连接、或它们的任意组合而间接地耦接到计算设备。

[0108] 指令可以是直接能执行的，或者可用于开发可执行指令。例如，指令可被实现为可执行的或不可执行的机器代码，或者可被实现为可被编译以产生可执行的或不可执行的机器代码的高级语言指令。此外，指令也可被实现为数据，或者可包括数据。计算机可执行指令也可以任何格式组织，包括例程、子例程、程序、数据结构、对象、模块、应用程序、小程序、函数等。如本领域技术人员认识到的那样，包括但不限于指令的数量、结构、序列和组织的细节可明显不同，而不改变底层的逻辑、功能、处理和输出。

[0109] 虽然以上论述主要涉及执行软件的微处理器或多核处理器，但一个或多个具体实施由一个或多个集成电路诸如ASIC或FPGA执行。在一个或多个具体实施中，此类集成电路执行存储在电路自身上的指令。

[0110] 本领域的技术人员将会认识到，本文所述的各种例示性的框、模块、元件、部件、方法和算法可被实现为电子硬件、计算机软件或两者的组合。为了说明硬件和软件的这种可互换性，上文已经一般性地按照功能性对各种例示性的框、模块、元件、部件、方法和算法进行了描述。此类功能性是被实现为硬件还是软件取决于具体应用程序以及对整个系统施加的设计约束。技术人员对于每个具体应用程序可通过不同方式实现所描述的功能性。各种部件和框可被不同地布置(例如，以不同的顺序排列，或以不同的方式划分)，而不脱离本主题技术的范围。

[0111] 应当理解，本发明所公开的过程中的框的特定顺序或层级结构为示例性方法的例示。基于设计优选要求，应当理解，过程中的框的特定顺序或者层级结构可被重新布置或者所有示出的框都被执行。这些框中的任何框可被同时执行。在一个或多个具体实施中，多任务和并行处理可能是有利的。此外，上述具体实施中各个系统部件的划分不应被理解为在所有具体实施中都要求此类划分，并且应当理解，程序部件和系统可一般性地被一起整合在单个软件产品中或者封装到多个软件产品中。

[0112] 如本说明书以及本专利申请的任何权利要求中所用，术语“基站”、“接收器”、“计算机”、“服务器”、“处理器”及“存储器”均是指电子设备或其他技术设备。这些术语排除人或者人的群组。出于本说明书的目的，术语“显示”或“正在显示”意指在电子设备上显示。

[0113] 如本文所用，在用术语“和”或“或”分开项目中任何项目的一系列项目之后的短语“中的至少一者”是将列表作为整体进行修饰，而不是修饰列表中的每个成员(即每个项目)。短语“中的至少一者”不要求选择所列出的每个项目中的至少一个；相反，该短语允许包括任何一个项目中的至少一个和/或项目的任何组合中的至少一个和/或每个项目中的至少一个的含义。举例来说，短语“A、B和C中的至少一者”或“A、B或C中的至少一者”各自是指仅A、仅B或仅C；A、B和C的任意组合；和/或A、B和C中的每一个中的至少一个。

[0114] 谓词字词“被配置为”、“能够操作以”以及“被编程以”并不意味着对某一主题进行任何特定的有形或无形的修改而是旨在可互换使用。在一个或多个具体实施中，被配置为监测和控制操作或部件的处理器也可以是意指处理器被编程以监测和控制操作或者处理器能够操作以监测和控制操作。同样，被配置为执行代码的处理器可解释为被编程以执行代码或能够操作以执行代码的处理器。

[0115] 短语诸如方面、该方面、另一方面、一些方面、一个或多个方面、具体实施、该具体实施、另一具体实施、一些具体实施、一个或多个具体实施、实施方案、该实施方案、另一实施方案、一些实施方案、一个或多个实施方案、配置、该配置、其他配置、一些配置、一种或多种配置、主题技术、公开、本公开、它们的其他变型等等都是为了方便，并不意味着涉及这样的一个或多个短语的公开对于主题技术是必不可少的，也不意味着这种公开适用于主题技术的所有配置。涉及此类一个或多个短语的公开可适用于所有配置或一个或多个配置。涉及此类一个或多个短语的公开可提供一个或多个示例。短语诸如方面或一些方面可指代一个或多个方面，反之亦然，并且这与其他前述短语类似地应用。

[0116] 字词“示例性”在本文中被用于意指“用作示例、实例或者例示”。在本文中被描述为“示例性的”或作为“示例”的任何实施方案不必被理解为优选于或优于其他具体实施。此外，在术语“包括”、“具有”等在说明书或权利要求中使用的限度内，这样的术语旨在是包含性的，与术语“包括”当在权利要求中被用作过渡字词时“包括”被解释的方式类似。

[0117] 本领域的普通技术人员已知或稍后悉知的贯穿本公开描述的各个方面的元素的所有结构和功能等同物通过引用明确地并入本文，并且旨在被权利要求书所涵盖。此外，本文所公开的任何内容并非旨在提供给公众，而与该公开是否明确地被陈述在权利要求中无关。不应根据35U.S.C.§112(f)的规定解释任何权利要求要素，除非使用短语“用于……的装置”明确陈述了该要素，或者就方法权利要求而言，使用短语“用于……的步骤”陈述了该要素。

[0118] 先前的描述被提供以使得本领域的技术人员能够实践本文所述的各个方面。这些方面的各种修改对本领域的技术人员而言是显而易见的，并且本文所限定的通用原则可应用于其他方面。因此，本权利要求书并非旨在受限于本文所示的方面，而是旨在使得全部范围与语言权利要求书一致，其中对奇异值中的元素的引用并非旨在意味着“仅仅一个”，而是指“一个或多个”，除非被具体指出。除非另外特别说明，否则术语“一些”是指一个或多个。男性的代名词(例如，他的)包括女性和中性(例如，她的和它的)，并且反之亦然。标题和子标题(如果有的话)仅为了方便起见而使用并且不限制本主题公开。