用于在呈现音频内容时调整触觉内容的水平的方法和系统 发明领域 [0001] 本公开总体上涉及人工现实系统，并且更具体地，涉及被配置为当在人工现实系统中呈现音频内容时调整触觉内容的水平的音频系统。 [0002] 背景 [0003] 人工现实系统中的头戴式显示器通常包括诸如扬声器或个人音频设备的特征，以向头戴式显示器的用户提供音频内容。在一些情况下，传统的头戴式显示器可以使用骨传导和/或软骨传导来向用户提供音频内容。然而，除了听到音频内容之外，在某些频率和振幅下，音频内容可以(例如，通过嵌入组织中的机械感受器)被用户感知为触觉刺激。 [0004] 概述 [0005] 本公开的实施例支持用于向用户(例如，头戴式装置(headset)的佩戴者)提供内容的音频系统、方法和计算机可读介质。音频系统包括被配置为向用户呈现内容的换能器阵列。该音频系统还包括控制器，该控制器被配置为控制换能器阵列，以在向用户呈现音频内容的同时，调整通过换能器阵列中的至少一个换能器的致动而给予用户的触觉内容的水平。音频系统可以集成为头戴式装置的一部分。 [0006] 本发明例如涉及根据权利要求1的音频系统、根据权利要求10的方法和根据权利要求15的计算机程序产品。有利的实施例可以包括从属权利要求的特征。 [0007] 因此，根据本发明的实施例的音频系统包括：被配置为向用户呈现音频内容的换能器阵列；以及控制器，其被配置为控制换能器阵列，以在向用户呈现音频内容的同时，调整通过换能器阵列中的至少一个换能器的致动而给予用户的触觉内容的水平。 [0008] 在一些实施例中，控制器还被配置成： [0009] 将针对一频带的至少一个换能器的致动参数调整为低于阈值水平，其中低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，并且处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0010] 在一些实施例中，至少一个换能器的致动参数是施加到至少一个换能器的电压，用于向用户呈现频带内的触觉内容的部分。 [0011] 在一些实施例中，控制器还被配置成使用感知模型来调整触觉内容的水平。 [0012] 在一些实施例中，感知模型对于用户是唯一的。 [0013] 在一些实施例中，控制器还被配置成： [0014] 通过校准换能器阵列来生成感知模型；以及 [0015] 使用感知模型调整触觉内容的水平。 [0016] 在一些实施例中，音频系统还包括传感器阵列，其被配置成检测由换能器阵列产生的声音；并且所述控制器还被配置为基于在一频带内的检测到的声音的一部分，导出针对频带的至少一个换能器的致动参数的阈值水平，并且当致动至少一个换能器以呈现频带内的触觉内容的一部分时，将致动参数调整为低于阈值水平，低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，而处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0017] 在一些实施例中，音频系统还包括传感器阵列，其被配置成检测由换能器阵列产生的声音；并且控制器还被配置为基于在低于阈值频率的频带中的检测到的声音的一部分来为用户估计至少一个换能器的灵敏度水平，基于估计的灵敏度水平来导出针对该频带的至少一个换能器的致动参数的阈值水平，并且将致动参数调整为低于阈值水平，其中低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，而处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0018] 在一些实施例中，音频系统还包括传感器阵列，其被配置成检测用户组织内的触觉感觉；并且所述控制器还被配置为基于检测到的触觉感觉的一部分来导出针对一频带的至少一个换能器的致动参数的阈值水平，并且将致动参数调整为低于阈值水平，其中低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，并且处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0019] 在一些实施例中，音频系统还包括传感器阵列，其被配置为当向用户呈现音频信号时，监控由至少一个换能器产生的声压和加速度中的至少一个；并且控制器还被配置为基于声压和加速度中的至少一个来控制呈现给用户的音频内容，使得对于至少一个频率的音频内容的至少一个振幅低于阈值水平，其中低于阈值水平的至少一个振幅的值对应于其中触觉内容的一部分不被用户感知的音频内容，而处于或高于阈值水平的值对应于其中触觉内容的一部分被用户感知的音频内容。 [0020] 在一些实施例中，换能器阵列包括一个或更多个软骨传导换能器。 [0021] 在一些实施例中，换能器阵列包括以下中的至少一项：一个或更多个空气传导换能器、一个或更多个骨传导换能器以及一个或更多个软骨传导换能器。 [0022] 在一些实施例中，音频系统是头戴式装置的一部分。在一些实施例中，头戴式装置包括如本文所述的音频系统。 [0023] 一种根据本发明的实施例的方法包括： [0024] 在向用户呈现音频内容的同时，调整将通过换能器的致动而给予用户的触觉内容的水平；以及 [0025] 指示换能器向用户呈现音频内容，其中音频内容包括经调整水平的触觉内容。 [0026] 在一些实施例中，该方法还包括将针对一频带的换能器的致动参数调整为低于阈值水平，其中低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，并且处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0027] 在一些实施例中，该方法还包括使用感知模型来调整触觉内容的水平。 [0028] 在一些实施例中，该方法还包括检测由换能器产生的声音；基于在一频带内的检测到的声音的一部分，导出针对频带的换能器的致动参数的阈值水平；以及当致动换能器以呈现频带内的触觉内容的一部分时，将致动参数调整为低于阈值水平，低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，并且处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0029] 在一些实施例中，该方法还包括检测由换能器产生的声音；基于在低于阈值频率的频带中的检测到的声音的一部分，为用户估计换能器的灵敏度水平；基于所估计的灵敏度水平，导出针对该频带的换能器的致动参数的阈值水平；以及将致动参数调整为低于阈值水平，其中低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，并且处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0030] 在一些实施例中，该方法还包括：当向用户呈现音频信号时，监控由换能器产生的声压和加速度中的至少一个；以及基于声压和加速度中的至少一个来控制呈现给用户的音频内容，使得对于至少一个频率的音频内容的至少一个振幅水平低于阈值水平，其中低于阈值水平的至少一个振幅的值对应于其中触觉内容的一部分不被用户感知的音频内容，并且处于或高于阈值水平的值对应于其中触觉内容的该部分被用户感知的音频内容。 [0031] 一种根据本发明的实施例的计算机程序产品包括其上编码有指令的非暂时性计算机可读存储介质，指令在被一个或更多个处理器执行时使一个或更多个处理器： [0032] 在向用户呈现音频内容的同时，调整将通过换能器的致动而给予用户的触觉内容的水平；以及 [0033] 指示换能器向用户呈现音频内容，其中音频内容包括经调整水平的触觉内容。 [0034] 附图简述 [0035] 图1A是根据一个或更多个实施例的实现为眼部佩戴物(eyewear)设备的头戴式装置的透视图。 [0036] 图1B是根据一个或更多个实施例的实现为头戴式显示器的头戴式装置的透视图。 [0037] 图2A是根据一个或更多个实施例的音频系统的框图。 [0038] 图2B是示出根据一个或更多个实施例的作为频率的函数的用于致动图2A的音频系统中的换能器的触感阈值水平的示例曲线图。 [0039] 图3是示出根据一个或更多个实施例的用于在呈现音频内容的同时调整触觉内容的水平的过程的流程图。 [0040] 图4是示出根据一个或更多个实施例的用于控制呈现给用户的触觉内容的过程的流程图。 [0041] 图5是根据一个或更多个实施例的包括头戴式装置的系统。 [0042] 附图仅出于说明的目的描绘了各种实施例。本领域技术人员从下面的讨论中将容易认识到，在不脱离本文描述的原理的情况下，可以采用本文示出的结构和方法的替代实施例。 [0043] 详细描述 [0044] 放置在外耳附近的换能器可以(例如，通过激发某个组织)在耳道内产生声压波，该声压波可以被人感知为声音。在某些频率下，当激发水平增加时，人(例如，通过嵌入组织中的机械感受器)可以开始感知触觉感觉(即，触摸的感觉)。本公开的实施例涉及控制和调整呈现给音频系统的用户的触觉内容的水平的音频系统。 [0045] 本文包含一种用于控制所呈现的内容的模态(即，仅音频、仅触觉或音频/触觉的组合)的音频系统。该音频系统包括换能器阵列、传感器阵列和音频控制器。换能器阵列通过例如软骨传导、骨传导、空气传导或其某种组合向用户呈现内容。传感器阵列检测换能器阵列产生的声音。传感器阵列可以包括至少一个声学传感器和/或至少一个振动传感器(即加速度计)。音频控制器可以基于检测到的声音来控制换能器阵列，以调整触觉反馈的水平，该触觉反馈可以在呈现内容的同时通过换能器阵列中的一个或更多个换能器的致动而被给予用户。在一些实施例中，音频控制器调整触觉反馈的水平，使得用户不会感知到任何触觉内容。音频控制器可以使用例如感知模型来调整触觉反馈的水平，该感知模型可以是特定于用户的并且通过校准过程来获得。在一些实施例中，音频控制器控制换能器阵列，以控制通过换能器阵列中的一个或更多个换能器的致动而给予用户的触觉内容。在一个或更多个实施例中，换能器阵列中的至少一个换能器被配置成引起组织振动(例如，皮肤振动)，该振动足够强以至于被感觉为触觉感觉(例如，触摸)。被有意控制以被用户感知的触觉内容可以用于例如向用户提供导航指令、增加语音可懂度、提供近场效应、它们的某种组合等。 [0046] 本文呈现的音频系统可以是头戴式装置的一部分。头戴式装置可以是例如近眼显示器(NED)、头戴式显示器(HMD)或某种其他类型的头戴式装置。头戴式装置可以是人工现实系统的一部分。头戴式装置还包括显示器和光学组件。头戴式装置的显示器被配置成发射图像光。头戴式装置的光学组件被配置成将图像光引导至头戴式装置的对应于用户眼睛的定位的视窗(eye box)。在一些实施例中，图像光可以包括头戴式装置周围的局部区域的深度信息。可替代地或附加地，本文呈现的音频系统可以结合一组具有一个或更多个软骨传导致动器和/或一个或更多个骨传导致动器的智能耳机来操作。 [0047] 本文呈现的音频系统控制和调整呈现给音频系统的用户的触觉内容的水平。触觉内容可能常常被认为是滋扰。本文呈现的音频系统被配置成将触觉内容转变成对用户有用的信息。本文呈现的音频系统还可以被配置为减轻触觉内容，使得触觉内容不会被用户感知到。 [0048] 本发明的实施例可以包括人工现实系统或结合人工现实系统来被实现。人工现实是一种在呈现给用户之前已经以某种方式进行了调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(mixed reality，MR)、混杂现实(hybrid reality)或其某种组合和/或衍生物。人工现实内容可以包括完全生成的内容或者与捕获的(例如，真实世界)内容相结合的生成的内容。人工现实内容可以包括视频、音频、触觉反馈、或其某种组合，其中任何一个都可以在单个通道中或在多个通道中被呈现(例如向观看者产生三维效果的立体视频)。此外，在一些实施例中，人工现实还可以与应用、产品、附件、服务或其某种组合相关联，这些应用、产品、附件、服务或其某种组合用于在人工现实中创建内容和/或在人工现实中以其他方式被使用。提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主计算机系统的可穿戴设备(例如，头戴式装置)、独立的可穿戴设备(例如，头戴式装置)、移动设备或计算系统、或者能够向一个或更多个观看者提供人工现实内容的任何其他硬件平台。 [0049] 图1A是根据一个或更多个实施例的实现为眼部佩戴物设备的头戴式装置100的透视图。在一些实施例中，眼部佩戴物设备是NED。通常，头戴式装置100可以戴在用户的脸上，使得使用显示组件和/或音频系统呈现内容(例如，媒体内容)。然而，也可以使用头戴式装置100，使得媒体内容以不同的方式呈现给用户。头戴式装置100呈现的媒体内容的示例包括一个或更多个图像、视频、音频或其某种组合。头戴式装置100包括框架，并且可以包括显示组件、深度相机组件(DCA)、音频系统和位置传感器190以及其他部件，该显示组件包括一个或更多个显示元件120。虽然图1A在头戴式装置100上的示例定位示出了头戴式装置100的部件，但是这些部件可以位于头戴式装置100上的别处、与头戴式装置100配对的外围设备上或者这两种位置的某种组合。类似地，头戴式装置100上的部件可能比图1A中所示的更多或更少。 [0050] 框架110保持头戴式装置100的其他部件。框架110包括保持一个或更多个显示元件120的前部和附接到用户头部的末端件(例如，镜腿)。框架110的前部架在(bridge)用户鼻子的顶部。末端件的长度可以是可调节的(例如，可调节的镜腿长度)以适合不同的用户。 末端件还可包括在用户耳朵后面卷曲的部分(例如，镜腿尖端、挂耳件)。 [0051] 一个或更多个显示元件120向佩戴头戴式装置100的用户提供光。如图1A所示，头戴式装置100包括用于用户的每只眼睛的显示元件120。在一些实施例中，显示元件120生成提供给头戴式装置100的视窗(eyebox)的图像光。视窗是用户佩戴头戴式装置100时眼睛所占据的空间定位。例如，显示元件120可以是波导显示器。波导显示器包括光源(例如，二维光源、一个或更多个线光源、一个或更多个点光源等)和一个或更多个波导。来自光源的光被向内耦合到一个或更多个波导中，该波导以使得在头戴式装置100的视窗中存在光瞳复制(pupil replication)的方式输出光。来自一个或更多个波导的光的向内耦合和/或向外耦合可以使用一个或更多个衍射光栅来完成。在一些实施例中，波导显示器包括扫描元件(例如，波导、反射镜等)，当来自光源的光向内耦合到一个或更多个波导中时，该扫描元件扫描来自光源的光。须注意，在一些实施例中，显示元件120中的一个或两个是不透明的并且不透射来自头戴式装置100周围的局部区域的光。局部区域是头戴式装置100周围的区域。例如，局部区域可以是佩戴头戴式装置100的用户所在的房间，或者佩戴头戴式装置100的用户可以在外面，并且局部区域是外部区域。在这种上下文中，头戴式装置100生成VR内容。可替代地，在一些实施例中，显示元件120中的一者或两者至少部分透明，使得来自局部区域的光可与来自一个或更多个显示元件的光组合以产生AR和/或MR内容。 [0052] 在一些实施例中，显示元件120不生成图像光，而是透镜将光从局部区域传送到视窗。例如，显示元件120中的一个或两个可以是无矫正的透镜(非处方透镜)，或者是处方透镜(例如，单视力透镜、双焦和三焦透镜或渐进透镜)以帮助矫正用户视力的缺陷。在一些实施例中，显示元件120可以被偏振和/或着色以保护用户的眼睛免受阳光照射。 [0053] 须注意，在一些实施例中，显示元件120可以包括附加的光学块(未示出)。光学块可包括将光从显示元件120引导至视窗的一个或更多个光学元件(例如，透镜、菲涅耳透镜等)。光学块可以例如校正一些或所有图像内容中的像差、放大一些或所有图像、或其某种组合。 [0054] DCA确定头戴式装置100周围的局部区域的一部分的深度信息。DCA包括一个或更多个成像设备130和DCA控制器(未在图1A中示出)，并且还可以包括照明器140。在一些实施例中，照明器140用光照射局部区域的一部分。光可以是例如在红外(IR)中的结构光(例如，点图案、条等)，用于飞行时间的IR闪光等。在一些实施例中，一个或更多个成像设备130捕获包括来自照明器140的光的局部区域的部分的图像。如图所示，图1A示出了单个照明器 140和两个成像设备130。在替代实施例中，没有照明器140和至少两个成像设备130。 [0055] DCA控制器使用捕获的图像和一种或更多种深度确定技术计算局部区域的部分的深度信息。深度确定技术可以是例如直接飞行时间(ToF)深度感测、间接ToF深度感测、结构光、被动立体分析、主动立体分析(使用通过来自照明器140的光添加到场景的纹理)、确定场景的深度的某种其他技术或者它们的某种组合。 [0056] 音频系统提供音频内容。该音频系统包括换能器阵列、传感器阵列和音频控制器 150。然而，在其他实施例中，音频系统可以包括不同的和/或附加的部件。类似地，在一些情况下，参考音频系统的部件描述的功能可以以不同于这里描述的方式分布在部件之间。例如，音频控制器150的一些或全部功能可以由远程服务器执行。 [0057] 换能器阵列向用户呈现声音。换能器阵列包括多个换能器。换能器可以是扬声器 160或组织换能器(tissue transducer)170(例如，骨传导换能器或软骨传导换能器)。如图 1A所示，扬声器160可以封装在框架110中。在一些实施例中，代替用于每个耳朵的单独的扬声器，头戴式装置100包括扬声器阵列，该扬声器阵列包括集成到框架110中的多个扬声器，以例如使用波束成形阵列处理来改善所呈现的音频内容的方向性。组织换能器170耦合到用户的头部并直接振动用户的组织(例如，骨骼或软骨)以生成声音。换能器的数量和/或定位可以与图1A所示的不同。 [0058] 传感器阵列检测头戴式装置100的局部区域内的声音。在一些实施例中，传感器阵列包括多个声学传感器180。声学传感器180捕获从局部区域(例如，房间)中的一个或更多个声源发出的声音。每个声学传感器被配置为检测声音并将检测到的声音转换成电子格式(模拟的或数字的)。声学传感器180可以是声波传感器、麦克风、声音换能器或适用于检测声音的类似传感器。 [0059] 在一些实施例中，一个或更多个声学传感器180可以放置在每只耳朵的耳道中(例如，充当双耳麦克风)。在一些实施例中，声学传感器180可以放置在头戴式装置100的外表面上、放置在头戴式装置100的内表面上、与头戴式装置100分离(例如，作为某种其他设备的一部分)、或者它们的某种组合。声学传感器180的数量和/或定位可以与图1A所示的不同。例如，可以增加声学检测定位的数量以增加收集的音频信息的量以及信息的灵敏度和/或准确性。声学检测定位可以被定向成使得麦克风能够在佩戴头戴式装置100的用户周围的大范围方向上检测声音。 [0060] 在一些其他实施例中，传感器阵列包括多个振动传感器，例如加速度计。加速度计捕获关于振动的加速度的信息，该信息用于控制和/或调整声音信号的振幅水平。加速度计可以嵌入框架110中。可替代地，加速度计可以被定位成在换能器(例如，组织换能器170)附近与组织接触。此外，接近传感器也可以用于确保组织换能器170(例如软骨传导换能器)处于适当的定位。 [0061] 音频控制器150处理来自传感器阵列的描述由传感器阵列检测到的声音的信息。 音频控制器150可以包括处理器和计算机可读存储介质。音频控制器150可以被配置为生成到达方向(DOA)估计、生成声学传递函数(例如，阵列传递函数和/或头部相关传递函数)、跟踪声源的定位、在声源方向上形成波束、对声源进行分类、为扬声器160生成声音滤波器、或它们的某种组合。 [0062] 在一些实施例中，音频控制器150控制换能器阵列，以例如在向用户呈现音频内容的同时，调整通过至少一个换能器(例如，组织换能器170)的致动而给予佩戴头戴式装置 100的用户的触觉内容的水平。触觉内容通常是音频内容的副产品，并且产生音频的同一个(同一些)换能器也可以产生触觉内容。音频控制器150可以被配置成生成不同模态的内容以呈现给用户。音频控制器150可以被配置为生成仅音频、仅触觉或者音频和触觉的组合的内容。此外，音频控制器150可以被配置为减轻音频内容和触觉内容两者，使得没有内容呈现给用户。 [0063] 音频控制器150可以通过调整至少一个换能器的一个或更多个致动参数来调整触觉内容。换能器的致动参数可以是用于致动换能器的信号(例如，机械的或电的)。致动参数可以是例如电压、电流、机械压力、某种其他致动信号或它们的某种组合。音频控制器150可以相对于触感阈值水平来调整针对频带的至少一个换能器的致动参数。低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，而处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。声学传感器180可以检测由换能器阵列(例如，组织换能器170和/或扬声器160)产生的声音。音频控制器150可以基于在频带内的检测到的声音的一部分，导出针对该频带的组织换能器170的致动参数的触感阈值水平。当致动组织换能器170以呈现在频带内的触觉内容的一部分时，音频控制器150然后可以将致动参数调整为低于触感阈值水平。 [0064] 在一些实施例中，在向用户呈现音频内容的同时，音频控制器150控制通过至少一个换能器(例如，组织换能器170)的致动而给予佩戴头戴式装置100的用户的触觉内容，使得用户在特定时间感知受控的触觉内容。在这样的情况下，换能器阵列向用户呈现音频内容和受控的触觉内容。在一个或更多个实施例中，音频控制器150使用受控的触觉内容来向用户提供导航指令。例如，音频控制器150将触觉内容应用于附接到用户的相应耳朵的相应组织换能器170(例如，软骨传导换能器)，以向用户提供导航指令。在另一个实施例中，音频控制器150控制触觉内容，以增加呈现给用户的音频内容的语音可懂度。在又一个实施例中，音频控制器150控制触觉内容，以产生具有限定水平的近场效应的音频内容。下面结合图2A、图3和图4提供了关于音频控制器150和音频系统的其他部件的操作的附加细节。 [0065] 位置传感器190响应于头戴式装置100的运动而生成一个或更多个测量信号。位置传感器190可以位于头戴式装置100的框架110的一部分上。位置传感器190可以包括惯性测量单元(IMU)。位置传感器190的示例包括：一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一合适类型的传感器、用于IMU的误差校正的一种类型的传感器、或者它们的某种组合。位置传感器190可以位于IMU的外部、IMU的内部或者它们的某种组合。 [0066] 在一些实施例中，头戴式装置100可以提供头戴式装置100的位置的即时定位与地图映射(SLAM)以及局部区域的模型的更新。例如，头戴式装置100可以包括生成彩色图像数据的无源相机组件(PCA)。PCA可以包括一个或更多个RGB相机，其用于捕获一些或全部局部区域的图像。在一些实施例中，DCA的一些或所有成像设备130也可以用作PCA。PCA捕获的图像和DCA确定的深度信息可以用于确定局部区域的参数、生成局部区域的模型、更新局部区域的模型或者它们的某种组合。此外，位置传感器190跟踪头戴式装置100在房间内的位置(例如，定位和姿态)。下面结合图5讨论关于头戴式装置100的部件的附加细节。 [0067] 图1B是根据一个或更多个实施例的实现为HMD的头戴式装置105的透视图。在描述AR系统和/或MR系统的实施例中，HMD前侧的部分在可见光波段(约380nm至750nm)中至少部分透明，并且在HMD前侧和用户的眼睛之间的HMD的部分至少是部分透明的(例如，部分透明的电子显示器)。HMD包括前刚性主体115和带175。头戴式装置105包括许多与上文参考图1A描述的相同的部件，但这些部件经过修改以与HMD形状因子集成。例如，HMD包括显示组件、DCA、音频系统和位置传感器190。图1B示出了照明器140、多个扬声器160、多个成像设备 130、多个声学传感器180和位置传感器190。 [0068] 图2A是根据一个或更多个实施例的音频系统200的框图。图1A或图1B中的音频系统可以是音频系统200的实施例。音频系统200为用户生成一个或更多个声学传递函数。音频系统200然后可以使用一个或更多个声学传递函数来为用户生成音频内容。在图2A的实施例中，音频系统200包括换能器阵列210、传感器阵列220和音频控制器230。音频系统200的一些实施例具有与这里描述的那些部件不同的部件。类似地，在某些情形中，功能可以以不同于这里描述的方式在部件之间分配。 [0069] 换能器阵列210被配置成呈现内容。所呈现的内容可以是音频内容、触觉内容或它们的某种组合。换能器阵列210包括多个换能器。换能器是提供例如音频内容、触觉内容或它们的某种组合的内容的设备。换能器可以是例如扬声器(例如，扬声器160)、组织换能器(例如，组织换能器170)、提供内容的某种其他设备或它们的某种组合。组织换能器可以被配置成用作骨传导换能器或软骨传导换能器。换能器阵列210可以经由空气传导(例如，经由一个或更多个扬声器)、经由骨传导(经由一个或更多个骨传导换能器)、经由软骨传导音频系统(经由一个或更多个软骨传导换能器)或其某种组合来呈现内容。在一些实施例中，换能器阵列210可以包括一个或更多个换能器，以覆盖频率范围的不同部分。例如，压电换能器可以用于覆盖频率范围的第一部分，而动圈换能器可以用于覆盖频率范围的第二部分。 [0070] 骨传导换能器通过振动用户头部中的骨骼/组织来产生声压波。骨传导换能器可以耦合到头戴式装置的一部分，并且可以被配置为在耳廓(auricle)后面耦合到用户头骨的一部分。骨传导换能器从音频控制器230接收振动指令，并基于接收的指令振动用户头骨的一部分。来自骨传导换能器的振动产生组织传播的声压波，该声压波绕过耳膜向用户的耳蜗传播。 [0071] 软骨传导换能器通过振动用户耳朵的耳软骨的一个或更多个部分来产生声压波。 软骨传导换能器可以耦合到头戴式装置的一部分，并且可以被配置为耦合到耳朵的耳软骨的一个或更多个部分。例如，软骨传导换能器可以耦合到用户耳朵的耳廓后部。软骨传导换能器可以位于沿着外耳周围的耳软骨的任何地方(例如耳郭(pinna)、耳屏、耳软骨的某个其他部分或它们的某种组合)。振动耳软骨的一个或更多个部分可以产生：耳道外的空气传播的声压波；组织产生的声压波，该声压波导致耳道的某些部分振动，从而在耳道内产生空气传播的声压波；或者它们的某种组合。产生的空气传播的声压波顺着耳道向耳膜传播。 [0072] 换能器阵列210根据来自音频控制器230的指令生成内容。在一些实施例中，内容被空间化。空间化的内容是听起来源自特定方向和/或目标区域(例如，局部区域中的对象和/或虚拟对象)的内容。例如，空间化的内容可以使声音听起来是来自音频系统200的用户的房间对面的虚拟歌手。换能器阵列210可以耦合到可穿戴设备(例如，头戴式装置100或头戴式装置105)。在替代实施例中，换能器阵列210可以是与可穿戴设备分离(例如，耦合到外部控制台)的多个扬声器。 [0073] 传感器阵列220检测传感器阵列220周围的局部区域内的声音。传感器阵列220可以包括多个声学传感器，每个声学传感器检测声波的气压变化并将检测到的声音转换成电子格式(模拟的或数字的)。多个声学传感器可以位于头戴式装置(例如，头戴式装置100和/或头戴式装置105)、用户(例如，在用户的耳道中)、颈带或其某种组合上。声学传感器可以是例如麦克风、振动传感器、加速度计或其任意组合。在一些实施例中，传感器阵列220被配置成使用多个声学传感器中的至少一些来监控由换能器阵列210生成的音频内容。增加传感器的数量可以提高描述由换能器阵列210产生的声场和/或来自局部区域的声音的信息(例如，方向性)的准确性。在一些实施例中，传感器阵列220中的至少一个传感器可以被实现为非侵入式电极或用户组织内的植入物，其被配置为当机械感受器活动时感测神经元的放电。传感器阵列220中的这样实现的传感器可以检测用户的触觉感觉，而无需来自用户的任何手动反馈。 [0074] 音频控制器230控制音频系统200的操作。在图2A的实施例中，音频控制器230包括数据储存器235、DOA估计模块240、传递函数模块250、跟踪模块260、波束成形模块270、声音滤波器模块280和触感控制模块285。在一些实施例中，音频控制器230可以位于头戴式装置内部。音频控制器230的一些实施例具有与这里描述的不同的部件。类似地，功能可以以不同于这里描述的方式分布在部件之间。例如，控制器的一些功能可以在头戴式装置外部执行。 [0075] 数据储存器235存储供音频系统200使用的数据。数据储存器235中的数据可以包括在音频系统200的局部区域中记录的声音、内容(即，音频内容、触觉内容或其组合)、头部相关传递函数(HRTF)、一个或更多个传感器的传递函数、一个或更多个声学传感器的阵列传递函数(ATF)、声源定位、局部区域的虚拟模型、到达方向估计、声音滤波器、一个或更多个感知模型、致动参数以及与音频系统200使用相关的其他数据或其任意组合。 [0076] 例如，触感控制模块285可以使用存储在数据储存器235中的感知模型，用于在经由换能器阵列210向用户呈现内容时调整触觉内容的水平。感知模型可以包括关于作为频率(或频带)的函数的用于致动换能器阵列210中的一个或更多个换能器的至少一个致动参数(例如，输入电压、输入电流等)的触感阈值水平的信息。低于针对频带的阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，而处于或高于该阈值水平的值对应于触觉内容的该部分被用户感知的范围。数据储存器235中的每个感知模型对于特定用户和/或特定声学环境(例如，室内环境、室外环境、空房间、占用的房间等)可以是唯一的。可替代地，数据储存器235中的单个感知模型对于多个用户和/或多个声学环境来说可能是通用的。在一些实施例中，数据储存器235中的感知模型可以例如由触感控制模块285通过针对特定用户和/或音频系统200所处的特定声学环境执行换能器阵列210的校准来获得。 [0077] DOA估计模块240被配置成部分基于来自传感器阵列220的信息来定位局部区域中的声源。定位是确定声源相对于音频系统200的用户所处的位置的过程。DOA估计模块240执行DOA分析以定位局部区域内的一个或更多个声源。DOA分析可以包括分析传感器阵列220处每个声音的强度、频谱和/或到达时间，以确定声音源自的方向。在一些情况下，DOA分析可以包括用于分析音频系统200所处的周围声学环境的任何合适的算法。 [0078] 例如，DOA分析可以被设计成从传感器阵列220接收输入信号，并将数字信号处理算法应用于输入信号以估计到达方向。这些算法可以包括例如延迟和求和算法，其中输入信号被采样，并且得到的采样信号的加权和延迟版本被一起平均以确定DOA。也可以实现最小均方(LMS)算法以创建自适应滤波器。该自适应滤波器然后可以用于例如，识别信号强度的差异或到达时间的差异。然后，这些差异可用于估计DOA。在另一个实施例中，可以通过将输入信号转换到频域内并选择要处理的时频(TF)域内的特定单元(bin)来确定DOA。可以处理每个选定TF单元以确定该单元是否包括具有直接路径音频信号的音频频谱的一部分。然后可以分析具有直接路径信号的一部分的那些单元，以识别传感器阵列220接收直接路径音频信号的角度。然后，所确定的角度可以用于识别接收到的输入信号的DOA。也可以单独地或者与上面的算法结合地使用上面没有列出的其他算法来确定DOA。 [0079] 在一些实施例中，DOA估计模块240还可以相对于音频系统200在局部区域内的绝对位置来确定DOA。传感器阵列220的位置可以从外部系统(例如，头戴式装置的某个其他部件、人工现实控制台、映射服务器、位置传感器(例如，位置传感器190)等)接收。外部系统可以创建局部区域的虚拟模型，其中局部区域和音频系统200的位置被映射。接收的位置信息可以包括音频系统200的一些或全部(例如，传感器阵列220)的定位和/或定向。DOA估计模块240可以基于接收的位置信息更新估计的DOA。 [0080] 传递函数模块250被配置成生成一个或更多个声学传递函数。一般来说，传递函数是一种数学函数，为每个可能的输入值给出相应的输出值。基于检测到的声音的参数，传递函数模块250生成与音频系统相关联的一个或更多个声学传递函数。声学传递函数可以是阵列传递函数(ATF)、头部相关传递函数(HRTF)、其他类型的声学传递函数或它们的某种组合。ATF表征了麦克风如何从空间中的一个点接收声音。 [0081] ATF包括表征声音和由传感器阵列220中的声学传感器接收的相应声音之间的关系的多个传递函数。因此，对于声源，传感器阵列220中的每个声学传感器都有相应的传递函数。这组传递函数统称为ATF。注意，声源可以是例如在局部区域产生声音的某人或某物、用户或换能器阵列210的一个或更多个换能器。相对于传感器阵列220的特定声源定位的ATF可能因用户而异，这是由于人的解剖结构(例如，耳朵形状、肩膀等)会在声音传到人的耳朵时影响到声音。因此，传感器阵列220的ATF对于音频系统200的每个用户是个性化的。 [0082] 在一些实施例中，传递函数模块250为音频系统200的用户确定一个或更多个HRTF。HRTF表征耳朵如何接收来自空间中的一点的声音。相对于人的特定源定位的HRTF对于该人的每只耳朵是唯一的(并且对于该人是唯一的)，这是由于人的解剖结构(例如，耳朵形状、肩膀等)会在声音传到人的耳朵时影响声音。在一些实施例中，传递函数模块250可以使用校准过程为用户确定HRTF。在一些实施例中，传递函数模块250可以向远程系统提供关于用户的信息。远程系统使用例如机器学习来确定为用户定制的一组HRTF，并将定制的一组HRTF提供给音频系统200。 [0083] 跟踪模块260被配置成跟踪一个或更多个声源的定位。跟踪模块260可以比较当前DOA估计，并将它们与先前DOA估计的存储历史进行比较。在一些实施例中，音频系统200可以定期重新计算DOA估计，例如每秒一次，或者每毫秒一次。跟踪模块可以将当前的DOA估计与先前的DOA估计进行比较，并且响应于声源的DOA估计的变化，跟踪模块260可以确定声源移动了。在一些实施例中，跟踪模块260可以基于从头戴式装置或某个其他外部源接收的视觉信息来检测定位的变化。跟踪模块260可以跟踪一个或更多个声源随时间的移动。跟踪模块260可以存储关于声源数量和每个声源在每个时间点的定位的值。响应于声源的数量或定位的值的变化，跟踪模块260可以确定声源移动了。跟踪模块260可以计算定位方差的估计。定位方差可以用作每次确定移动变化的置信水平。 [0084] 波束成形模块270被配置为处理一个或更多个ATF，以选择性地强调来自某个区域内的声源的声音，同时削弱来自其他区域的声音。在分析由传感器阵列220检测到的声音时，波束成形模块270可以组合来自不同声学传感器的信息，以强调来自局部区域的特定区域的相关声音，同时削弱来自该区域外部的声音。波束成形模块270可以基于例如来自DOA估计模块240和跟踪模块260的不同DOA估计，将与来自特定声源的声音相关联的音频信号与局部区域中的其他声源隔离。波束成形模块270因此可以选择性地分析局部区域中的分立声源。在一些实施例中，波束成形模块270可以增强来自声源的信号。例如，波束成形模块 270可以应用声音滤波器，其消除特定频率之上、之下或之间的信号。信号增强用于相对于传感器阵列220检测到的其他声音来增强与给定的已识别声源相关联的声音。 [0085] 声音滤波器模块280确定用于换能器阵列210的声音滤波器。在一些实施例中，声音滤波器使得音频内容被空间化，使得音频内容听起来源自目标区域。声音滤波器模块280可以使用HRTF和/或声学参数来生成声音滤波器。声学参数描述了局部区域的声学属性。声学参数可以包括例如混响时间、混响水平、房间脉冲响应等。在一些实施例中，声音滤波器模块280计算一个或更多个声学参数。在一些实施例中，声音滤波器模块280向映射服务器请求声学参数(例如，如下面参考图5所述)。 [0086] 声音滤波器模块280向换能器阵列210提供声音滤波器。在一些实施例中，声音滤波器可以根据频率引起声音的正或负放大。 [0087] 在一些实施例中，触感控制模块285控制换能器阵列210，以在经由换能器阵列210向用户呈现内容的同时，调整通过换能器阵列210中的至少一个换能器(例如，软骨传导换能器)的致动而给予用户的触觉内容的水平。内容可以仅包括音频内容、仅包括触觉内容或者包括音频内容和触觉内容的组合。为了仅传递音频内容，触感控制模块285可以将针对频带的至少一个换能器的致动参数(例如，输入信号水平)调整为低于触感阈值水平，使得该频带的触觉内容的一部分不会被用户感知。注意，低于触感阈值水平的致动参数的值对应于该频带的触觉内容的一部分不被用户感知的致动范围，而处于或高于触感阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0088] 在一个或更多个实施例中，触感控制模块285通过基于例如换能器灵敏度应用固定的致动阈值方法来调整触觉内容的水平。对于通过换能器传递给用户的声压波的多个频带，换能器灵敏度可以被定义为致动参数(即，致动输入信号的电平，例如输入电压)和输出声压之间的传递函数。对于仅音频内容，频带是覆盖人类感知的声学频谱的典型频带，例如，在大约20Hz和20000Hz之间。对于仅触觉内容，频带限于低频，例如低于大约500Hz的频率，因为机械感受器主要对低于例如500Hz的频率敏感。如果换能器阵列210中的换能器的灵敏度随着时间和跨多个用户是恒定的(例如，随着时间和跨多个用户)，触感控制模块285可以在多个频带中的每个定义的频带处导出用于致动参数(例如，致动信号)的固定的触感阈值水平，所述多个频带例如覆盖人类感知的声学频谱。触感控制模块285可以应用例如标准动态范围压缩方案，以确保用于致动换能器阵列210中的至少一个换能器的致动参数的水平低于导出的触感阈值水平，从而避免与导出的触感阈值水平相关联的特定频带的触觉感觉。 [0089] 在一些实施例中，当换能器阵列210中的至少一个换能器经由具有用于一组频带的一组初始值的致动参数被致动时，传感器阵列220检测由换能器阵列210产生的声音(即，包括音频/触觉的内容)。触感控制模块285可以基于在频带内的检测到的声音的一部分，为该组频带中的每个频带导出致动参数的触感阈值水平。在频带内的检测到的内容的一部分可以包括一定量的触感内容，该触感内容可以大于或小于对于该频带足以被用户感知到的触觉内容的最小水平(例如，取决于用于该频带的致动参数的初始值和用户的感知)。触感控制模块285可以确定用于该频带的致动参数的触感阈值水平，使得对于该频带由换能器阵列210产生的内容的一部分大约包括触觉内容的最小水平，例如，通过相对于用于该频带的致动参数的初始值调整致动参数的水平。触感控制模块285然后可以在向用户呈现内容(即，仅音频、仅触觉或音频和触觉的组合)时，相对于触感阈值水平来调整致动参数。当致动参数处于或高于触感阈值水平时，该频带的触觉内容的一部分被用户感知。否则，如果致动参数低于触感阈值水平，则该频带的触觉内容的一部分不会被用户感知。 [0090] 触感控制模块285可以通过使用来自数据储存器235的感知模型，相对于触感阈值水平调整针对频带的至少一个换能器的致动参数，来调整触觉内容的水平。感知模型对于多个用户和/或声学环境可能是通用的。可替代地，数据储存器235中的每个感知模型对于每个用户和/或声学环境可以是唯一的。可替代地，感知模型对于特定人群可能是唯一的，例如，一个感知模型可能适合老年人，而另一个感知模型可能适合年轻人。触感控制模块 285可以通过校准换能器阵列210中的至少一个换能器来为特定用户和/或声学环境生成感知模型。在校准期间，触感控制模块285基于来自用户的关于每个频带的触觉内容的感知水平的反馈响应来确定多个频带的触感阈值水平。例如，用户可能位于为其生成感知模型的特定声学环境中。在一个或更多个实施例中，代替依赖于用户关于感知到的触觉内容的手动反馈，触觉感觉可以由传感器阵列220的一个或更多个传感器自动检测，该一个或更多个传感器被实现为例如能够感测用户的神经元的放电的非侵入式电极和/或用户组织内的植入物。 [0091] 在一些实施例中，触感控制模块285基于传感器阵列220在低于定义的阈值频率的频带内检测到的声音的部分，为用户估计换能器阵列210中的至少一个换能器的灵敏度的水平。触感控制模块285然后可以基于针对该频带的估计的换能器灵敏度，为针对该频带的至少一个换能器的致动参数(例如，输入电压或某种其他致动信号的电平)导出触感阈值水平。触感控制模块285调整致动参数，例如，使其低于触感阈值水平，使得用户不会感知到该频带的触觉内容的一部分。可替代地，触感控制模块285将致动参数调整为处于触感阈值水平或高于触感阈值水平，使得用户感知到该频带的触觉内容的特定水平。 [0092] 这种用于调整触觉内容的水平的特定方法可以被称为自适应输入电压阈值方法，因为输入电压阈值基于估计的换能器灵敏度被调整，估计的换能器灵敏度能够例如因用户而异和/或随着时间变化。在一个或更多个实施例中，当换能器阵列210中的至少一个换能器的灵敏度因用户而异，但不随时间变化时，触感控制模块285可以通过利用例如入耳式麦克风来测量所定义频带的换能器灵敏度(即每个频带的输出声压和输入电压之间的函数关系)，来为每个用户应用一次性校准。基于所测量的换能器灵敏度，触感控制模块285然后可以为用于致动至少一个换能器以感知或不感知针对频带的触觉内容的一部分的致动参数导出触感阈值水平。如果换能器阵列210中的至少一个换能器的灵敏度也随时间变化，则触感控制模块285可以被配置为在定义的时间段期间重复校准过程特定次数，以更新特定频带的触感阈值水平。 [0093] 在一个或更多个其他实施例中，代替入耳式麦克风，软骨传导换能器的某些独特属性可以被利用，以使用眼镜框架上的麦克风(例如安装在图1A的框架110上的声学传感器 180)执行校准。例如，如所讨论的，换能器阵列210中的一个或更多个换能器可以实现为软骨传导换能器。触觉感觉通常出现在低频带中。如果软骨传导换能器与例如用户耳朵的耳软骨有良好的接触，则空气中的声压波的辐射模式主要是定向的。然而，如果软骨传导换能器和耳软骨之间没有直接接触，则空气中的声压波的辐射模式相反地可能是全向的。因此，触感控制模块285能够通过比较来自换能器阵列210的软骨传导换能器两侧的麦克风(例如，声学传感器180)的信号来估计低频带中的换能器灵敏度。 [0094] 在一些实施例中，代替基于灵敏度的校准，触感控制模块285可以被配置为基于用户对不同输入信号(例如，电压)处的触觉感觉的反馈来测量针对频率范围的输入信号阈值曲线。代替用户的手动反馈，触觉感觉可以由传感器阵列220的一个或更多个传感器来检测，该一个或更多个传感器被实现为例如非侵入式电极和/或用户组织内的植入物，并且被配置为当机械感受器活动时感测神经元的放电。触感控制模块285可以基于在用户处检测到的触觉感觉，为针对该频率范围的换能器阵列210中的至少一个换能器的致动参数导出触感阈值水平。触感控制模块285可以将至少一个换能器的致动参数调整为低于阈值水平，使得触觉内容的至少一部分不会被用户感知到。 [0095] 在一些实施例中，当向用户呈现音频信号时，传感器阵列220的至少一个传感器(例如，麦克风和/或加速度计)监控由换能器阵列210中的至少一个换能器产生的声压和/或加速度。触感控制模块285然后可以基于声压和加速度中的至少一者或两者来控制呈现给用户的音频内容，使得特定频率的音频内容的振幅低于阈值水平。低于(触感)阈值水平的振幅值对应于其中该频率的触觉内容的一部分不被用户感知的音频内容，而处于或高于该阈值水平的值对应于其中触觉内容的该部分被用户感知的音频内容。因此，在这种情况下，触感控制模块285与传感器阵列220一起执行对换能器阵列210的主动控制，以实现无触觉的音频内容。在一个实施例中，可以从例如用户研究中获得针对频率(或频带)的触觉感觉的阈值水平，在用户研究中获得一组受试者的平均触感阈值曲线。在另一个实施例中，可以使用用户可以创建其自己的定制触感阈值曲线的应用来获得针对频率(或频带)的触觉感觉的阈值水平，例如，基本上类似于听力和听力计应用。 [0096] 根据本公开的某些实施例，音频系统200的一个目的可以是通过触觉刺激来增强音频体验。在音频系统200具有换能器阵列210且换能器阵列210在耳朵的耳郭处具有一个或更多个软骨传导换能器用于传递音频信号的情况下，一个或更多个软骨传导换能器也可以产生触觉感觉。触觉感觉可以是音频递送的副产品。可替代地，触觉感觉可以被主动控制为仅触觉的信号，例如振幅低于定义的阈值的信号。 [0097] 在一些实施例中，触感控制模块285控制通过换能器阵列210中的至少一个换能器的致动而给予用户的触觉内容，以传递导航信号，而不干扰视觉或中断其他音频内容，例如电话。带有导航信息的受控的触觉内容可以是传递给用户的唯一内容，或者可以与音频内容一起被传递。在一个或更多个实施例中，向耦合到驾驶员相应耳朵的至少一个软骨传导施加的触觉信号可以提供适当的导航指令。例如，右耳上的嗡嗡声(buzz)可以传达右转指令，左耳上的嗡嗡声可以传达左转指令，双耳上的嗡嗡声可以传达“直行”指令。嗡嗡声可能是间歇性的，也可能是持续性的。在一个实施例中，嗡嗡声可能开始微弱，随着用户更靠近他们应该转弯的十字路口而变得更强。施加到相应耳朵的间歇性嗡嗡声(例如，随时间减弱的嗡嗡声)可以传达用户错过转弯的信息。触感控制模块285可以具有来自例如在用户的移动设备上可用的第三方导航app的关于用户定位和移动方向的信息。可替代地，触感控制模块285可以利用来自映射服务器的定位和地图，并且映射服务器可以生成导航指令并将其提供给触感控制模块285，触感控制模块285适当地控制触觉内容。 [0098] 在一些其他实施例中，触感控制模块285通过控制例如连同音频内容一起呈现给用户的触觉内容，来增强语音可懂度。例如，可以传递触觉刺激来提高对像“b”和“p”这样的非送气音节的听力。在这样的情况下，触觉刺激可以通过例如振动触觉接口(vibrotactile interfaces)来传递，以增强听力。 [0099] 在一些其他实施例中，主动控制的触觉信号可以用于产生近场效应。触感控制模块285可以被配置成通过控制触觉内容来生成具有限定水平的近场效应的音频内容。在一个实施例中，触感控制模块285可以控制触觉内容以产生近场效应，如虚拟蚊子在耳朵周围嗡嗡叫的更真实的感知一样。在另一个实施例中，触感控制模块285可以控制触觉内容以产生近场效应，如靠近用户的耳朵低语的某人(例如某个其他人或虚拟助手)的呼吸一样。 [0100] 通常，听觉(即听力行为)与触摸相结合，用于语音感知。例如，当与脖子或手腕上的吹气同步时，像“b”这样的非送气音节更有可能作为送气的“p”被听到。在现实生活场景中，触觉刺激可以通过振动触觉接口而不是吹气来传递，以增强听力。例如，在嘈杂的环境中，小心传递的触觉刺激可以用来改善语音感知。因此，为了传递优选水平的触觉刺激，触感控制模块285可以执行自然语言处理(NLP)来解码用户正在关注的语音信号。然后，触感控制模块285可以基于经解码的语音信号来适当地调节触觉刺激。 [0101] 在一些实施例中，触觉刺激也可以通过为听觉设计的设备来传递。例如，换能器阵列210中的软骨和骨传导换能器可以传递引起触觉感觉的振动(例如，尤其是在频谱的低端处的振动)。这样的寄生信号也可以用来增强语音感知。触感控制模块285可以通过改变特定声音信号的频谱内容以增加或减少触觉感觉的强度(例如，提升频谱的低端以使“p”更容易理解，并减小频谱的低端以使“b”更容易理解)，来控制用于呈现给用户的触觉内容。在一个或更多个实施例中，触感控制模块285基于存储在例如数据储存器235中并且至少部分基于由传感器阵列220检测到的声音而生成的感知模型来执行对频谱内容的改变。 [0102] 在一个或更多个其他实施例中，触感控制模块285通过增强音频信号的频谱的一部分来控制用于呈现给用户的触觉内容。在耳朵处具有接触换能器(例如，组织换能器170)的头戴式AR眼镜的实例中，触觉控制模块285可以使用麦克风阵列(例如，声学传感器180的阵列)捕获的信号来增强具有声学和触觉内容的定义的组合的自然声源(例如，另一个说话者)。可替代地，触感控制模块285可以仅通过一种模态(听觉或触觉)来执行对频谱的一部分的选择性增强，以增强自然声源。 [0103] 在一些实施例中，触感控制模块285通过例如在远程呈现(telepresence)中控制触觉内容来增强声源。例如，触感控制模块285可以控制触觉内容，以使低语在感知上更具沉浸感和真实感(尽管真实的低语可能不会引起触觉感觉)。由触感控制模块285增强的声源可以位于远离用户的定位处。声源可以是虚拟声源，例如用户肩膀上的虚拟助手或虚拟飞虫。可替代地，声源可以是抽象的，例如用于向用户提供方向信息的触觉嗡嗡叫。 [0104] 在一些实施例中，触感控制模块285对音频信号执行触觉增强，以生成具有触觉内容的音频内容，用于呈现给用户。首先，可以(例如，通过传感器阵列220)记录或(例如，通过触感控制模块285)生成声信号。此后，触感控制模块285可以通过应用例如语音分割、频率选择性滤波、特征提取、某种其他处理技术或其组合来处理声信号以进行触觉增强。触感控制模块285然后可以基于处理后的声信号创建触觉刺激。可替代地，触感控制模块285可以对音频信号滤波，以在音频内容被传递给用户时产生触觉感觉。触觉信号连同声信号一起可以经由位于耳朵附近的换能器阵列210的接触换能器来传递，例如通过耦合到耳屏或耳郭的软骨传导换能器，或者通过骨传导换能器来传递。 [0105] 在一些实施例中，当向用户呈现音频内容时，传感器阵列220检测由换能器阵列 210中的至少一个换能器(例如，软骨传导换能器)产生的声音。触感控制模块285可以检测检测到的声音的衰减水平(例如由于声压波的软骨传导而导致)。触感控制模块285然后可以基于检测到的衰减水平来处理音频信号，以减轻该音频信号中的声学内容的衰减。在一些实施例中，触感控制模块285对检测到的声音执行机器学习以训练分类器。触感控制模块 285可以基于检测到的声音的类型和特征，应用训练的分类器来将检测到的声音分类成不同的类别(即，不同类型的衰减)。如果特定类型的衰减高于阈值水平，触感控制模块285还可以警告用户。 [0106] 图2B是示出根据一个或更多个实施例的作为频率的函数的用于例如音频系统200中的换能器阵列210的换能器的平均触感阈值水平的示例曲线图290。图2B中所示的曲线 295表示作为触觉内容的频率的函数的平均触感阈值水平(例如，被表示为声压水平(SPL))。曲线图290示出了所呈现内容的可听度和触觉感觉两者的阈值水平。曲线295下方的SPL的值对应于特定频率的触觉内容的一部分不会被“普通用户(average user)”感知的情况。曲线295处或上方的SPL的值对应于触觉内容的该部分被“普通用户”感知的情况。例如，曲线图290显示，在200Hz处，如果软骨传导换能器产生的SPL高于大约80dB，“普通用户”同时感知到音频和触觉两者，即用户不仅听到而且感到感觉。 [0107] 触感阈值曲线295基于通过平均一组用户的触感阈值而为该组用户收集的触感阈值数据。在图示的实施例中，使用放置在每个用户的耳朵上的同一位置处的特定(例如，定制的)软骨传导换能器来获得由SPL的dB水平表示的触感阈值数据。并且软骨传导换能器的激励水平递增，直到感知的音频变成双模的，即包括音频内容和触觉内容。注意，可以通过利用不同的软骨传导换能器，基于例如传输到每个用户的皮肤和空气的能量的量，来产生不同于图2B的触感阈值曲线。此外，当使用不同的换能器设备测量SPL时，SPL和触觉感觉之间的关系可能不同。 [0108] 图2B的触感阈值曲线295显示，在较低的频率处，与在较高的频率处相比，处于触觉域的概率更高。曲线图290中所示的触感阈值数据是使用例如放置在耳道入口处的麦克风获得的。如果使用与耳郭接触的加速度计，可以获得类似的阈值曲线。在这种情况下，触感阈值数据将表示内容何时能够被听到且被感觉到的加速度阈值。注意，加速度阈值可以被转换成关于速度的信息(例如，通过积分)或关于组织位移的信息(例如，通过二重积分(double integration))。在其他实施例中(图2B中未示出)，对于骨传导和空气传导，可以获得类似的曲线。 [0109] 图3是根据一个或更多个实施例的用于在呈现音频内容的同时调整触觉内容的水平的方法300的流程图。图3所示的过程可以由音频系统(例如，音频系统200)的部件来执行。在其他实施例中，其他实体可以执行图3中的一些或所有步骤。实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。音频系统可以是头戴式装置的一部分。 [0110] 音频系统(例如，经由传感器阵列220)检测310由换能器阵列的换能器产生的声音。音频系统可以例如通过耦合到组织或位于组织中的一个或更多个传感器来检测用户组织内的触觉感觉。可替代地或附加地，当向用户呈现音频时，音频系统可以监控由换能器产生的声压和/或加速度。音频系统可以基于所监控的声压和/或加速度来控制呈现给用户的音频，使得对于定义的频率，音频内容的振幅低于触感阈值水平。低于阈值水平的振幅的值对应于其中该频率的触觉内容的一部分不会被用户感知的音频，而处于或高于阈值水平的值对应于其中触觉内容的该部分被用户感知的音频。 [0111] 音频系统基于在频带内的检测到的声音的一部分，导出320针对该频带的换能器的致动参数的触感阈值水平。低于触感阈值水平的致动参数的值对应于该频带的触觉内容的一部分不会被用户感知的致动范围，而处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。在一些实施例中，音频系统基于在低于定义的阈值频率的频带中的检测到的声音的部分，为用户估计换能器的灵敏度水平。音频系统基于估计的灵敏度水平来导出致动参数的阈值水平。在一些其他实施例中，音频系统基于例如由位于用户组织内的传感器阵列220的一个或更多个传感器检测到的触觉感觉来导出致动参数的阈值水平。 [0112] 在一些实施例中，基于检测到的特定用户的触觉感觉和/或递送的触觉内容的多个频带的声学环境，音频系统被校准以生成感知模型。感知模型可以包括关于作为频带(或频率)的函数的用于致动换能器的致动参数(例如，输入电压)的触感阈值水平的信息。对于多个用户和/或多个声学环境，感知模型可以是相同的。可替代地，感知模型对于特定用户和/或特定声学环境可以是唯一的。 [0113] 当向用户呈现音频内容时，音频系统(例如，经由触感控制模块285)调整330将通过换能器阵列中的换能器的致动而给予用户的触觉内容的水平。音频系统可以通过相对于特定频带的触感阈值水平调整换能器的致动参数(即，诸如电压或电流的致动信号的水平)来调整触觉内容的水平。在一些实施例中，当致动换能器时，音频系统将致动参数调整为低于触感阈值水平，使得特定频带的触觉内容的一部分不会被用户感知。音频系统可以基于感知模型来调整触觉内容的水平。 [0114] 音频系统指示340换能器向用户呈现音频内容，其中音频内容包括经调整水平的触觉内容。音频系统(例如，触感控制模块285)可以将针对频带的致动参数水平(例如，输入电压水平)应用于换能器的致动器且该致动参数水平低于该频带的触感阈值水平，使得用户不会感知到该频带的任何触觉感觉。 [0115] 图4是根据一个或更多个实施例的用于控制呈现给用户的触觉内容的方法400的流程图。图4所示的过程可以由音频系统(例如，音频系统200)的部件来执行。在其他实施例中，其他实体可以执行图4中的一些或所有步骤。实施例可以包括不同的和/或附加的步骤，或者以不同的顺序执行这些步骤。音频系统可以是头戴式装置的一部分。 [0116] 当向用户呈现音频内容时，音频系统(例如，经由触感控制模块285)控制410将通过换能器阵列中的至少一个换能器的致动而给予用户的触觉内容的量。音频系统可以通过使用受控的触觉内容来提供导航信息。此外，音频系统可以通过控制所呈现的音频内容内的触觉内容的量来增加呈现给用户的音频内容的语音可懂度。可替代地或附加地，音频系统可以通过控制所呈现的音频内容内的触觉内容的量来生成具有限定水平的近场效应的音频内容。 [0117] 在一些实施例中，音频系统在生成音频内容时，通过基于感知模型(例如，存储在数据储存器235处)改变输入音频信号的频谱内容来控制触觉内容的量。音频系统可以(例如，通过传感器阵列)检测由换能器阵列产生的声音。音频系统可以将关于检测到的声音的信息输入到感知模型中，以调整触觉内容的水平。在一些其他实施例中，当生成用于呈现给用户的音频内容时，音频系统通过增强音频信号的频谱的一部分来控制触觉内容。在又一些其他实施例中，音频系统通过控制触觉内容来增强声源，其中声源(例如，虚拟声源)位于远离用户的定位处。 [0118] 在一些实施例中，音频控制器对输入音频信号执行触觉增强，以创建具有触觉内容的音频内容，用于呈现给用户。在一些其他实施例中，音频系统(例如，通过传感器阵列)检测由包括至少一个软骨传导换能器的换能器阵列产生的声音。音频系统可以检测检测到的声音的衰减水平(例如，由于声压波的软骨传导而导致)。音频系统可以基于检测到的衰减水平来处理音频信号，以减轻用于呈现给用户的音频内容中的声学内容的衰减。 [0119] 音频系统指示420换能器阵列向用户呈现音频内容，其中音频内容包括触觉内容。 在一些实施例中，音频系统使用触觉内容向用户提供导航指令。换能器阵列可以包括多个软骨传导换能器，其中至少一个软骨传导换能器附接到用户的相应的耳朵。音频系统通过至少一个软骨传导换能器将触觉内容应用于相应的耳朵，以向用户提供例如导航指令。 [0120] 系统环境 [0121] 图5是根据一个或更多个实施例的包括头戴式装置505的系统500。在一些实施例中，头戴式装置505可以是图1A的头戴式装置100或图1B的头戴式装置105。系统500可以在人工现实环境(例如，虚拟现实环境、增强现实环境、混合现实环境或其某种组合)中操作。 图5所示的系统500包括头戴式装置505、耦合到控制台515的输入/输出(I/O)接口510、网络 520和映射服务器525。虽然图5示出了包括一个头戴式装置505和一个I/O接口510的示例系统500，但是在其他实施例中，系统500中可以包括任意数量的这些部件。例如，可以有多个头戴式装置，每个头戴式装置具有相关联的I/O接口510，每个头戴式装置和I/O接口510与控制台515通信。在替代配置中，系统500中可以包括不同的和/或附加的部件。此外，在一些实施例中，结合图5中所示的一个或更多个部件描述的功能可以以与结合图5描述的方式不同的方式分布在部件之间。例如，控制台515的一些或全部功能可以由头戴式装置505提供。 [0122] 头戴式装置505包括显示组件530、光学块535、一个或更多个位置传感器540和DCA 545。头戴式装置505的一些实施例具有与结合图5描述的部件不同的部件。此外，在其他实施例中，结合图5描述的各种部件提供的功能可以不同地分布在头戴式装置505的部件之间，或者被捕获在远离头戴式装置505的单独组件中。 [0123] 显示组件530根据从控制台515接收的数据向用户显示内容。显示组件530使用一个或更多个显示元件(例如，显示元件120)显示内容。显示元件可以是例如电子显示器。在各种实施例中，显示组件530包括单个显示元件或多个显示元件(例如，用于用户的每只眼睛的显示器)。电子显示器的示例包括：液晶显示器(LCD)、有机发光二极管(OLED)显示器、有源矩阵有机发光二极管显示器(AMOLED)、波导显示器、某种其他显示器或其某种组合。须注意，在一些实施例中，显示元件120还可以包括光学块535的一些或全部功能。 [0124] 光学块535可以放大从电子显示器接收到的图像光，校正与图像光相关联的光学误差，并且将校正后的图像光呈现给头戴式装置505的一个或两个视窗。在各种实施例中，光学块535包括一个或更多个光学元件。光学块535中包括的示例光学元件包括：光圈、菲涅尔透镜、凸透镜、凹透镜、滤光器、反射表面或影响图像光的任何其他合适的光学元件。此外，光学块535可以包括不同光学元件的组合。在一些实施例中，光学块535中的一个或更多个光学元件可具有一个或更多个涂层，诸如部分反射或抗反射涂层。 [0125] 光学块535对图像光的放大和聚焦允许电子显示器比更大的显示器物理上更小、重量更轻并且消耗更少的功率。另外，放大可以增大电子显示器所呈现的内容的视场。例如，所显示内容的视场使得所显示内容使用用户的几乎所有视场(例如，大约110度对角线)、且在一些情况下使用所有视场来呈现。此外，在一些实施例中，可以通过添加或移除光学元件来调整放大的量。 [0126] 在一些实施例中，光学块535可以被设计为校正一种或更多种类型的光学误差。光学误差的示例包括桶形或枕形失真、纵向色差或横向色差。其他类型的光学误差可以进一步包括球面像差、色差或由于透镜场曲率、散光或任何其他类型的光学误差引起的误差。在一些实施例中，被提供给电子显示器用于显示的内容被预失真，并且当光学块535从电子显示器接收基于内容生成的图像光时，光学块435校正失真。 [0127] 位置传感器540是生成指示头戴式装置505的位置的数据的电子设备。位置传感器 540响应于头戴式装置505的运动而生成一个或更多个测量信号。位置传感器190是位置传感器540的实施例。位置传感器540的示例包括：一个或更多个IMU、一个或更多个加速度计、一个或更多个陀螺仪、一个或更多个磁力计、检测运动的另一种合适类型的传感器或其某种组合。位置传感器540可以包括测量平移运动(向前/向后、向上/向下、向左/向右)的多个加速度计和测量旋转运动(例如，俯仰、偏航、横滚)的多个陀螺仪。在一些实施例中，IMU对测量信号进行快速采样并根据所采样的数据计算头戴式装置505的所估计的位置。例如，IMU对从加速度计接收到的测量信号在时间上求积分以估计速度矢量并且对速度矢量在时间上求积分以确定头戴式装置505上的参考点的估计位置。参考点是可以用来描述头戴式装置505的位置的点。虽然参考点通常可以定义为空间中的点，然而实际上参考点被定义为头戴式装置505内的点。 [0128] DCA 545为局部区域的一部分生成深度信息。DCA包括DCA控制器和一个或更多个成像设备。DCA 545还可以包括照明器。DCA 545的操作和结构在上面关于图1A进行了描述。 [0129] 音频系统550向头戴式装置505的用户提供音频内容。音频系统550基本上与上述音频系统200相同。音频系统550可以包括一个或更多个声学传感器、一个或更多个换能器和音频控制器。音频系统550可以向用户提供空间化的音频内容。在一些实施例中，音频系统550可以通过网络520向映射服务器525请求声学参数。声学参数描述局部区域的一个或更多个声学特性(例如，房间脉冲响应、混响时间、混响水平等)。音频系统550还可以向映射服务器525请求导航指令。例如，佩戴头戴式装置505的用户可以提供目的地信息，并且映射服务器525可以使用用户定位、所提供的目的地和区域的模型来生成导航指令。音频系统 550可以从例如DCA545提供描述局部区域的至少一部分的信息和/或从位置传感器540接收头戴式装置505的定位信息。音频系统550可以使用从映射服务器525接收的一个或更多个声学参数生成一个或更多个声音滤波器，并使用声音滤波器向用户提供音频内容。 [0130] 在一些实施例中，音频系统550控制一个或更多个换能器，以例如在向用户呈现音频内容的同时，调整通过一个或更多个换能器的致动而给予用户的触觉内容的水平。音频系统550可以通过相对于阈值水平针对频带调整一个或更多个换能器的致动参数来调整触觉内容的水平。低于阈值水平的致动参数的值对应于该频带的触觉内容的一部分不会被用户感知的致动范围，而处于或高于阈值水平的值对应于触觉内容的该部分被用户感知的范围。 [0131] 在一些其他实施例中，音频系统550控制通过换能器阵列中的至少一个换能器的致动而给予用户的触觉内容。音频系统550例如经由一个或更多个换能器向用户呈现受控的触觉内容。音频系统550可以使用触觉内容，例如通过经由附接到耳朵的至少一个软骨传导换能器将触觉内容应用到用户的相应耳朵，来向用户提供导航指令。音频系统550还可以通过控制触觉内容来增加呈现给用户的音频内容的语音可懂度。可替代地或附加地，音频系统550可以通过控制触觉内容来生成具有限定水平的近场效应的音频内容。 [0132] I/O接口510是允许用户发送动作请求并从控制台515接收响应的设备。动作请求是执行特定动作的请求。例如，动作请求可以是开始或结束图像或视频数据的捕获的指令，或者是在应用内执行特定动作的指令。I/O接口510可以包括一个或更多个输入设备。示例输入设备包括键盘、鼠标、游戏控制器、或者用于接收动作请求并将动作请求传送到控制台 515的任何其他合适的设备。由I/O接口510接收的动作请求被传送到控制台515，控制台515执行对应于动作请求的动作。在一些实施例中，I/O接口510包括IMU，其捕获指示相对于I/O接口510的初始位置的I/O接口510的估计位置的校准数据。在一些实施例中，I/O接口510可以根据从控制台515接收的指令来向用户提供触觉反馈。例如，当接收到动作请求时提供触觉反馈，或者控制台515将指令传送到I/O接口510，从而使I/O接口510在控制台515执行动作时生成触觉反馈。 [0133] 控制台515向头戴式装置505提供内容以根据从以下一项或更多项接收到的信息进行处理：DCA 545、头戴式装置505和I/O接口510。在图5所示的示例中，控制台515包括应用储存器555、跟踪模块560和引擎565。控制台515的一些实施例具有与结合图5描述的那些不同的模块或部件。类似地，下面进一步描述的功能可以以不同于结合图5描述的方式分布在控制台515的部件之间。在一些实施例中，本文参照控制台515讨论的功能可以在头戴式装置505或远程系统中实现。 [0134] 应用储存器555存储由控制台515执行的一个或更多个应用。应用是一组指令，当由处理器执行时，该指令生成用于呈现给用户的内容。应用生成的内容可以响应于经由头戴式装置505或I/O接口510的移动从用户接收到的输入。应用的示例包括：游戏应用、会议应用、视频回放应用或其他合适的应用。 [0135] 跟踪模块560使用来自DCA 545、一个或更多个位置传感器540或其某种组合的信息来跟踪头戴式装置505或I/O接口510的移动。例如，跟踪模块560基于来自头戴式装置505的信息来确定在局部区域的映射中头戴式装置505的参考点的位置。跟踪模块560还可以确定对象或虚拟对象的位置。另外，在一些实施例中，跟踪模块560可以使用来自位置传感器 540的指示头戴式装置505的位置的数据的部分以及来自DCA 545的局部区域的表示来预测头戴式装置505的未来定位。跟踪模块560向引擎565提供头戴式装置505或I/O接口510的估计或预测的未来位置。 [0136] 引擎565执行应用，并从跟踪模块560接收头戴式装置505的位置信息、加速度信息、速度信息、所预测的未来位置或它们的某种组合。基于接收到的信息，引擎565确定提供给头戴式装置505以呈现给用户的内容。例如，如果接收到的信息指示用户已经向左看，则引擎565生成用于头戴式装置505的内容，该内容反映(mirror)用户在虚拟局部区域中或在用附加内容增强局部区域的局部区域中的移动。此外，引擎565响应于从I/O接口510接收到的动作请求而在控制台515上执行的应用内执行动作，并向用户提供该动作被执行的反馈。 所提供的反馈可以是经由头戴式装置505的视觉或听觉反馈或经由I/O接口510的触觉反馈。 [0137] 网络520将头戴式装置505和/或控制台515耦合到映射服务器525。网络520可以包括使用无线和/或有线通信系统的局域网和/或广域网的任意组合。例如，网络520可以包括互联网以及移动电话网络。在一个实施例中，网络520使用标准通信技术和/或协议。因此，网络520可以包括使用诸如以太网、802.11、全球微波接入互操作性(WiMAX)、2G/3G/4G移动通信协议、数字用户线路(DSL)、异步传输模式(ATM)、无限带宽技术(InfiniBand)、PCI Express高级交换等技术的链路。类似地，网络520上使用的网络协议可以包括多协议标签交换(MPLS)、传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)、简单邮件传输协议(SMTP)、文件传输协议(FTP)等。通过网络520交换的数据可以使用包括二进制形式的图像数据(例如，便携式网络图形(PNG))、超文本标记语言(HTML)、可扩展标记语言(XML)等的技术和/或格式来表示。此外，所有或一些链路可以使用常规加密技术进行加密，例如安全套接字层(SSL)、传输层安全性(TLS)、虚拟专用网络(VPN)、互联网协议安全性(IPsec)等。 [0138] 映射服务器525可以包括存储描述多个空间的虚拟模型的数据库，其中虚拟模型中的一个定位对应于头戴式装置505的局部区域的当前配置。映射服务器525经由网络520从头戴式装置505接收描述局部区域的至少一部分的信息和/或局部区域的定位信息。映射服务器525基于接收到的信息和/或定位信息，确定虚拟模型中与头戴式装置505的局部区域相关联的定位。映射服务器525部分地基于虚拟模型中确定的定位和与确定的定位相关联的任何声学参数来确定(例如，检索)与局部区域相关联的一个或更多个声学参数。映射服务器525可以将局部区域的定位和与局部区域相关联的任何声学参数值传输到头戴式装置505。映射服务器525可以向音频系统550提供导航指令。映射服务器525可以使用用户定位、用户提供的目的地和区域的模型来生成导航指令。 [0139] 附加的配置信息 [0140] 为了说明提出了实施例的前述描述；它并不旨在是无遗漏的或将专利权利限制到所公开的精确形式。相关领域的技术人员可以理解，考虑到上述公开，许多修改和变化是可能的。 [0141] 本说明书的一些部分根据对信息的操作的算法和符号表示来描述实施例。数据处理领域的技术人员通常使用这些算法描述和表示来向本领域的其他技术人员有效地传达他们工作的实质。这些操作虽然在功能上、计算上或逻辑上进行了描述，但应理解为将由计算机程序或等效电路、微代码等来实现。此外，将操作的这些布置称为模块有时候也被证明是方便的而不失一般性。所描述的操作和它们的相关模块可以体现在软件、固件、硬件或它们的任何组合中。 [0142] 可以利用一个或更多个硬件或软件模块单独地或与其他设备组合地来执行或实现本文描述的任何步骤、操作或过程。在一个实施例中，利用包括包含计算机程序代码的计算机可读介质的计算机程序产品来实现软件模块，计算机程序代码可以由计算机处理器执行，用于执行所描述的任何或全部步骤、操作或过程。 [0143] 实施例还可以涉及用于执行本文的操作的装置。该装置可以被特别构造成用于所需的目的，和/或它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算设备。这样的计算机程序可以存储在非暂时性的、有形的计算机可读存储介质中，或者适于存储电子指令的任何类型的介质中，这些介质可以耦合到计算机系统总线。此外，说明书中提到的任何计算系统可以包括单个处理器，或者可以是采用多处理器设计以提高计算能力的架构。 [0144] 实施例还可以涉及通过本文描述的计算过程生产的产品。这样的产品可以包括从计算过程得到的信息，其中信息被存储在非暂时性的、有形的计算机可读存储介质上且可以包括计算机程序产品或本文所述的其他数据组合的任何实施例。 [0145] 最后，说明书中使用的语言主要是出于可读性和指导性的目的而选择的，它可能不是为了描述或限制专利权利而选择的。因此，本专利权利的范围不受本详细描述的限制，而是受在基于此的申请上发布的任何权利要求的限制。因此，实施例的公开旨在说明而非限制在所附权利要求中阐述的专利权利的范围。