动态音频优化 背景技术 1.技术领域 [0001] 本发明总体上涉及动态音频优化。更具体地，本发明涉及与和数字内容相关联的虚拟环境有关的动态音频优化。 [0002] 2.背景技术 [0003] 目前可用的数字内容可包括与虚拟环境相关联地呈现的视听数据和其他类型的数据。因此，播放与此类数字内容相关联的音频(例如，交互式游戏标题和与虚拟环境相关联的其他内容标题)可涉及使用一个或多个音频输出装置，包括家庭影院装置、电视、控制台、控制器、手持装置、计算装置(包括台式机、笔记本电脑、平板电脑和其他移动装置)、其他类型的扬声器和超低音扬声器、耳机(包括头戴式耳机、耳塞或其他头戴式或耳挂式扬声器)以及可能包括相关联音频输出部件的其他外围装置或附件装置。此外，每种类型的音频输出装置可能具有不同的能力和设置可用，并且每个音频输出装置在具有不同声学特性的房间或空间中播放时产生的声音可能不同。 [0004] 例如，播放交互式游戏标题可能涉及呈现与虚拟环境相关联的多种不同的视听效果，但是播放器可能会在指定的播放室内使用特定的音频装置组合。视听效果可包括音轨、乐谱、与虚拟(例如，游戏内)环境相关联的背景噪声、与虚拟角色和对象相关联的声音等。 在交互式游戏标题的游戏会话期间，可同时呈现多种不同类型的音频。例如，游戏内场景可与以下各项相关联：乐谱、与虚拟环境中的具体位置相关联的环境声音、以及正在说话或以其他方式发出噪声或其他音频效果的一个或多个虚拟角色和对象。然而，不同的用户可能拥有不同的音频输出装置组合(每个装置都有各自的音频能力和设置，并在不同形状和配置的房间或空间内产生不同类型的声音)。由于这种差异，每个用户对相同数字内容的音频体验可能会有所不同。 [0005] 此外，不同的间歇性或反复性约束可能会进一步导致或要求遵守某些音频参数。 例如，合住家庭(或多户家庭住房)在听力范围内有小孩、年迈的父母或不满的邻居，可能会在白天或晚上的某些时段实施噪声限制。此外，与数字内容相关联的音频(例如，在沉浸式虚拟现实会话期间播放)也可能会淹没用户听到真实世界环境中发生的事情的能力。此外，其他用户——尤其是患有听力相关疾病的用户——对音频设置的偏好可能与没有此类疾病的用户不同。因此，可能需要基于许多不同的因素来调整音频参数，包括播放不同数字内容标题、不同的音频输出装置可用、使用不同的播放空间、不同的用户能力和敏感度、不同的现有条件等，从而优化用户的音频体验。 [0006] 因此，本领域需要改进与数字内容相关联的动态音频优化的系统和方法。 发明内容 [0007] 本发明的实施方案包括用于与数字内容相关联的动态音频优化的系统和方法。可以将包括针对用户可用的一个或多个音频输出装置的一个或多个音频设置的一个或多个音频配置文件存储在存储器中。可以监测与所述用户的当前交互式会话相关联的传入音频流和所述用户所在的识别的真实世界空间内的真实世界音频。可以基于对所述传入音频流与所述识别的真实世界空间内的所述真实世界音频的比较来检测一个或多个音频偏差。可以自动重新校准与所述当前交互式会话相关联的音频配置文件，以修改所述音频设置中的至少一个音频设置。然后，所述音频输出装置可以根据所述至少一个修改的音频设置来处理所述传入音频流的音频。 附图说明 [0008] 图1示出了其中可以实施用于与数字内容相关联的动态音频优化的系统的网络环境。 [0009] 图2示出了可用于向用于与数字内容相关联的动态音频优化的系统提供数据的示例性统一数据系统(UDS)。 [0010] 图3是示出了用于与数字内容相关联的动态音频优化的示例性方法的流程图。 [0011] 图4是示出了与数字内容相关联的动态音频优化的示例性实现方式的图。 [0012] 图5是可用于本发明的实施方案中的示例性电子娱乐系统的框图。 具体实施方式 [0013] 本发明的实施方案包括用于与数字内容相关联的动态音频优化的系统和方法。可以将包括针对用户可用的一个或多个音频输出装置的一个或多个音频设置的一个或多个音频配置文件存储在存储器中。可以监测与所述用户的当前交互式会话相关联的传入音频流和所述用户所在的识别的真实世界空间内的真实世界音频。可以基于对所述传入音频流与所述识别的真实世界空间内的所述真实世界音频的比较来检测一个或多个音频偏差。可以自动重新校准与所述当前交互式会话相关联的音频配置文件，以修改所述音频设置中的至少一个音频设置。然后，所述音频输出装置可以根据所述至少一个修改的音频设置来处理所述传入音频流的音频。 [0014] 图1示出了其中可以实施用于与数字内容相关联的动态音频优化的系统的网络环境100。网络环境100可包括：一个或多个内容源服务器110，所述内容源服务器提供数字内容(例如，游戏、其他应用和服务)以用于分发；一个或多个内容提供商服务器应用程序接口(API)120；内容分发网络服务器130；音频分析服务器140；以及一个或多个用户装置150。网络环境100中的装置使用一个或多个通信网络彼此通信，所述通信网络可包括本地专有网络(例如，内联网)和/或可以是更大的广域网的一部分。通信网络可以是局域网(LAN)，其可通信地耦合至诸如互联网的广域网(WAN)。互联网是互连计算机和服务器的宽网络，其允许在通过网络服务提供商连接的用户之间传输和交换互联网协议(IP)数据。网络服务提供商的示例有：公共交换电话网、有线服务提供商、数字用户线路(DSL)服务提供商或卫星服务提供商。一个或多个通信网络允许在网络环境100中的各种部件之间的通信。 [0015] 本文所描述的服务器可包括如本领域中已知的任何类型的服务器，包括标准硬件计算部件，诸如网络和媒体接口、非暂时性计算机可读存储装置(存储器)和用于执行指令或访问可存储在存储器中的信息的处理器。多个服务器的功能可集成到单个服务器中。任何上述服务器(或集成服务器)都可具有某些客户端侧、高速缓存或代理服务器特性。这些特性可取决于服务器的特定网络布置或服务器的某些配置。 [0016] 内容源服务器110可维持和提供可用于通过通信网络分发的多种数字内容和数字服务。内容源服务器110可与使其内容可用于通过通信网络访问的任何内容提供商相关联。 内容源服务器110因此可托管多种不同的内容标题，这些内容标题可能还与关于在交互式会话期间显示在数字或虚拟环境中的数字或虚拟对象的对象数据(例如，活动信息、区域信息、角色信息、玩家信息、其他游戏媒体信息等)相关联。 [0017] 此类内容可能不仅包括数字视频和游戏，还包括其他类型的数字应用和服务。此类应用和服务可包括可提供给用户装置150的任何多种不同的数字内容和功能，包括提供和支持聊天及其他通信频道。聊天和通信服务可包括基于语音、基于文本和基于视频的消息。因此，用户装置150可参与与一个或多个通信会话同时进行的游戏会话，并且游戏会话和通信会话可托管在内容源服务器110中的一个或多个上。 [0018] 可通过内容提供商服务器API 120提供来自内容源服务器110的内容，所述内容提供商服务器API允许各种类型的内容源服务器110与网络环境100中的其他服务器(例如，用户装置150)进行通信。内容提供商服务器API 120可特定于提供内容的内容源服务器110的以及用户装置150和网络环境100的其他装置的特定操作语言、系统、平台、协议等。在包括多种不同类型的内容源服务器110的网络环境100中，可同样存在对应数量的内容提供商服务器API 120，其允许各种格式化、转换和其他跨装置和跨平台通信过程以用于将内容和其他服务提供给不同的用户装置150，所述不同的用户装置可各自分别使用不同的操作系统、协议等来处理此类内容。因此，可使呈不同格式的应用和服务可用，以便与多种不同的用户装置150兼容。在包括多种不同类型的内容源服务器110、内容分发网络服务器130、转译过滤服务器140、用户装置150和数据库160的网络环境100中，同样可存在由内容提供商服务器API 120管理的对应数量的API。 [0019] 内容提供商服务器API 120还可促进用户装置150中的每一者直接或经由内容分发网络服务器130访问由内容源服务器110托管的内容或提供的服务。关于所访问的内容或服务的附加信息(诸如元数据)也可由内容提供商服务器API 120提供给用户装置150。如下文所描述，附加信息(例如，对象数据、元数据)可以是可用于提供关于提供给用户装置150的内容或服务的细节。在一些实施方案中，经由内容提供商服务器API 120从内容源服务器 110提供给用户装置150的服务可包括与其他内容或服务相关联的支持服务，诸如与特定游戏、团队、社区等相关联的聊天服务、评级和配置文件。在此类情况下，内容源服务器110也可经由内容提供商服务器API 120彼此通信。 [0020] 内容分发网络服务器130可包括将与来自内容源服务器110的内容有关的资源、文件等(包括各种内容和服务配置)提供给用户装置150的服务器。内容分发网络服务器130还可由请求访问特定内容或服务的用户装置150调用。内容分发网络服务器130可包括全域管理服务器、游戏服务器、流式传输媒体服务器、托管可下载内容的服务器以及本领域中已知的其他内容分发服务器。 [0021] 音频分析服务器140可包括本领域已知的能够与不同的内容源服务器110、内容提供商服务器API 120、内容分发网络服务器130、用户装置150和数据库160通信的任何数据服务器。此类音频分析服务器140可在一个或多个云服务器上实施，所述云服务器执行与交互式内容(例如，游戏、活动、视频、播客、用户生成内容(“UGC”)、发布者内容等)相关联的指令。音频分析服务器140还可以执行指令，例如，用于监测真实世界空间(例如，房间)中的一个或多个音频输出装置的一个或多个传入音频流，以及真实世界空间内的真实世界音频输出。具体而言，音频分析服务器140可以基于一个或多个存储的音频配置文件，对照传入音频流来分析音频输出。音频分析服务器140可以根据对传入和输出的音频的分析来校准(并且不断地重新校准)音频输出装置的音频设置。音频配置文件中可以存储不同组音频设置，其可以特定于某个空间(例如，Jen的客厅)、特定于数字内容标题(例如，Fortnite)和/或特定于一组条件(例如，深夜12点之后、环境声级)。 [0022] 用户装置150可包括本领域中已知的多种不同类型的计算装置。用户装置150可以是包括任意数量的不同游戏控制台、移动装置、笔记本电脑和台式机的计算装置。此类用户装置150还可被配置为从其他存储介质访问数据，所述其他存储介质诸如但不限于在下载的服务的情况下可能适当的存储卡或磁盘驱动器。此类用户装置150可包括标准硬件计算部件，诸如但不限于网络和媒体接口、非暂时性计算机可读存储装置(存储器)和用于执行可存储在存储器中的指令的处理器。这些用户装置150还可使用多种不同的操作系统(例如，iOS、Android)、应用或计算语言(例如，C++、JavaScript)来运行。在本文中关于图5详细描述了示例性客户端装置150。每个用户装置150可与数字内容流的集合相关的参与者(例如，玩家)或其他类型的用户(例如，观众)相关联。 [0023] 在一些实施方案中，用户装置150可以包括位于与特定用户或用户组相关联的真实世界空间(例如，客厅、起居室、游戏室或其他建筑空间)中的一组不同类型的用户装置。 用户装置150可以包括例如能够输出和/或捕获音频或声音以及与通信网络100和/或真实世界空间中的其他用户装置150通信的任何装置(包括智能装置)。因此，用户装置150可以包括家庭影院装置、电视、条形音箱、装置控制器、手持装置、扬声器和超低音扬声器、耳机(包括头戴式耳机、耳塞或其他头戴式或耳挂式扬声器)、可以包括相关联音频输出部件的其他外围装置或附件装置，以及传声器(可以与另一用户装置分离或内置于另一用户装置中)。一些装置可能同时包括传声器和音频输出部件(例如，扬声器)。因此，用户装置150还可以包括智能家居装置、物联网(IoT)装置、虚拟助理装置、婴儿和宠物监测装置等。 [0024] 在示例性实施方案中，用户装置150的分布在特定真实世界空间(例如，游戏室)中的子集可以包括音频输出装置，每个音频输出装置可以位于真实世界空间内的不同位置并且包括不同的音频能力(例如，单声道与立体声、3D音频效果、噪声消除、频率范围、音量范围、高音/低音等)和相关设置。真实世界空间可以以多种不同的方式配置，这些方式可能会对在空间内部和整个空间中传播的音频和声波产生不同的影响。例如，墙壁的配置、天花板的高度、具有不同反射、吸收或扩散属性的表面材料、物体或个人的存在等，都可能会影响用户在真实世界空间中体验音频的方式。此外，由于用户装置150可以包括移动、手持或其他便携式装置，因此真实世界空间内的特定一组音频输出装置不仅可能在真实世界空间内的存在方面发生变化，而且在真实世界空间内的相对位置也可能基于用户的移动或重新定位而发生变化。此外，用户在真实世界空间内的具体位置也可能会导致略微不同的音频体验。 [0025] 虽然是单独描绘的，但是数据库160可存储在网络环境100中所示的服务器和装置中的任一者上、在同一服务器上、在不同服务器上或在用户装置150中的任一者上。此类数据库160可存储或链接到用于音频分析和修改的各种源和服务。此外，数据库160可以存储各种不同的音频配置文件(例如，与特定的真实世界空间、内容标题或当前会话的其他条件相关联)和关于可用音频设置的信息，以及可能特定于特定用户、用户群体或团队、用户类别、游戏标题、游戏风格、声音类型、条件等的音频修改和定制。音频配置文件可用于识别特定的说话语音(例如，用户的、特定的其他用户的)，其可用作音频参数，该音频参数可被进行优先级排序并进行音频修改。针对每个用户、真实世界空间、内容标题或条件，也可以在数据库160中存储一个或多个音频配置文件。 [0026] 用户特定音频配置文件还可以包括用户根据偏好指定或采用的一组音频参数。例如，用户可能更喜欢高音量或高水平的低音。此类音频参数——以及与用户相关联并且会导致此类音频参数的特定音频装置的设置——可以存储在音频配置文件中，并且在确定偏好已经发生改变时进行更新。在另一个示例中，某些用户可能具有不同的听力相关疾病，这使得某些声音或频率令人不愉快或难以辨别。针对此类用户优化的音频配置文件可以指定适用于修改传入音频流的音频设置，以减少从与用户相关联的音频输出装置输出的有问题的声音或频率。不同的听力偏好(例如，频率响应范围、速度范围、音量范围)也可由用户指定并存储在音频配置文件中，以及与用户相关联并且适用于传入音频流以根据用户偏好进行优化的针对特定音频输出装置的相关音频设置。偏好和相关音频设置可应用于流组合、单独的流和/或流内的特定声音/言语，以及音频输出装置组合或单独的音频输出装置。 [0027] 还可以使用一个或多个传声器来捕获关于交互式会话期间用户所在的真实世界空间内的声音和音频的数据。与数字音频流相比，所捕获的关于声音和音频的数据可能包括或指示环境噪声、回声和其他音频偏差或失真。因此，音频分析服务器140可以在当前会话期间监测并将传入的数字音频流与真实世界音频进行比较，以识别和测量不同类型的音频偏差或失真，以及确定哪些音频设置可以补偿或抵消与特定真实世界空间相关联的识别音频偏差或失真。分析的结果可以存储在与真实世界空间及其特性和属性(包括声学属性)特别相关联的音频配置文件中。 [0028] 还可根据特定内容标题、内容类型(例如，电影与游戏与虚拟音乐会)、同伴组(例如，朋友、队友、竞争对手、观众)、频道或平台(例如，游戏内聊天、外部聊天服务(诸如Discord))以及会话的其他特性来指定不同的音频配置文件。在给定会话中，真实世界空间中的一个或多个用户装置150可以接收相同或不同的音频流。音频分析服务器140可以充当中间装置，其在将流传送到(一个或多个)音频输出装置以供处理和播放之前修改音频设置中的一个或多个。替代地，音频分析服务器140可以结合一个或多个本地应用来操作，以向(一个或多个)用户装置150提供和应用音频相关的见解和设置修改。 [0029] 真实世界音频可能不会随着时间的推移不断地或一致地表现出相同的音频失真或偏差。因此，音频分析服务器140可以基于变化的条件不断地重新校准音频配置文件。重新校准的音频配置文件可以指定与抵消或补偿当前会话期间实时地(或接近实时地)检测到的音频失真或偏差相关联的不同音频设置。在某些家庭或其他真实世界空间中，音频失真或偏差的类型——或其他约束——可能会反复出现。例如，交通噪声在高峰时间可能特别大，小孩可能需要低音量或切换到耳机音频装置的持续就寝时间，并且靠近机场飞行路径的家庭可能经历与飞机相关的噪声。这种规则和不规则模式可以由音频分析服务器140基于与关于类似条件和真实世界声音和音频的历史数据的比较和关联来识别。音频分析服务器140可以监测关于条件和音频的历史数据，以便检测随着时间的推移而反复出现的新的和正在出现的音频模式。此类见解可以用于更新关于真实世界空间的关于考虑到所识别的音频模式什么音频设置对于实现某些结果可能是最优的音频配置文件。 [0030] 在一些实施方案中，音频配置文件可以特定于数字内容标题。此类音频配置文件可以由预定的一组声学属性来定义，这些声学属性应该由优化的音频系统产生。例如，恐怖风格的内容可以包括营造悬念、紧张或恐惧的极其安静的场景，以及为喧闹和戏剧性的高潮场景做铺垫。优化音频设置以增强恐怖体验可以包括不同组音频设置，以确保安静的场景根据真实世界环境的声学属性具有其预期的效果和体验，并确保喧闹和戏剧性的场景具有其预期的效果和体验。替代地，可以优化音频设置，以最大限度地减少某些用户群体(例如，小孩、有心脏病或其他敏感人群)的恐怖风格内容带来的紧张和恐惧。针对与内容标题(或内容标题内的场景)相关的特定类型体验而优化的音频配置文件可以由内容开发者、服务提供商、用户或其他用户生成。此类音频配置文件可在共享对特定类型音频体验的期望的用户之间生成和共享。因此，音频配置文件不仅可以针对不同的音频输出装置、系统和内容标题(例如，类型、风格等)进行优化，而且音频配置文件还可以通过真实世界音频约束、主题、心情、健康/敏感性/可访问性和其他偏好进行优化。 [0031] 在一些实施方案中，音频分析服务器140可以通过将校准信号(对于每个装置可以相同或不同)传输到真实世界空间中的音频输出装置来生成真实世界空间的音频配置文件。校准信号可以包括预定的多层信号或一组信号，其中包括多个不同的频率。音频输出装置不仅可以包括传统娱乐装置(例如，电视、控制台、条形音箱、扬声器、超低音扬声器)，还可以包括任何连接到通信网络以接收信号的音频输出装置，包括具有内置扬声器的装置(例如，控制器)、移动装置、耳机、智能家居装置(包括虚拟助理装置)、IoT装置等。音频输出装置可以在真实世界空间内播放校准信号，随后输出的信号(包括频率响应)可以被真实世界空间中的传声器(其可以与音频输出装置相关联或不相关联)捕获。 [0032] 基于所捕获的频率响应数据，音频分析服务器140可以识别关于真实世界空间的某些属性(包括声学属性)。此类属性可以包括关于音频输出装置的相对位置的数据以及可用于评估和测量相对于(一个或多个)数字校准信号的音频失真和偏差的其他声学数据。一旦识别出音频失真和偏差，音频分析服务器140可以进一步确定针对真实世界空间中每个音频输出装置的哪些音频设置可以补偿或抵消音频失真和偏差。此外，因为用户可能在真实世界空间内移动，所以即使用户可能在真实世界空间内从一个位置移动到另一个位置，也可以重新校准音频设置以动态地向用户提供一致的音频体验。为了帮助做出这样的判断，可以使用其他类型的传感器来跟踪真实世界空间内的用户位置，包括相机、红外传感器、运动传感器、信标装置、可穿戴装置、手持装置等。 [0033] 如上所述，可以相对于所得的音频体验跟踪关于各种条件的历史数据。音频分析服务器140还可以使用历史数据来确定哪些音频设置最能补偿或抵消真实世界空间内的任何音频退化，这还可以包括针对不同类型的音频体验优化的音频设置。因此，音频分析服务器140还可以生成用于对音频输出装置中的一个或多个的音频设置进行一项或多项调整的指令。此类指令可以使用来自可能与特定音频输出装置相关联的内容提供商服务器API 120的一个或多个API来生成。当利用新的音频设置或新的音频设置修改重新校准音频配置文件时，可以基于重新校准的音频配置文件生成新的指令。在一些实施方案中，音频分析服务器140可以向用户生成关于重新校准的音频配置文件的通知，并请求批准实施重新校准的音频配置文件中的新的或修改的音频设置。此类通知还可以包括关于如何获得特定音频体验的推荐或建议。此类推荐可以包括检查某些音频输出装置是否已插入、已打开，在家庭娱乐系统和耳机之间切换，或反之亦然，以及为实现用户所需体验而确定的特定音频设置，这些设置可以与明示和暗示的偏好、历史交互式会话数据、交互式习惯等一起存储在用户配置文件中。经用户批准后，重新校准的音频配置文件中的新的或修改后的音频设置可提供给真实世界空间中的相应音频输出装置，以用于处理传入音频流。 [0034] 图2示出了可用于向用于与数字内容相关联的动态音频优化的系统提供数据的示例性统一数据系统(UDS)200。基于UDS200所提供的数据，可以使转译过滤服务器140获知当前会话条件，例如数字内容标题、用户已经参与了什么虚拟(例如游戏内)对象、实体、活动和事件，从而支持音频分析服务器140对音频优化的分析以及与当前虚拟交互和/或游戏内活动的协调。虚拟环境内的每个用户交互可以与虚拟交互的类型、虚拟环境内的位置、虚拟世界时间线内的时间点以及所涉及的其他玩家、对象、实体等的元数据相关联。因此，可针对当前交互式会话期间可能发生的各种用户交互中的任一种来跟踪元数据，包括相关联的虚拟活动、实体、设置、结果、动作、效果、位置和角色统计信息。此类数据还可被聚合、应用于数据模型并进行分析。此类UDS数据模型可用于跨数字内容和/或游戏标题以统一的方式将上下文信息分配到信息的每个部分。 [0035] 例如，各种内容标题可描绘用户可交互的一个或多个对象(例如，游戏内活动所涉及的)和/或由同伴、媒体内容标题的发布者和/或第三方发布者创建的UGC(例如，截屏、视频、解说、聚合应用等)。此类UGC可包括搜索此类UGC所凭借的元数据。此类UGC还可包括关于媒体和/或同伴的信息。此类同伴信息可从在与交互式内容标题(例如，视频游戏、交互式书籍等)的对象的同伴交互期间收集的数据得到，并且可被“绑定”到UGC并与其一起存储。 这种绑定增强了UGC，因为UGC可深链接(例如，直接启动)至对象，可提供关于UGC的对象和/或同伴的信息，和/或可允许用户与UGC交互。 [0036] 如图2所示，示出了示例性控制台228(例如，用户装置150)和示例性服务器218(例如，流式传输服务器220、活动供稿服务器224、用户生成内容(UGC)服务器232和对象服务器 226)。在一个示例中，控制台228可在平台服务器120、云服务器上或在服务器218中的任一者上实施。在示例性示例中，内容记录器202可在平台服务器120上、在云服务器上或服务器 218中的任一者上实施。这种内容记录器202从交互式内容标题230接收内容(例如，媒体)，并且将所述内容记录到内容环形缓冲器208上。此类环形缓冲器208可存储多个内容片段(例如，v1、v2和v3)、每个片段的开始时间(例如，V1_START_TS、V2_START_TS、V3_START_TS)和每个片段的结束时间(例如，V1_END_TS、V2_END_TS、V3_END_TS)。此类片段可由控制台 228存储为媒体文件212(例如，MP4、WebM等)。此类媒体文件212可上传到流式传输服务器 220以供存储和后续的流式传输或使用，但是媒体文件212可存储在任何服务器、云服务器、任何控制台228或任何用户装置150上。每个片段的此类开始时间和结束时间可由控制台 228存储为内容时间戳文件214。此类内容时间戳文件214还可包括流式传输ID，该流式传输ID与媒体文件212的流式传输ID匹配，由此使内容时间戳文件214关联到媒体文件212。此类内容时间戳文件214可被上传并存储到活动供稿服务器224和/或UGC服务器232，但内容时间戳文件214可存储在任何服务器、云服务器、任何控制台228或任何用户装置150上。 [0037] 与内容记录器202从交互式内容标题230接收和记录内容同时地，对象库204从交互式内容标题230接收数据，并且对象记录器206跟踪该数据以确定对象何时开始和结束。 对象库204和对象记录器206可在平台服务器120、云服务器上或在服务器218中的任一者上实施。当对象记录器206检测到对象开始时，对象记录器206从对象库204接收对象数据(例如，对象是否是活动、与活动的用户交互、活动ID、活动开始时间、活动结束时间、活动结果、活动类型等)并将活动数据记录到对象环形缓冲器210上(例如，ActivityID1、START_TS； ActivityID2、START_TS；ActivityID3、START_TS)。记录到对象环形缓冲器210上的此类活动数据可存储在对象文件216中。这种对象文件216还可包括活动开始时间、活动结束时间、活动ID、活动结果、活动类型(例如，竞赛、探索、任务等)、与活动相关的用户或同伴数据。例如，对象文件216可存储关于在活动期间使用的物项的数据。所述对象文件216可存储在对象服务器226上，但对象文件216可存储在任何服务器、云服务器、任何控制台228或任何用户装置150上。 [0038] 此类对象数据(例如，对象文件216)可与内容数据(例如，媒体文件212和/或内容时间戳文件214)相关联。在一个示例中，UGC服务器232存储内容时间戳文件214，并且基于内容时间戳文件214的流式传输ID与对象文件216的对应的活动ID之间的匹配而将该内容时间戳文件与对象文件216相关联。在另一个示例中，对象服务器226可存储对象文件216，并且可从UGC服务器232接收对对象文件216的查询。可通过搜索与同查询一起传输的内容时间戳文件214的流式传输ID匹配的对象文件216的活动ID来执行此类查询。在另一个示例中，可通过将内容时间戳文件214的开始时间和结束时间与同对存储的内容时间戳文件214的查询一起传输的对应的对象文件216的开始时间和结束时间相匹配来执行该查询。还可通过UGC服务器232将此类对象文件216与匹配的内容时间戳文件214相关联，但是所述关联也可由任何服务器、云服务器、任何控制台228或任何用户装置150执行。在另一个示例中，可在每个文件216、214的创建期间通过控制台228使对象文件216和内容时间戳文件214相关联。 [0039] 在示例性实施方案中，媒体文件212和活动文件216可向音频分析服务器140提供关于当前会话条件的信息，所述信息也可用作评估传入音频流并对其应用音频修改的另一基础。因此，音频分析服务器140可使用此类媒体文件212和活动文件216来识别当前会话的特定条件，包括当前说话或产生噪声的玩家、角色以及在具体位置和事件的对象。基于这样的文件212和216，例如，音频分析服务器140可以识别与内容标题、虚拟环境、虚拟场景或游戏内事件(例如，重大战斗、接近破记录)相关联的相关音频配置文件，其可用于在当前会话期间并贯穿整个当前会话动态地修改音频设置。此类会话条件可以驱动可以如何修改不同音频输出装置的音频设置，从而导致关于是否应用以及应用哪些音频设置修改以及应用到何种程度的定制确定。 [0040] 图3是示出了用于与数字内容相关联的动态音频优化的示例性方法300的流程图。 图3的方法300可体现为非暂时性计算机可读存储介质中的可执行指令，所述非暂时性计算机可读存储介质包括但不限于CD、DVD或诸如硬盘驱动器的非易失性存储器。存储介质的指令可由一个处理器(或多个处理器)执行，以致使托管或以其他方式访问存储介质的计算装置的各种硬件部件实现所述方法。在图3中标识的步骤(和其次序)是示例性的，并且可包括所述步骤的各种替代方案、等同物或派生物，包括但不限于所述步骤的执行次序。 [0041] 在步骤310中，可将音频配置文件存储在存储器(例如，数据库160)中。每个音频配置文件可以包括一个或多个音频输出装置的一组音频设置。如上所述，音频配置文件可以特定于真实世界空间(例如，用户进行交互式会话的房间)、特定于内容标题(或风格)以及其他音频条件。在一些实施方案中，新用户可以通过指定他们与跨不同音频输出装置和内容标题的不同声音和音频流相关的个人偏好和优先级来开发或进一步定制音频配置文件。 在一些实施方案中，音频分析服务器140可以查询新用户，以便确定如何为用户和/或与用户的交互式会话相关联的真实世界空间生成音频配置文件。用户还可以选择基于他们自己的个人偏好定制现有音频配置文件(可能与特定的音频设置、内容标题或其风格有关)，所述现有音频配置文件可与其他用户共享以用于实施动态音频优化。 [0042] 在步骤320中，可以由音频分析服务器140监测一个或多个传入的(数字)音频流，所述音频分析服务器还可以——通过传声器和音频检测装置——监测真实世界空间内的真实世界音频输出。可以向在当前会话中使用用户装置150来流式传输并播放数字内容和相关音频的用户呈现与数字内容相关联的音频流。在数字内容是多玩家游戏的情况下，与语音聊天功能相关联的另一个音频流也可包括与其他用户相关联的声音和言语。在一些情况下，可使用其他聊天服务(例如，Discord服务器)来提供又一个音频流。在一些实施方案中，传入音频流可以包括校准信号，其频率响应可以在真实世界空间内播放时被捕获。校准和重新校准可以周期性地发生，也可以由在交互式会话期间被检测为已经改变的条件来触发。例如，音频输出装置的电池可能耗尽，音频装置的插头可能掉落或从插座中被撞出，或者音频输出装置的(一个或多个)扬声器可能由于任何原因而离线。不同的虚拟交互式场景可能需要不同类型的音频设置，以针对特定的体验、心情或效果进行优化。 [0043] 在步骤330中，由音频分析服务器140对照适用的音频配置文件来分析音频流和真实世界音频输出。具体来说，音频配置文件所指定的目标音频参数或装置特定音频设置被识别为与在真实世界空间中正被监测的真实世界音频有所差异。这种差异可能是由真实世界空间的配置和属性引起的音频失真或偏差造成的。此外，可以通过参考历史数据来辨别某些音频参数、要求或约束，可以对所述历史数据进行聚合和分析以识别所指示的与音频相关的用户行为模式。例如，用户可能会在夜晚的某些时间之后反复降低系统音频音量、在扬声器与耳机之间切换、或者响应于某些内容标题或其风格而以其他方式改变音频设置。 因此，各种与音频相关的因素可以指示真实世界空间中存在音频失真或偏差。 [0044] 在步骤340中，可以基于在步骤330中执行的分析来校准与真实世界空间中的音频装置中的至少一个相关联的一个或多个音频设置。更具体地，可以以补偿或抵消所识别的音频失真或偏差的方式来调整音频设置。例如，在来自特定音频输出装置的某些声音可能被确定为在一定程度上被表面吸收或反射时，音频分析服务器140可以调整该特定音频输出装置和/或其他装置的音频设置，以补偿或抵消这种吸收或反射。因此，基于在步骤330中执行的分析，音频分析服务器140可以对一个或多个音频装置进行一项或多项音频设置修改。在一些实现方式中，校准和重新校准可以不断地发生，从而自动调整音频设置，以便对真实世界空间内用户的音频体验进行微调。在一些实施方案中，可以使用关于对当前音频体验的偏好、喜欢和不喜欢等用户反馈来预测用户关于新内容标题、真实世界空间的变化或当前音频配置文件可能不完全适用的其他情况下可能偏好什么。可以创建新的音频配置文件，或者可以进一步改进旧的音频配置文件以将新的和不同的条件组合考虑在内。 [0045] 在步骤350中，(一个或多个)传入音频流可能已经提供给一个或多个音频输出装置，以便根据在步骤340中校准的音频设置来实时地或接近实时地播放和呈现，但是可能会检测到音频偏差。因此，可以向用户装置150的用户呈现已经处理过的(一个或多个)音频流，以便创建与适用的音频配置文件一致的音频体验，但是当前条件可能会改变音频的呈现或体验方式。例如，背景噪声的突然增加(例如，来自儿童、邻居、鸟类、建筑物或其他来源)可能会阻止用户辨别与虚拟环境相关联并在传入音频流中提供的某些声音。尽管用户可能想要响应于某些外部噪声源(例如，儿童)而暂停当前会话，但是用户可能另外希望阻挡或以其他方式抵消其他背景噪声源。这样，不仅可以对音频偏差或失真进行检测和测量，还可以对其进行进一步分析以表征音频偏差或失真的类型，从而触发不同类型的调整或响应。此外，随着时间的推移，用户还可继续指定对音频配置文件的改进和其他改变，这允许以更好地反映用户偏好和优先级的方式向未来的音频流应用音频修改。 [0046] 在步骤360中，可以基于在步骤350中检测到的音频偏差触发调整或通知。如本文所讨论的，调整可以包括对真实世界空间中的一个或多个音频输出装置的一个或多个音频设置的调整。在一些实施方案中，可以通过通知向用户发送对声学改进的附加推荐或建议。 例如，可能会检测到一个或多个音频装置离线，并且通知可以建议用户检查离线装置的状态并使离线装置重回在线。某些实现方式可以在实施某些调整之前请求用户的批准。例如，用户当前可能没有佩戴具有空间音频能力的耳机，而即将到来的场景的音频可能包括空间音频效果。通知可以建议用户在即将到来的场景之前戴上耳机以体验空间音频效果。 [0047] 在步骤370中，可以根据检测到的音频偏差和相关联的调整或通知来更新一个或多个音频配置文件。这种更新可能包括关于检测到的音频偏差、所述调整对音频偏差抵消或补偿的程度、以及用户看起来对动态音频优化动作的响应效果的信息。此类数据可用于不断地微调音频配置文件，以提供符合用户期望和偏好的音频体验。 [0048] 图4是示出了与数字内容相关联的动态音频优化的示例性实现方式的图。如图所示，不同的音频源410A‑C可以在用户装置的当前会话期间被监控，并且被提供给音频分析服务器140进行分析和处理。传入音频流410A可以是与从内容源服务器(例如，图1的内容源服务器110)提供的交互式内容标题相关联的数字音频流，并且包括与该交互式内容标题的播放相关联的音频。传入音频流410A不仅可以提供给音频输出装置，还可以由音频分析服务器140提供或监测。真实世界音频410B可以包括由真实世界音频输出装置处理和播放的与内容标题相关联的数字音频流，以及真实世界空间中的背景噪声。真实世界音频410C可以被位于真实世界空间中的用户装置150的一个或多个传声器捕获，并被提供给音频分析服务器140进行分析和处理。预定音频信号410C还可提供给音频分析服务器140，并且提供给真实世界空间中的音频输出装置以供播放，以用于进行校准(和重新校准)。 [0049] 音频分析服务器140可以从数据库160之一获取一个或多个音频配置文件，所述数据库可以包括存储空间特定音频配置文件420A(其可以由同一家庭中的一组用户共享)和/或内容特定音频配置文件420B(其可以由播放相同交互式内容标题的一组用户共享)的特定数据库。使用与用户装置150的用户相关联的音频配置文件，音频分析服务器140可以分析真实世界空间内的声音和音频的各种音频参数。可以由音频分析服务器140将不同的音频参数识别和表征为与传入音频流410A、预定音频信号410C、或真实世界空间中存在的音频偏差或失真相关联。音频分析服务器140还可以识别音频配置文件指定了什么音频设置修改来补偿或抵消任何检测到的偏差或失真，和/或预测什么音频设置修改可以最佳地补偿或抵消检测到的偏差或失真。然后，可以由音频分析服务器140将所识别或预测的音频设置修改传输到一个或多个音频输出装置150，然后所述音频输出装置可以根据相应的修改的音频设置处理它们各自的传入音频流410A或其部分。 [0050] 图5是可用于本发明的实施方案中的示例性电子娱乐系统的框图。图5的娱乐系统 500包括主存储器505、中央处理单元(CPU)510、向量单元515、图形处理单元520、输入/输出(I/O)处理器525、I/O处理器存储器530、控制器接口535、存储卡540、通用串行总线(USB)接口545和IEEE接口550。娱乐系统500还包括经由总线575连接到I/O处理器525的操作系统只读存储器(OS ROM)555、声音处理单元560、光盘控制单元570和硬盘驱动器565。 [0051] 娱乐系统500可以是电子游戏控制台。替代地，娱乐系统500可被实施为通用计算机、机顶盒、手持式游戏装置、平板计算装置或移动计算装置或移动电话。娱乐系统可依据特定形状因数、目的或设计而包含更多或更少的操作部件。 [0052] 图5的CPU 510、向量单元515、图形处理单元520和I/O处理器525经由系统总线585进行通信。此外，图5的CPU 510经由专用总线580与主存储器505进行通信，而矢量单元515和图形处理单元520可通过专用总线590进行通信。图5的CPU 510执行存储在OS ROM 555和主存储器505中的程序。图5的主存储器505可包含预存储的程序和通过I/O处理器525使用光盘控制单元570从CD‑ROM、DVD‑ROM或其他光盘(未示出)传递的程序。图5的I/O处理器525还可允许引入通过无线或其他通信网络(例如，4$、LTE、3G等)传递的内容。图5的I/O处理器 525主要控制娱乐系统500的各种装置之间的数据交换，所述各种装置包括CPU 510、矢量单元515、图形处理单元520和控制器接口535。 [0053] 图5的图形处理单元520执行从CPU 510和向量单元515接收的图形指令以产生用于在显示装置(未示出)上显示的图像。例如，图5的矢量单元515可将对象从三维坐标变换为二维坐标，并且将所述二维坐标发送至图形处理单元520。此外，声音处理单元560执行指令以产生声音信号，所述声音信号输出至诸如扬声器(未示出)的音频装置。其他装置可经由USB接口545和诸如无线收发器的IEEE 1394接口550连接至娱乐系统500，所述USB接口和所述IEEE接口还可嵌入系统500中或者作为诸如处理器的某一其他部件的一部分。 [0054] 图5的娱乐系统500的用户经由控制器接口535向CPU 510提供指令。例如，用户可指示CPU 510将某些游戏信息存储在存储卡540或其他非暂时性计算机可读存储介质上，或者指示游戏中的角色执行某一指定动作。 [0055] 本发明可在可能够由多种终端用户装置操作的应用中实施。例如，终端用户装置可为个人计算机、家庭娱乐系统(例如，Sony 或Sony 或Sony )、便携式游戏装置(例如，Sony 或Sony )，或不同的较次制造 商的家庭娱乐系统。完全地预期本文描述的本方法可在各种装置上操作。本发明也可在跨标题中立性的情况下实施，其中本系统的实施方案可跨来自各种发布者的多种标题进行利用。 [0056] 本发明可在可使用各种装置来操作的应用中实施。非暂时性计算机可读存储介质是指参与将指令提供给中央处理单元(CPU)以供执行的任何一种或多种介质。此类介质可采用许多形式，包括但不限于非易失性和易失性介质，诸如分别是光盘或磁盘和动态存储器。非暂时性计算机可读介质的常见形式包括例如软盘、柔性盘、硬盘、磁带、任何其他磁性介质、CD‑ROM盘、数字视频盘(DVD)、任何其他光学介质、RAM、PROM、EPROM、FLASHEPROM以及任何其他存储器芯片或盒式磁带。 [0057] 各种形式的传输介质可参与将一个或多个指令的一个或多个序列传送到CPU以供执行。总线将数据传送到系统RAM，CPU从该系统RAM检索并执行指令。由系统RAM接收的指令可任选地在由CPU执行之前或之后存储在固定盘上。可同样地实施各种形式的存储装置以及必要的网络接口和网络拓扑以实施相同的目的。 [0058] 已经出于说明和描述的目的呈现对技术的前述详细描述。这不意图是详尽的或将技术限制于所公开的精确形式。鉴于以上教导，许多修改和变化是可能的。所描述的实施方案被选择以便最佳地解释本技术的原理、其实际应用，并且使得本领域其他技术人员能够在各种实施方案中利用本技术并且进行适于预期的特定用途的各种修改。意图由权利要求来限定本技术的范围。