技术领域
[0003] 本公开涉及一种用于提供车辆声音的装置和方法。
相关背景技术
[0004] 医疗保健系统是一种识别驾驶员的状态并且与车辆系统连接来引导驾驶员接受指导和警报并执行安全驾驶的技术。医疗保健系统可以利用传感器收集诸如心电图(ECG)、心率、驾驶员的活动等生物特征信息，以判断驾驶员的状态。此外，医疗保健系统可以利用摄像头来识别驾驶员的面部表情，以判断驾驶员的情绪状态。
[0005] 在背景技术部分中公开的上述信息仅用于增强对本公开的背景的理解，因此可能包含不构成本领域普通技术人员已知的现有技术的信息。
具体实施方式
[0037] 在下文中，参照附图详细描述本公开的实施例。在附图中，相同的附图标记始终用于表示相同或等同的元件。在说明书中，省略了对公知特征或功能的详细描述，以免不必要地模糊本公开的要点。
[0038] 在描述根据本公开的实施例的部件时，可以使用诸如第一、第二、“A”、“B”、(a)、(b)等术语。这些术语仅用于区分一个元件与另一元件，但不限制对应元件，与对应元件的顺序或优先级无关。此外，除非另有定义，否则本文中使用的包括技术术语和科学术语在内的所有术语应被解释为本公开所属领域中的惯例。诸如在通用词典中定义的那些术语应被解释为具有与相关技术领域中的上下文含义等同的含义，并且除非在本申请中被明确定义为具有理想的或过于正式的含义，否则不应被解释为具有此类含义。
[0039] 当本公开的部件、装置、元件等被描述为具有某种目的或执行某种操作、功能等时，该部件、装置或元件在本文中应视为被“配置为”满足该目的或执行该操作或功能。
[0040] 图1是示出根据本公开的实施例的用于提供车辆声音的装置的配置的框图。图2是示出根据本公开的实施例的电子装置的应用程序的配置的示图。
[0041] 用于提供车辆声音的装置100可以设置在利用电动马达行驶的诸如电动车辆(EV)、插电式混合动力车辆(PHEV)和/或混合动力车辆(HEV)的电气化车辆和/或自动驾驶车辆中。如图1所示，用于提供车辆声音的装置100可以包括导航仪110、通信器120、检测器130、输出装置140和控制器150。
[0042] 当设置了目的地时，导航仪110可以导航到目的地的驾驶路线，并可以沿着导航的驾驶路线引导驾驶员。当导航驾驶路线时，导航仪110可以反映实时的交通信息以搜索最佳路线。虽然在图1中未示出，但导航仪110可以包括用于存储地图数据的存储器、用于测量车辆位置的全球定位系统(GPS)接收器、用于接收来自外部的交通信息的通信模块、用于导航驾驶路线并沿导航的驾驶路线引导驾驶员的处理器等。
[0043] 通信器120可以使装置100能够提供用于与外部电子装置(例如，声源服务器、电子装置10等)进行通信的车辆声音。通信器120可以包括短距离无线通信电路(例如，蓝牙等)、无线通信电路(例如，无线保真(Wi‑Fi)等)、有线通信电路等。
[0044] 通信器120可以使装置100能够提供用于与安装在车辆上的电子控制单元(ECU)进行通信的车辆声音。通信器120可以包括被配置为利用控制器局域网(CAN)协议来发送和接收CAN消息的收发器。
[0045] 检测器130可以检测车辆的内部因素(或驾驶员的驾驶模式)和外部因素(或道路驾驶状况)。检测器130可以利用安装在车辆上的传感器和/或ECU来检测车辆的内部因素和外部因素。加速器位置传感器(APS)、转向角传感器、麦克风、图像传感器、距离传感器、轮速传感器、高级驾驶员辅助系统(ADAS)传感器、三轴加速度计、惯性测量单元(IMU)等可以用作传感器。ECU可以是马达控制单元(MCU)、车辆控制单元(VCU)等。此外，检测器130可以利用安装在车辆中的摄像头来获得车辆内部的图像信息。
[0046] 输出装置140可以通过安装在车辆内部和/或外部的扬声器来播放和输出情绪声音(或数字治疗声音)。输出装置140可以播放和输出先前存储的或实时流式传输的声源。输出装置140可以包括放大器、声音播放装置等。声音播放装置可以在控制器150的指令下调整声音的音量、音色(或音质)、声像等。声音播放装置可以包括数字信号处理器(DSP)、微处理器等。放大器可以放大所播放的声音的电信号。
[0047] 控制器150可以与导航仪110、通信器120、检测器130和输出装置140连接，以控制用于提供车辆声音的装置100的整体操作。控制器150可以包括存储器和处理器。存储器可以是存储由处理器执行的指令的非临时存储介质。存储器可以包括基于大数据的声音数据库(DB)。基于大数据的声音DB可以包括面向未来的DB、人声DB、自然声音DB、动物声音DB和排气声音DB。存储器可以存储诸如轮胎打滑声、警告声、驾驶声、加速声和/或转弯声等车辆声音的声源。存储器可以存储情绪声音算法、智能情绪关怀算法、驾驶员情绪模型、愉悦度激活度优势度(PAD)模型等。存储器可以包括随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、可编程ROM(PROM)、电可擦除可编程ROM(EEPROM)、可擦除可编程ROM(EPROM)、硬盘驱动器(HDD)、固态硬盘(SSD)、嵌入式多媒体卡(eMMC)、通用闪存(UFS)、网络存储或上列项的组合中的至少一种。处理器可以包括专用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、中央处理单元(CPU)、微控制器、微处理器或上列项的组合中的至少一种。
[0048] 控制器150可以通过通信器120与电子装置10交互，以提供情绪声音(或数字治疗声音)。电子装置10可以是诸如智能手机、平板电脑和/或笔记本电脑的装置，该装置可以包括通信电路(例如，短距离通信电路)、存储器、用户界面(例如，触摸屏)和处理器。用于支持驾驶员使用数字治疗内容的应用程序200可以安装在电子装置10中。如图2所示，应用程序200可以包括数字治疗开启/关闭功能210、车辆交互游戏内容220、基于空中下载(OTA)的控制逻辑230和个性化设置(例如，模式、音量和音色、加速踏板响应性等)功能240。
[0049] 控制器150可以利用通信器120从电子装置10获得音乐信息。音乐信息可以包括音乐播放列表。控制器150可以利用导航仪110和/或检测器130来获得驾驶员的驾驶模式信息(或内部因素)和道路驾驶状况信息(或外部因素)。驾驶员的驾驶模式信息可以包括恒定速度、缓慢加速、快速加速等。道路驾驶状况信息可以包括拥堵的城市道路、乡村道路和/或高速公路。
[0050] 控制器150可以基于音乐信息、驾驶员的驾驶模式信息和道路驾驶状况信息来计算音乐情商(EQ)指数。控制器150可以利用音乐信息来识别(或确定)驾驶员的情绪状态。控制器150可以通过分析音乐模式将情绪形容词参数化。
[0051] 控制器150可以基于大数据将声源作为音乐EQ指数进行分析和数字化。音乐EQ指数可以表示为下面的公式1。
[0052] 音乐EQ指数＝愉悦度(x1+x2)+激活度(y1+y2)+
[0053] 优势度(z1+z2)公式1
[0054] 在公式1中，x1表示音乐对比度得分，x2表示混响得分，y1表示音译得分，y2表示音调(tonality)得分，z1表示速度得分，z2表示大小得分。每个项目的得分可以在预定范围(例如，1到5分)内分配。
[0055] 控制器150可以根据计算出的音乐EQ指数来选择游戏声音类型。控制器150可以基于音乐偏好来确定游戏声音类型。控制器装置150可以基于游戏内容，通过情绪声音引导驾驶员。
[0056] 例如，当存在“愉悦度(8到10分)+激活度(5到7分)+优势度(2到4分)”时，控制器150可以选择有趣的治疗声音。作为另一示例，当存在“激活度(8到10分)+优势度(5到7分)+愉悦度(2到4分)”时，控制器150可以选择舒适和熟悉的声音。作为又一示例，当存在“优势度(8到10分)+愉悦度(5到7分)+激活度(2到4分)”时，控制器150可以选择独特的个性化声音。
[0057] 换言之，控制器150可以在音乐EQ指数中“愉悦度”得分较高时选择有趣的治疗声音(或娱乐类型)，当音乐EQ指数中“激活度”得分较高时选择舒适和熟悉的声音(或沙盒类型)，并且当音乐EQ指数中“优势度”得分较高时可以选择独特的个性化声音(或专家类型)。
[0058] 控制器150可以提供与游戏声音类型相匹配的情绪声音。游戏声音类型可以被分类为娱乐类型的赛车游戏声音、沙盒类型的游戏声音或专家类型的赛车游戏声音。例如，当选择娱乐类型的赛车游戏声音类型时，控制器150可以提供有趣的治疗声音。作为另一示例，当选择沙盒类型的游戏声音类型时，控制器150可以提供舒适和熟悉的声音。作为又一示例，当选择专家类型的赛车游戏声音类型时，控制器150可以提供独特的个性化声音。
[0059] 当确定了独特的个性化声音时，控制器150可以通过个性化声音设置来设置声音的输出模式、声音的音量、声音的音色、加速踏板响应性等。
[0060] 控制器150可以基于驾驶员的驾驶模式信息和/或道路驾驶状况信息对特定频率(例如，中频域和高频域)进行滤波，以防止差异感。控制器150可以基于驾驶员的驾驶模式信息和/或道路驾驶状况信息来修正声音的音量。
[0061] 控制器150可以利用粒子合成(granular synthesis)来生成情绪声音。粒子合成是用于将声音分解为非常小的单元，然后将短的声音集合起来以生成新的声音的声音合成方法。粒子合成可以排列细微的声音，并且可以通过处理和再处理来产生密集的声音。粒子合成可以经过排序(sequence)(或组合)、录音和后处理过程。
[0062] 图3是示出根据本公开的实施例的通过情绪声音算法来设计情绪声音的过程的示图。图4是根据本公开的实施例的用于描述情绪声音算法的游戏声音匹配方法的示图。图5是根据本公开的实施例的用于描述通过情绪声音算法的基于游戏内容的情绪声音引导方法的示图。
[0063] 参照图3，情绪声音算法300可以从安装在图1的电子装置10中的应用程序(以下称为“电子装置应用程序(app)”)接收音乐信息。音乐信息可以包括由电子装置app管理的音乐数据库(DB)、音乐播放列表、音乐播放历史等。
[0064] 执行情绪声音算法300的处理器或其它装置可以从图1的检测器130接收车辆的内部因素和外部因素。车辆的内部因素可以包括诸如恒定速度、缓慢加速和快速加速的驾驶员的驾驶模式信息。车辆的外部因素可以包括拥堵的城市道路、乡村道路和高速公路。
[0065] 在操作S310中，执行情绪声音算法300的处理器或其它装置可以通过分析音乐信息中包括的音乐模式来将情绪形容词(或情绪词)参数化。
[0066] 在操作S320中，执行情绪声音算法300的处理器或其它装置可以基于对音乐模式的分析结果来计算音乐EQ指数。情绪声音算法300在计算音乐EQ指数时可以考虑外部因素和/或内部因素。例如，执行情绪声音算法300的处理器或其它装置可以基于对音乐模式的分析结果、驾驶员的驾驶模式信息和道路驾驶状况信息来计算音乐EQ指数。
[0067] 在操作S330中，执行情绪声音算法300的处理器或其它装置可以基于音乐EQ指数来选择游戏声音类型。在操作S340中，执行情绪声音算法300的处理器或其它装置可以通过与所选择的游戏声音类型匹配的情绪声音来引导驾驶员。执行情绪声音算法300的处理器或其它装置可以基于音乐偏好来确定游戏声音。执行情绪声音算法300的处理器或其它装置可以基于游戏内容，通过情绪声音来引导驾驶员。
[0068] 参照图4，执行情绪声音算法300的处理器或其它装置可以将音乐EQ指数的愉悦度情绪乘以每个外部因素(或每个道路驾驶状况)的预定系数，以反映音乐EQ指数中的外部因素。预定系数可以根据道路驾驶状况，通过对基于驾驶员的情绪判断模型的愉悦度的数据分析来预定。以乡村道路驾驶状况为基准，当车辆在拥挤的城市道路上行驶时，可以测量出沮丧的/焦虑的/愤怒的感觉；当车辆在高速公路上行驶时，可以测量出良好的/舒适的/愉悦的感觉。用于反映根据音乐EQ指数的对比度的音量修正算法中的因素的系数可以通过基于基于上述测量结果得出的大数据的相关公式来确定。例如，在拥堵的城市道路上，可以用0.9乘以愉悦度项；在乡村道路上，可以用1.0乘以愉悦度项；在高速公路上，可以用1.1乘以愉悦度项。在示例中，执行情绪声音算法300的处理器或其它装置可以在车辆在拥挤的城市路段中行驶的情况下将音乐EQ指数的愉悦度情绪乘以0.9，可以在车辆在乡村道路上行驶的情况下将音乐EQ指数的愉悦度情绪乘以1.0，可以在车辆在高速公路上行驶的情况下将音乐EQ指数的愉悦度情绪乘以1.1。
[0069] 此外，执行情绪声音算法300的处理器或其它装置可以将音乐EQ指数的优势度情绪乘以每个内部因素(或每个道路驾驶模式)的预定系数，以反映音乐EQ指数中的内部因素。预定系数可以根据驾驶员的驾驶模式，通过车辆内部的声压级(SPL)数据来确定。根据对车辆内部的SPL数据的分析结果，依据相对状况的不同，往往存在大约10dB的差异。当车辆以恒定速度行驶时，处于65dBA的声压级；当车辆缓慢加速时，处于75dBC的声压级；或者当车辆快速加速时，处于85dBC的声压级。用于反映根据音乐EQ指数的速度的音量修正算法中的因素的系数可以通过基于基于上述声压级得出的大数据的相关公式来确定。因此，当车辆以恒定速度行驶时，可以用0.9乘以优势度项；当车辆缓慢加速时，可以用1.0乘以优势度项；并且当车辆快速加速时，可以用1.1乘以优势度项。例如，当车辆以恒定速度行驶时，执行情绪声音算法300的处理器或其它装置可以将音乐EQ指数的优势度情绪乘以0.9；当车辆缓慢加速时，可以将音乐EQ指数的优势度情绪乘以1.0；并且当车辆快速加速时，可以将音乐EQ指数的优势度情绪乘以1.1。执行情绪声音算法300的处理器或其它装置可以基于音乐EQ指数来判断驾驶员的音乐偏好。执行情绪声音算法300的处理器或其它装置可以基于所确定的音乐偏好来判断游戏声音。例如，当音乐EQ指数中的“愉悦度”得分较高时，执行情绪声音算法300的处理器或其它装置可以选择娱乐类型的游戏声音；当音乐EQ指数中的“激活度”得分较高时，可以选择沙盒类型的游戏声音；并且当音乐EQ指数中的“优势度”得分较高时，可以选择专家类型的游戏声音。
[0070] 参照图5，执行情绪声音算法300的处理器或其它装置可以基于音乐EQ指数来分析游戏内容中的三种类型的游戏声音。执行情绪声音算法300的处理器或其它装置可以基于游戏内容，将外部因素和内部因素与驾驶个性化情绪相匹配，并且可以通过情绪声音引导驾驶员。执行情绪声音算法300的处理器或其它装置可以基于实际的车辆反馈来个性化声音的音色和加速踏板的响应性，并且可以修正声音的音量。当游戏内容的概念是娱乐类型时，执行情绪声音算法300的处理器或其它装置可以匹配“有趣的治疗声音”；当游戏内容的概念是沙盒类型时，可以匹配“舒适和熟悉的声音”；并且当游戏内容的概念是专家类型时，可以匹配“独特的个性化声音”。娱乐类型可以与外部因素中的拥堵的城市道路驾驶状况和内部因素中的恒定速度、缓慢加速和快速加速条件全部相匹配。沙盒类型可以与外部因素中的乡村道路驾驶状况和内部因素中的恒定速度条件相匹配。专家类型可以与外部因素中的高速公路驾驶状况和内部因素中的缓慢加速和快速加速条件相匹配。因此，执行情绪声音算法300的处理器或其它装置可以通过分析音乐EQ指数，通过基于游戏内容的情绪声音来引导驾驶员。
[0071] 图6是示出根据本公开的实施例的通过分析音乐模式来将情绪形容词参数化的过程的示图。
[0072] 参照图6，图1中用于提供车辆声音的装置100可以分析安装在图1的电子装置10中的装置的声源DB中记录的音乐模式，并且可以将情绪状态测量为“愉悦度”、“激活度”或“优势度”。
[0073] 装置100可以根据对音乐模式的分析结果来确定音乐的情绪形容词。情绪形容词可以包括与愉悦度相关的情绪词(例如，有趣的、有节奏的、现实的、哭泣的、喧闹的、疯狂的、温和的或愤怒的)；与激活度相关的情绪词(例如，舒适的、稳定的、令人印象深刻的、光滑的、柔软的、奢侈的、困倦的或不舒服的)和/或与优势度相关的情绪词(例如，独特的、适合跳舞的、未来主义的、类似宇宙飞船的、精致的、强烈的、模糊的或无聊的)。
[0074] 装置100可以将情绪形容词参数化。例如，装置100可以确定与情绪形容词匹配的声音类型(或概念)。声音类型可以分类为有趣的治疗声音、舒适和熟悉的声音或独特的个性化声音。有趣的治疗声音(或第一种声音类型)可以有助于控制冲动和控制情绪，如焦虑或愤怒，这些情绪会导致压力。舒适和熟悉的声音(或第二种声音类型)可以有助于鼓励自己并同情他人，通过稳定的心态而不会感到沮丧。独特的个性化声音(或第三种声音类型)有助于激发内心的自信，发现创造性的想法，建立自尊。
[0075] 图7是示出根据本公开的实施例的用于生成情绪声音的方法的流程图。
[0076] 参照图7，在操作S710中，图1的装置100可以从图1的电子装置10接收控制信息。驾驶员可以通过安装在电子装置10中的应用程序来发送控制信息。控制信息可以包括基于用户体验选择的游戏声音类型。
[0077] 当从电子装置10接收到控制信息时，在操作S720中，装置100可以利用车辆环境数据和基于大数据的声音DB来设计情绪声音。车辆环境数据可以包括驾驶环境、快速加速驾驶步骤、车辆速度、RPM、加速踏板响应性等。装置100可以利用车辆外部的摄像头来获得图像。装置100可以分析由摄像头获得的图像以估计(或识别)驾驶环境，例如，拥堵的城市道路、乡村道路、高速公路等。
[0078] 在操作S730中，装置100可以播放所设计的情绪声音。装置100可以应用用于在虚拟现实(VR)环境中继续进行声音评估的用户界面(UI)。
[0079] 在操作S740中，装置100可以反映驾驶场景，以在虚拟环境中为情绪声音调音。
[0080] 图8是根据本公开的实施例的用于描述用于实现情绪声音的方法的示图。
[0081] 图1的装置100可以分析与车辆概念匹配的动物声音的声源。动物声音可以由系统设计者或用户预先选择。
[0082] 装置100可以通过声源分析，利用共振峰滤波器对动物声音和车辆发动机声音(或车辆开发的默认声音)执行音质合成。装置100可以根据混合逻辑来执行音质合成。在一方面，装置100可以利用快速傅立叶变换(FFT)将动物声音中的动物声音信号划分为三个频域。装置100可以在每个划分的频域中提取特征向量，并且可以将每个频率的权重分配给所提取的特征向量。装置100可以基于人类听觉体验模型来突出动物声音信号共振峰。装置100可以将智能情绪声音设计概念应用于执行混合逻辑的过程。装置100可以将模拟动物声音信号转换为数字动物声音信号。装置100可以将通过声源分析提取的三个频域的动物声音与结合车辆速度(低速、中速和高速)和RPM的排气声音合成。装置100可以基于加速踏板开度来确定撞击时机(impact timing)。装置100可以基于驾驶环境，例如乡村道路、隧道内部等，来生成音量修正曲线。装置100可以基于车辆和智能手机app界面将音质合成的声音重新生成为游戏声音。
[0083] 图9是示出根据本公开的实施例的用于提供车辆声音的方法的流程图。
[0084] 参照图9，在操作S910中，图1的装置100可以接收车辆(例如，自动驾驶车辆)的驾驶状况信息(例如，道路驾驶环境或驾驶员的驾驶模式)、电子装置app信息和车辆内部的图像信息。
[0085] 在操作S920中，装置100可以识别车辆中是否存在除驾驶员以外的乘客。
[0086] 当识别出存在除驾驶员之外的乘客时，在操作S930中，装置100可以识别该乘客是否为预定的乘客类型。装置100可以分析车辆内部的图像信息，并且可以判断乘客类型。例如，装置100可以分析车辆内部的图像信息，并且可以判断乘客是否是哭泣的儿童。
[0087] 当乘客是预定的乘客类型时，该方法可以进行到操作S940，在操作S940中，装置100可以播放预定概念的情绪声音。例如，当乘客是哭泣的儿童时，装置100可以播放娱乐类型的声音以供娱乐。
[0088] 另一方面，当在操作S920中识别出车辆中除驾驶员之外没有乘客，即，车辆中只有驾驶员时，或者当在S930中，乘客不是预定的乘客类型时，该方法可以进行到操作S950，在操作S950中，装置100可以基于电子装置app信息和驾驶状况信息来计算音乐情商(EQ)指数。
[0089] 在操作S960中，装置100可以基于音乐EQ指数来推荐游戏声音。
[0090] 在操作S970中，装置100可以基于与推荐的游戏声音匹配的车辆环境播放情绪声音。
[0091] 图10是示出根据本公开的实施例的用于改善沉浸感的方法的流程图。
[0092] 参照图10，图1的装置100可以接收3D声音、运动信息和触觉信息作为输入数据。
[0093] 装置100可以通过麦克风记录多声道3D声音。装置100可以对记录的声音执行高阶立体混响(higher‑order ambisonics，HOA)编码/解码以播放声音。装置100可以分析声音实现的影响程度。
[0094] 装置100可以对提供6种自由度运动的座椅模拟器进行设置。装置100可以执行对运动评估模式的设置。用于提供车辆声音的装置100可以评估多模式刺激归因(multimodal stimulation attribution)。装置100可以分析运动激励的影响程度。
[0095] 装置100可以调节触觉控制器和VR装置。装置100可以调节触觉振动曲线强度。装置100可以分析多种认知特征的沉浸感，以分析触觉刺激的影响程度。
[0096] 装置100可以基于声音实现的影响程度、运动激励的影响程度和触觉刺激的影响程度来实现使用虚拟驾驶模拟的沉浸感。
[0097] 本公开的实施例可以在电子装置中利用驾驶员的驾驶信息来识别驾驶员的情绪状态，并且可以播放与所识别的情绪状态匹配的声音类型的情绪声音，从而提供个性化治疗。
[0098] 此外，本公开的实施例可以确定关于驾驶员的情绪状态、驾驶员的驾驶模式和道路驾驶状况的音乐情商(EQ)指数，并且可以基于所确定的音乐EQ指数播放情绪声音，从而减轻驾驶员的压力。
[0099] 在上文中，尽管参考示例性实施例和附图描述了本公开，但是本公开并不限于此，而是可以在不偏离在所附权利要求书中要求保护的本公开的思想和范围的情况下由本公开所属领域的普通技术人员进行各种修改和改变。因此，本公开的实施例并非旨在限制本公开的技术思想，而是仅出于说明目的而提供。本公开的范围应当在所附权利要求书的基础上进行解释，并且在等同于权利要求书的范围内的所有技术思想都应当包含在本公开的范围内。
