[0001] 本发明属于感知心理学领域，涉及一种视听觉互影响测量装置和方法。

[0002] 人类的视觉和听觉是感知世界的两个重要方式，它们通过不同的感觉器官收集信息，并通过神经系统将信息传递到大脑进行整合处理。听觉和视觉之间存在密切的联系和交互作用，例如，当我们听到引人注意的声音，如爆炸声时，我们的视觉注意力会被吸引至声音的来源，以便更好地观察周围的环境和应对潜在的威胁或紧急情况。又或者，当我们与别人交流时，在听到语言的同时通过观察说话者的面部表情，有助于我们更准确地理解他们的语言含义和情感状态。听觉和视觉在我们的感知体验中互相交织，它们不仅在各自的领域中发挥着独特的作用，还通过多种方式相互影响和协作，丰富了我们对世界的整体感知和理解。这种跨感觉整合的方式有助于提高感知的准确性，在人们日常生活中起到了至关重要的作用。

[0003] 听觉对视觉的影响是一个复杂而引人深思的研究领域，涉及到感知心理学、神经科学和认知科学等多个学科，现有的音视觉实验通常分别进行听觉和视觉的刺激实验，较少涉及两者之间的相互影响研究。传统的实验方法和实验环境往往不能同时满足听觉和视觉刺激的精确控制和检测，因而需要一种新的实验方法和实验室布置方式来克服这些问题。

[0004] 本发明的主要目的是研究多个连续听觉事件发生时对视觉事件定位的影响，深入了解听觉事件如何在复杂的环境中改变人们对视觉事件的感知和定位，以确定在哪些情境下听觉对视觉感知产生更显著的影响，深化我们对听觉和视觉信息在复杂环境中相互作用的理解，为人们在多刺激环境中的感知提供更全面的认识。

[0014] 以下结合附图对本发明技术方案进行说明。

[0015] 本发明提供了一种音视觉互影响实验方法，实验方法包括：

[0016] 参见图2，本发明实验室布置：实验室为消音室，室内配备一个多通道球形扬声器系统，且配备头部转动追踪装置、LED灯，参见图1，多通道球形扬声器系统由25个扬声器组成遍布实验室各个方位。在平面处设置三个LED黄灯，一个位于中心方位角0度，其余两个位于水平方位角+/‑45度处。实验对象的座椅安排在房间中心，距离LED灯和扬声器3米，使用黑色透光窗帘遮住扬声器和LED灯，LED灯光足够强烈，可以穿透窗帘，高清摄像头安装在座椅正前方偏上。实验需要保证在实验对象的观察点处，灯光的大小为视野的0.42度，亮度为41cd/m2，且室内保持黑暗。

[0017] 实验方法具体步骤如下：

[0018] 步骤1，设置视觉刺激，视觉刺激由单个60毫秒的光闪烁序列组成，即通过程序设置三个LED灯的闪烁顺序，每个光闪烁之间的时间间隔为150毫秒。随着中心位置的最后一次光闪烁结束，即倒数第二次光闪烁必须设置在中心位置，测试总是以左侧或右侧的光闪结束，即最后一次光闪烁必须设置在中心点左边或者右边。

[0019] 步骤2，设置听觉刺激，听觉刺激由60毫秒的白噪声爆发序列组成。设置噪声爆发的声压在实验对象的听觉点处为70dB。

[0020] 步骤3，光闪烁设置，设置闪烁序列的闪烁次数随机变化，最少为3次，最多为10次。

[0021] 步骤4，噪声爆发设置，噪声爆发的位置、次数和顺序自行设置。

[0022] 步骤5，光闪烁与噪声爆发进行组合，每次试验呈现一系列的光闪烁和噪声爆发序列。

[0023] 步骤6，设置头部转动追踪装置进行头部姿态评估，使用高清摄像头通过基于OpenCV的头部姿态估计记录实验过程中实验对象的头部转动情况，如果发现实验过程中实验对象进行明显的头部转动则该次实验作废，如头部水平转动超过30度，头部上下仰低超过10度。

[0024] 步骤7，设置眼动追踪，通过要求实验对象佩戴眼镜式眼动仪，在实验过程中对实验对象注视方向及注视时间进行记录，若实验对象的注视方向与灯光闪烁位置不一致则实验作废，若实验对象的注视时间小于30毫秒则实验作废。

[0025] 步骤8，设置实验规则，告知受试者需要了解的规则如下：通常情况下，光闪烁时会伴有声音，但也有可能没有声音，受试者需要尽量忽略声音，只报告测试结束时最后一次闪光出现在哪一侧。回答时间限1秒钟。回答时间超过1秒钟的试验以及缺失答案的试验将在后面重复，直到每个实验条件每个受试者获得20次重复结果。

[0026] 步骤9，测试结束后受试者使用键盘报告响应。按下左箭头表示最后一次光事件被感知在左侧，按下右箭头表示被感知在右侧。受试者按顶部箭头开始实验并启动新试验。

[0027] 步骤10，实验过程中，建议受试者利用休息时间眨眼和休息眼睛，并在准备好时再开始下次实验。