69、听觉流形成的影响因素与组织原则

听觉流形成的影响因素与组织原则

1. 视觉信息对听觉流形成的影响

视觉信息在听觉流形成过程中扮演着重要角色，不过其影响并非总是一致的。

1.1 视觉与听觉的同步整合实验

Rahne 等人进行了一系列实验，合成了由高低音交替组成的双稳态音调序列。他们将这些音调序列的等时子集与视觉图像（正方形）关联起来，正方形的面积随音调的音高变化。当正方形仅与低音同步显示时，有利于低音与高音的分离，使分离配置更占主导；而当小正方形（对应低音）与大正方形（对应高音）交替显示时，则有利于整合，使整合配置更占主导。

实验还发现，通过适当同步音调子集与同时显示的视觉形状，可以将高低音序列的双稳态配置稳定地朝着更多整合或更多分离的方向发展。甚至原本稳定的配置也可以被破坏，频率差异高于时间相干边界或低于通常较为稳定的裂变边界的音调序列都能被变成双稳态。神经生理学实验表明，这种多感官整合在听觉皮层水平就已显现，说明视觉图像（如正方形）和声音（如音调）可以同时进行感知整合，这种整合不仅发生在同一模态的感官组件之间，也能发生在不同模态的感官组件之间。

1.2 视觉信息对旋律识别的影响

Marozeau 等人使用交错旋律识别任务进行实验。他们将“旋律”（四音序列）的音调与干扰音调交错，让听众判断识别四音模式的难度。通过改变旋律音调和干扰音调的频率范围重叠程度来调整任务难度，当频率范围完全重叠时，任务非常困难或几乎不可能完成；而当它们相距较远时，任务则变得容易。实验中，研究人员通过展示四音旋律的乐谱并突出显示正在播放的音调，为听众提供视觉信息，结果表明视觉信息使任务变得更容易。

1.3 视觉对移动声源双稳态感知的影响