3、助力听障人士：音乐感知与创作的创新解决方案

助力听障人士：音乐感知与创作的创新解决方案

1. 音乐感官替代策略概述

为了让听障人士也能感受音乐的魅力，科学家们开发了音乐到视觉和音乐到触觉的感官替代策略。

1.1 音乐到视觉感官替代策略

大多数音乐到视觉的感官替代策略，是将音乐信息以动画形式呈现在屏幕上。常见的音高映射方式，是代表音符的物体（如圆形或条形）在屏幕上的垂直位置、颜色或相对于参考点的角度。不过，不同乐器也通过不同颜色呈现，这可能会干扰音高映射。时间的呈现方式有两种：一是沿轴呈现，能让用户看到音乐的过去、现在和未来；二是作为瞬时事件呈现。音乐创作方法主要采用瞬时事件来表示时间。目前，尚未建立从音乐信息到动画的最佳映射。而且，包含过多音乐信息的可视化效果，可能会让听障人士感到乏味，娱乐价值对听障音乐消费者似乎更为重要。

以下是常见的视觉感官替代策略的概述：
| 作品 | 重点（音乐聆听/音乐创作） | 音频源 | 映射（选定的音乐元素） | 音高 | 响度 | 乐器 | 时间 |
| — | — | — | — | — | — | — | — |
| 钢琴卷帘视图 | 聆听 | MIDI | 垂直位置 | 颜色 | 水平位置 | |
| 部分运动视图 | 聆听 | MIDI | 垂直位置 | 颜色 | 水平位置 | |
| 音调罗盘视图 | 聆听 | MIDI | 角度 | 圆圈大小 | 瞬时 | |
| 音乐运动像素 | 聆听 | MIDI | 角度 | 颜色、屏幕位置 | 向内/向外运动 | |
| MusicViz | 聆听 | MIDI | 垂直位置 | 管道大小 + 亮度 | 颜色/形状 | 深度位置 |