53、音乐理解的视觉呈现与旋律生成方法

音乐理解的视觉呈现与旋律生成方法

1. 音乐可视化相关工作

音乐可视化旨在通过视觉手段帮助人们更好地理解音乐元素。相关工作可分为全局和局部音乐可视化方法。

全局音乐可视化方法包括：
- Sapp（2003）提出两种图表来展示音乐作品中和声结构以及关键区域之间的关系，并提出将声音音调离散映射为颜色音调。
- Miyazaki 等人（2003）提出从 MIDI 文件创建 3D 交互式图片的方法，将音符的音高、音量和节奏分别编码为交互式插图中的高度、直径和颜色饱和度，用户可利用 3D 视角和光照在 MIDI 文件数据中导航。

局部音乐可视化方法包括：
- Fonteles 等人（2013）引入粒子系统，由古典音乐编排实时动画粒子发射喷泉，通过分析音高和时域的时变结构来可视化音乐主题。
- Bergstrom 等人（2007）提出 Isochords 方法，利用欧拉发明的 Tonnetz 三角等距网格可视化音乐作品的和弦进行结构，能展示和声随时间的变化，并可视觉检测熟悉的主题模式。
- Ciuha 等人（2010）提出用于可视化一组并发音调的不同颜色映射方法，采用连续色轮映射，与常见的离散声音音调 - 颜色音调映射不同，用低颜色饱和度表示不和谐，高颜色饱和度表示和谐。

大多数相关工作主要关注和声分析、和弦进行结构、主题识别或 3D 交互式插图。而 Chan 等人（2010）的论文关注管弦乐队中乐器的作用，但其提出的视觉语言过于复杂，不适用于教学目的。本文提出的视觉语言旨在展示音乐的特定特征，如音色、和弦、音符音调和音量，重点应用于小型合奏，即室内乐作品，可创建音乐的全局和局部视图。

2. 颜色在音