49、DIGIT：数字拟音系统与实时音乐创作探索

DIGIT：数字拟音系统与实时音乐创作探索

一、DIGIT系统实验介绍

1.1 实验目的与方法

DIGIT系统旨在辅助音频后期制作中脚步声的创建。为了找到合适的控制表面，进行了一系列实验。实验目的是找到一个控制表面，使得具有相似属性的手势在受限的描述符空间内相关联，而感知上不同的手势在描述符空间中分散分布。
为实现这一目标，首先对每个表面上的每种手势进行八次重复分析，采用声学（触觉）响应分析策略。然后，计算重复手势之间的特征向量内距离和不同手势之间的特征向量间距离。理想情况下，最佳的DIGIT表面应将手势重复限制在小的描述符空间内，并将不同手势分散在该空间中。

1.2 表面性能评估方法

使用两种分析数据集合来检查表面的性能：
- 第一种包括对不同表面上七种手势分析得到的整个描述符数据。
- 第二种使用主成分分析（PCA）对每个表面的描述符数据提取六个主成分。PCA的使用旨在减少数据集合，捕获每个表面最相关的维度（或描述符），最小化冗余信息，并突出对所选手势最具区分性的维度。

1.3 触觉和感知描述实验

在DIGIT中对有形控制表面的探索是由感知探索驱动的。然而，使用接触式麦克风捕获手势的声学特征时，接触式麦克风所放置的材料会改变所执行的声音手势，导致从接触式麦克风的触觉响应收集的描述与用户感知的声学响应不同。
为克服用户意图与DIGIT接触式麦克风响应之间的脱节，进行了一项实验，比较由两种不同技术（更确切地说是两种不同麦克风）捕获的手势描述：
- 电容式麦克风，通过空气捕获声波，与人类感知相似。
- 接触式麦克风，通过物理物体的振动捕获声波。