44、触觉反馈表面上丰富音乐交互及声音感知评估新方法

触觉反馈表面上丰富音乐交互及声音感知评估新方法

1. 触觉反馈表面音乐交互实验

在研究触觉反馈对音乐交互的影响实验中，所有参与者都使用了主动降噪耳机（Panasonic RP - DJS200，日本），以防止触觉平板电脑产生的微小噪音对他们的演奏产生影响。

1.1 设计

• 声音生成 ：使用 Pure Data 进行基本的 FM 合成，仅用两个振荡器生成听觉信号。在 FM 合成中，简单波形的音色通过在音频范围内调制其频率而改变，形成更复杂的波形和不同的音调。这里有两个正弦波，即调制波和载波，调制波改变载波的频率。
• 通信协议 ：PC（生成 FM 合成）与触觉反馈平板电脑之间使用 OpenSoundControl 协议进行通信。
• 信号关系 ：在 E - ViTa 触觉反馈平板电脑中，生成的触觉反馈（具有特定的空间频率和幅度）始终与用户的手指速度成正比。存在一个线性传递函数，即声音信号频率（Hz）=触觉信号空间频率（µm）×手指速度（mm/s）。
• 映射关系 ：声音的音量映射到手势速度，即用户手指在表面上移动的速度；声音的音高映射到平板电脑的 Y 轴。定义了三种不同的听觉和触觉信号映射：
  | 映射类型 | 触觉信号关联 | 对应类别 | 说明 |
  | ---- | ---- | ---- | ---- |
  | 映射 1 | 与产生声音的共振相关，即声音消失所需的时间，共振越多，摩擦力越小，此参数在用户手势停止时才能听到，共振