32、动作与奖励设计：从日常事物到强化学习的启示

动作与奖励设计：从日常事物到强化学习的启示

1. 动作设计的多样灵感

动作设计，通常也被称为用户界面（UI）设计，是一个广泛且多元的领域，涵盖了从工业产品设计到游戏，再到如今的网页和应用程序设计等众多领域。从远古祖先制作的石斧到我们手中的智能手机，界面设计贯穿了人类历史，一直影响着我们与环境的交互方式。

1.1 乐器中的动作设计

乐器本质上是控制设备，通过拨弦、吹奏或敲击等方式与空气相互作用，以声音的形式产生丰富的状态。以钢琴为例，它通过敲击琴弦发声，每个琴键可以用不同的压力弹奏，产生柔和或响亮的音符。此外，钢琴还有三个脚踏板：柔音、持音和制音踏板，它们与键盘的精确触感共同作用，以复杂的方式相互影响，产生丰富的音符。因此，对钢琴产生的动作和状态（声音）进行建模是一项具有挑战性的任务，但数字钢琴已经实现了这一点，尽管它们的声音与真实钢琴仍有所不同。

为了训练一个弹钢琴的机器人，可以先将数字钢琴的软件重新用于虚拟环境进行训练，然后再让机器人在昂贵的钢琴上进行训练，以避免可能的损坏。

除了传统乐器，新的乐器也在不断被发明。例如，Seaboard 这种新型键盘，它将钢琴带入了连续控制的领域。它没有离散的琴键，而是有一个波浪形的表面，类似于钢琴的布局轮廓。触摸表面的任何一点都会从其众多软件预设（如吉他、弦乐等）中产生一种声音。此外，它的响应式表面能够识别五种触摸维度：敲击、按压、抬起、滑动和滑行。为了适应这些新的控制维度，其制造商 ROLI 还为其乐谱引入了新的记谱法。

1.2 游戏中的动作设计

游戏也是控制设计的重要灵感来源。随着技术的发展，游戏的形式和控制方式也在不断演变。