34、强化学习工程与优化

强化学习工程与优化

1. 模拟学习

将模拟创建视为一个优化问题是一种有效的技术手段。若能对模拟的主要组件进行参数化，甚至给出正式的数学定义，就有可能对模拟进行优化，使其更贴近现实。

具体操作步骤如下：
1. 获取真实数据来源，如真实环境的日志数据、过往实验数据或更复杂的模拟数据。
2. 自动调整模拟的参数，以生成更接近真实数据的数据。可以将其视为一个暴力超参数搜索问题，使用合适的“与现实的距离”度量方法；也可以使用强化学习来学习最优参数。

2. 状态工程或状态表示学习

状态工程，也称为状态表示学习，旨在改进观测对状态的表示方式，目标是设计出更好的状态表示。这与特征工程有所不同，其重点在于创建环境状态的最佳表示，然后让策略来解决问题。

2.1 领域专业知识的重要性

在状态工程中，领域专业知识至关重要。添加看似简单的特征可能会显著提高性能。例如，在机器人实验中，使用图像作为状态表示时，添加“抓手高度”这一简单测量值，可使机器人拾取未知物体的能力提高 12%。

2.2 学习前向模型

在某些情况下，可能暂时能够获取真实数据，如在高度仪器化的实验室实验中。可以构建一个监督模型，根据观测预测状态，并将其应用于实际代理。

2.3 约束状态空间

约束状态空间有助于限制代理所需的探索量。可以使用先验知识（通过概率分布正式定义的已知信息）来应用约束。例如，如果知道特征应严格为正，确保策略了解这一点，避免尝试到达这些状态。

2.4 转换技术

• 降维