16、强化学习与进化计算技术解析

强化学习与进化计算技术解析

1. 强化学习的重要性与概述

强化学习是当前科学领域中极为活跃的研究与发展领域，预计在未来 200 年内将对人类产生重大影响，它也是首个有能力大规模取代人类工作的技术。如果要深入学习一项技术，强化学习是不错的选择。

2. 建模环境

2.1 模拟器概念

“模拟是对系统中一组现实世界过程随时间的操作进行模仿”。简单来说，系统接收多个输入，对选定输入应用近似数学函数，然后以数据形式返回输出，可通过可视化观察系统当前状态。例如 CartPole，能看到小车努力平衡杆子。

2.2 模型范围确定

在实际应用中，确定模型或模拟的范围是个关键问题。因为现实世界中的大多数事件都存在某种关联，所以在开始项目前，需要明确项目范围。以下是不同范围的示例：
- 简单如带杆子的小车。
- 完整的汽车。
- 众多车辆，如城镇中行驶的所有车辆可绘制城市地图并共享信息。
- 全球所有车辆。
- 若全球车辆相互连接，这是一个可能但不太现实的范围。

范围越大，需要处理的数据量就越大，在单个系统上解决模型的可能性也越低。

2.3 状态特征创建

确定模型范围后，下一步是识别模型中的特征。可以对模型拍照，并为每个独特特征添加标签。以车辆模型为例，有以下 7 个特征：
| 特征名称 | 特征类型 | 取值范围 | 说明 |
| — | — | — | — |
| 车道变更特征 | 二进制传感器 | 0 或 1 | - |
| 盲点传感器特征 | 二进制传感器 | 0 或 1