16、Ray在机器学习中的应用：强化学习与超参数调优

Ray在机器学习中的应用：强化学习与超参数调优

1. Ray库中的插件

Ray库包含两个额外的插件：
- HorovodRayPlugin ：与Horovod集成，作为分布式训练协议。
- RayShardedPlugin ：与FairScale集成，在Ray集群上提供分片分布式数据并行（DDP）训练。通过分片训练，在训练大型模型时可以利用数据并行训练的可扩展性，同时大幅减少内存使用。

2. 分布式PyTorch Lightning训练

不同实现方式的执行时间比较如下：
| 实现方式 | 执行时间（秒） |
| ---- | ---- |
| PyTorch | 16.6 |
| Lightning | 8.2 |
| 分布式Lightning with Ray | 25.2 |

执行时间差异的原因与之前的scikit - learn和提升算法情况类似，是由于远程调用的开销。

3. Ray强化学习

3.1 强化学习概述

强化学习是一种机器学习技术，使智能体能够在交互式环境中通过试错学习，利用自身行动和经验的反馈进行学习。它与监督学习、无监督学习有不同特点：
- 监督学习和强化学习都在输入和输出之间建立映射，但监督学习使用已知的输入和输出集进行训练，而强化学习使用奖励和惩罚作为正负行为的信号。
- 无监督学习和强化学习都利用实验数据，但目标不同。无监督学习是寻找数据点之间的相似性和差异，而强化学习是寻找合适的行动模型，以最大化累