16、Ray在机器学习中的应用：强化学习与超参数调优

Ray在机器学习中的应用：强化学习与超参数调优

1. 库中的额外插件

在相关库中，包含了两个额外的插件：
- HorovodRayPlugin ：与Horovod集成，作为分布式训练协议。
- RayShardedPlugin ：与FairScale集成，在Ray集群上提供分片的分布式数据并行（DDP）训练。通过分片训练，在训练大型模型时，能利用数据并行训练的可扩展性，同时大幅减少内存使用。

2. 分布式PyTorch Lightning训练

通过对比三种实现的执行时间，使用PyTorch进行简单示例需要16.6秒，Lightning需要8.2秒，而使用Ray的分布式Lightning则需要25.2秒。这与之前scikit - learn和提升算法的情况类似，是由于远程调用的开销所致。

3. 使用Ray进行强化学习

3.1 强化学习概述

Ray最初是作为强化学习（RL）平台创建的，RL是现代人工智能领域最热门的研究主题之一，且其受欢迎程度不断上升。RL是一种机器学习技术，使智能体能够在交互式环境中通过试错学习，利用自身行动和经验的反馈来改进。

与监督学习和无监督学习相比，监督学习和强化学习都在输入和输出之间建立映射，但监督学习使用一组已知的输入和输出进行训练，而强化学习使用奖励和惩罚作为正负行为的信号；无监督学习和强化学习都利用实验数据，但目标不同，无监督学习是寻找数据点之间的异同，而强化学习是寻找合适的行动模型以最大化累积奖励并改进模型。

3.2 强化学习的关键组件 </