Ray----Tune(1):可伸缩的并行的超参搜索

本篇仅初步简单介绍Ray中的重要训练框架Tune（可伸缩的并行的超参搜索框架）的特点和简单的入门操作。tune的主要应用是在深度学习和深度强化学习中。可以在GitHub上找到Tune代码，要开始使用Tune，需要一定的储备知识，深度学习，Keras库，tensorflow等强化学习的知识。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C7ZgZr0u-1572314628441)(https://ray.readthedocs.io/en/releases-0.7.3/_images/tune.png)]

特点

• 支持任何深度学习框架，包括PyTorch、TensorFlow和Keras。
• 选择可伸缩的超参数和模型搜索算法，如Population Based Training (PBT)、Median Stopping Rule、HyperBand。
• 混合并匹配不同的超参数优化方法——例如HyperOpt with HyperBand 或 Nevergrad with HyperBand.
• 使用TensorBoard, parallel coordinates (Plot.ly), 和 rllab’s VisKit可视化结果。
• 在不更改代码的情况下扩展到在大型分布式集群上运行。
• 使用Tune的资源感知调度，对具有GPU要求或算法的模型进行并行化训练，使这些模型可以并行和分布，

入门指南

入门指南