10、提升机器学习模型性能的方法

提升机器学习模型性能的方法

1. 超参数优化

1.1 贝叶斯搜索

在贝叶斯优化中，与不检查先前组合集的值就随机选择超参数组合不同，每次迭代都会根据先前测试的超参数集的历史记录来选择超参数集的组合。与网格搜索相比，这个过程有助于降低计算成本，但并不总是优于随机搜索。可以使用 Ray Tune (ray.tune) 来实现这种方法。更多关于 Ray Tune 的不同功能，如记录调优运行、如何停止和恢复、分析调优实验结果以及在云端部署调优等信息，可查看教程页面： https://docs.ray.io/en/latest/tune/tutorials/overview.html 。

以下是使用 ray.tune.sklearn.TuneSearchCV() 对随机森林模型进行贝叶斯超参数优化的实现，可达到 0.942 的交叉验证准确率：

import time
from sklearn.ensemble import RandomForestClassifier as RFC
from ray.tune.sklearn import TuneSearchCV
from sklearn.model_selection import StratifiedKFold

start_time = time.time()
random_state