验证与调参——交叉验证/ 网格搜索/贝叶斯优化/随机搜索

本文链接：https://blog.youkuaiyun.com/iisugar/article/details/146304338

这里说第五类：

这里说第五类：

像请不同顾客试菜，取平均评分。
如果只用一组测试数据评估模型，可能因数据分布偏差导致结果不可靠。交叉验证通过多次划分训练集和验证集，确保模型评估更全面。

像调整菜谱的调料比例，逐个尝试所有可能组合。
超参数（如学习率、正则化强度）的选择直接影响模型性能，网格搜索通过穷举所有可能的参数组合，找到最佳配置。

如何工作：
1. 定义超参数的候选值（如学习率：[0.01, 0.1, 1.0]）。
2. 遍历所有参数组合，对每个组合用交叉验证评估性能。
3. 选择性能最优的参数组合。
作用：
- 系统性搜索参数空间，避免遗漏潜在最优解。
- 与交叉验证结合，确保评估的鲁棒性。

流程示意图：

text

网格搜索 → 为每个参数组合 → 进行K折交叉验证 → 记录平均性能 → 选择最优参数

类别：验证与调参。
比喻：像猜价格游戏，根据历史尝试结果推测最优解。/
假设你要找一个隐藏的宝藏，每次挖坑后根据结果调整下一次挖的位置。贝叶斯优化通过概率模型（如高斯过程）预测哪里最可能有宝藏，逐步逼近最优解。
特点：比网格搜索更高效，但需要概率模型。
适合高计算成本场景：如训练大型模型时，每个参数组合的评估耗时很久。

方法	核心思想	如何与交叉验证结合	效率	适用场景	比喻
网格搜索	穷举所有参数组合	对每个参数组合用交叉验证评估性能	低	参数空间小且计算资源充足（如2-3个参数）	用尺子逐寸测量土地找宝藏（系统性）
随机搜索	随机采样参数组合	随机选择参数组合，用交叉验证评估	中	参数空间大或计算资源有限（如5个以上参数）	随机挖坑找宝藏（可能更快但有风险）
贝叶斯优化	基于概率模型选择最有潜力的参数	根据历史交叉验证结果更新模型，指导下一步搜索	高	高维参数、计算成本高（如大模型）	根据地质勘探数据推测宝藏位置

比喻：像用尺子逐寸测量土地，确保不遗漏任何角落。
流程：
1. 定义参数网格（如学习率：[0.01, 0.1, 1.0]）。
2. 遍历所有参数组合，对每个组合执行交叉验证。
3. 选择交叉验证表现最好的参数。
缺点：当参数维度增加时，计算量呈指数级增长（如5个参数，每个参数3个候选值，需测试3^5=243次）。

比喻：像随机挖坑找宝藏，可能更快但需要运气。
流程：
1. 定义参数分布（如学习率在0.01到1.0之间均匀分布）。
2. 随机生成参数组合（如20个组合）。
3. 对每个组合执行交叉验证，记录结果。
4. 选择最佳参数。
优势：
- 当参数空间大时，比网格搜索快。
- 若最优参数集中在某个区域，可能更快找到。

比喻：像地质学家根据勘探数据推测宝藏位置。
流程：
1. 初始化：随机选择少量参数组合，用交叉验证评估。
2. 建模：用概率模型（如高斯过程）拟合参数与性能的关系。
3. 选择下一步参数：通过采集函数（如上置信界）选择最有潜力的参数点。
4. 迭代：用交叉验证评估新参数，更新模型，重复步骤2-3。
优势：
- 高效性：通过建模减少无效尝试，尤其适合高维参数。
- 全局性：平衡探索（新区域）与利用（已知好区域）。