微调模型（Machine Learning 研习之十二）-优快云博客

本文链接：https://blog.youkuaiyun.com/coco2d_x2014/article/details/136583572

本文探讨了如何对开源大模型进行微调，介绍了网格搜索和RandomizedSearchCV在超参数调整中的应用，以及Scikit-Learn中的相关工具，包括效率更高的HalvingRandomSearchCV，以优化模型性能并节省计算资源。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现在正处于百模乱战的时期，对于模型微调，想必您是有所了解了，毕竟国外的大语言模型一开源，国内便纷纷基于该模型进行微调，从而开始宣称领先于某某、超越了谁。可到头来，却让人发现他们套壳了国外大语言模型对外开放的API。

好了，我们不说国内各种大模型宣称超过了谁，毕竟，嘴巴长在别人脸上，我们管不了，也管不着，吹牛终将是会露馅的！

当我们需要对开源大模型进行微调时，看看有几种方法可以做到这一点的！

网格搜索

手动调整超参数，直到找到超参数值的完美组合。这将是一项非常乏味的工作，而且您可能没有时间去探索多种组合。

相反，您可以使用 Scikit-Learn的 GridSearchCV类来搜索您。您需要做的就是告诉它您希望它试验哪些超参数以及要尝试哪些值，它将使用交叉验证来评估超参数值的所有可能组合。例如，以下代码搜索 RandomForestRegressor的最佳超参数值组合：

from sklearn.model_selection import GridSearchCV

full_pipeline = Pipeline([    ("preprocessing", preprocessing),    ("random_forest",                RandomForestRegressor(random_state=42)), ]) 
param_grid = [{
   'preprocessing__geo__n_clusters': [5