常用的超参数

一.概念

    通俗的理解是神经网络中的参数指的是那些通过训练可以进行调节的参数.比如权重和偏置量.超参数指的是在训练之前需要手工设定的,不断试错调整的参数.

二.常用的超参数

    1.learning rate:学习率指的是在网络训练过程中,权重每次调整的幅度大小,其决定了权值更新的速度.学习率设置过小,会导致网络的收敛速度变慢.过大可能导致收敛结果在最优值左右来回跳动.在训练过程中一般都采用指数衰减的的方式调节学习率,即随着训练次数的增大,学习率不断降低.
    2.learning rate decay:上面提到学习率随着训练次数的增加会降低,训练次数每增加一次,学习率降低的幅度大小由learning rate decay确定.
    3.weight decay:权重衰减,在网络的训练过程中,会通过求损失函数的最小值来不断优化网络权重,但直接优化损失函数经常会出现过拟合的现象.为了避免过拟合,会给损失函数添加一个惩罚项(正则化项),常用的惩罚项是所有权重的平方和乘以一个衰减常量(这个衰减常量就是weight decay),用来惩罚大的权值.所以我们平时优化的函数叫做目标函数,(目标函数=损失函数+惩罚项).
    4.momentum:动量,在训练过程中,人为给定一个动量可以加快梯度的收敛过程.
    5.迭代次数:迭代次数指的是训练集中的数据在网络中进行训练的次数.当测试错误率和训练错误率相差较小是,可以人为当前的迭代次数是合理的.
    6.权重初始化:在网络训练之间,要先给权重一个随机的初始值,这里有两种方法.第一种是采用均匀分布的方法初始化各层网络的权重,自己从头开始训练网络模型.第二种是采用该模型之前已经训练好的权重作为训练的初始值,这样做的原因在于,已经在该模型上训练过的权重已包含了大量的有用的卷积过滤器,与其从零开始训练所有权重,不如使用已经训练好的参数作为训练的起点.这样做不仅可以节约大量的训练时间,而且有助于分类器性能的提高.
    7.Dropout:作为一种常用的正则化方式,在全连接环节加入Dropout可以减弱深层神经网络的过拟合效应.该方法会按照所设定的参数,在每次的训练过程中随机地不激活一定数量的神经元.该参数默认设置为0.5.

三.自动超参数优化算法:

(1)网格搜索
(2)随机搜索

这是目前整理的一部分,若有错误,还望指正,以后会继续完善更新.

### 随机森林常用超参数调优指南 #### 参数概述 随机森林是一种集成学习方法,通过构建多棵决策树并汇总其预测结果来进行分类或回归。调整超参数对于优化模型性能至关重要。常见的可调节超参数包括但不限于: - **n_estimators**: 控制用于投票的弱学习器(通常是决策树)的数量。增加此数值可以提高准确性但也可能导致更长的计算时间[^2]。 ```python from sklearn.ensemble import RandomForestClassifier clf = RandomForestClassifier(n_estimators=100) ``` - **max_depth**: 设定每棵树的最大深度。较浅的树有助于防止过拟合;然而如果设置得太低,则可能无法捕捉到足够的模式而欠拟合数据集。 ```python clf = RandomForestClassifier(max_depth=8) ``` - **min_samples_split**: 定义内部节点再划分所需最小样本数。该值越大意味着越不容易分裂,从而简化生成的树结构,帮助控制过拟合并提升泛化能力。 ```python clf = RandomForestClassifier(min_samples_split=4) ``` - **min_samples_leaf**: 叶子节点所需的最少样本数量。同样地,较高的阈值能够抑制过度复杂的模型形成,降低过拟合风险。 ```python clf = RandomForestClassifier(min_samples_leaf=2) ``` - **max_features**: 构建单个估计量时考虑的最佳分割特征数目。较小的比例会引入更多多样性,但同时也增加了不确定性;反之则倾向于创建相似度更高的基评估者集合。 ```python clf = RandomForestClassifier(max_features='sqrt') ``` 为了找到最佳配置组合,在实践中通常采用网格搜索(Grid Search) 或贝叶斯优化(Bayesian Optimization)等策略进行全面探索。此外,交叉验证(Cross Validation)也是不可或缺的一部分,因为它
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值