- 博客(11)
- 收藏
- 关注
RSS订阅原创 viscode使用ssl协议进行git相关操作
使用url在pull和push的时候老是会出现下面这个问题：用了很多方法都没啥用，考虑使用ssl协议。
2025-02-09 21:22:54
510
原创 深度学习中各种归一化方法
对于IN实例归一化，其均值和方差的计算是对于同一个样本同一个通道下的所有特征；对于LN层归一化，则是对于同一个样本所有通道下所有特征计算其均值和方差；对于BN，则是介于LN和IN之间，LN是所有通道，IN是单个通道，而BN则是通过确定一个超参数组数，然后将通道数分为几组，均值和方差的计算便是通过单个样本下通过一个通道组下所有通道的所有特征来计算的；最后是BN，其是通过计算同一个批次下所有样本在每一个特征下的均值和方差，然后对每一个特征通通过计算所得的均值和方差进行标准化。
2024-11-20 15:24:31
316
1
原创 GBDT调参思路
并且在集成学习中，还需要去考虑单个弱评估器的学习能力和弱评估器数量的约束关系，一般来讲，单个弱评估器的学习能力越强，对强评估器的贡献越大，弱评估器的数量便可以有所降低。由于max_depth默认设置值已经较小，因此无法通过调小其值来抑制模型的过拟合问题，因此需要调整随机性bagging方面的参数来抑制过拟合：max_features, subsamples，由于bagging带来的随机化会使得弱评估器的学习能力减弱，因此需要调高max_depth来增强评估器的学习能力。
2024-09-19 19:51:12
167
原创 超参数调优方法总结
随机网格搜索方法：就是在网格收索的基础上，随机抽取参数空间中的参数组合进行训练，在理论上，如果网格搜索和随机网格搜索的参数空间一致，那么随机网格搜索只能是逼近网格搜索的最优值，但是在实际操作中，可以去调整参数空间的广度和密度，来作为随机网格搜索的参数空间，在这种情况下，随机网格搜索的结果可能会比网格搜索要好。在实际操作中，可以先使用网格搜索来确定一个大概的超参数范围，然后在网格搜索的基础上构建一个更广更密的参数空间，使用随机网格搜索来进行超参数调优。
2024-09-02 11:14:44
361
原创 随机森林的技术细节
1.决策树之间的相互独立性，但实际情况中，很难满足完全相互独立，原因是每一颗决策树都是在同一个数据集上抽选数据进行训练的，并且决策树的生长规则也是一致的，因此决策树之间难以保证完全的相互独立性，但是决策树之间相关性不是太强，随机森林也能有着较好的预测性能。假设随机森林中的每棵树时独立同分布的，设决策树的预测结果为X_i，方差为sigma，则随机森林输出结果为X_bar，方差：Var(X_bar)=sigma/n，因此在各个决策树独立同分布的情况下，随机森林可以有效地降低模型的方差。
2024-08-31 16:29:29
456
原创 随机森林的超参数调优
在具体调参中，一般先使用学习曲线来判断n_estimators，对于max_features则可以先去log、sqrt来观察，分裂准则一般使用RMSE，若标签服从泊松分布则可以考虑poisson损失，而对于树的超参数，则可以训练得到森林后来进行剪枝，确定超参数的范围。(3)关于树本身的超参数：max_depth,min_samples_split,min_weight_fraction_leaf,min_samples_leaf,max_leaf_nodes,min_impurity_decrease;
2024-08-31 10:52:54
953
原创 随机森林学习
其次是怎么引入随机性，可以分为两个部分，样本的随机性和特征的随机性，对于每一颗决策树，其训练样本是从原始样本进行有放回的见到那随机抽样来抽取的，由于进行有返回随机抽样，因此最终会有样本没有被选入训练样本中，一个样本最终没被抽中的概率为(1-1/n)*n（n趋近于无穷)，这部分没有被选中的数据就是袋外数据，可以用来验证模型的性能。接着是特征的随机性，这个很简单，就是从原始特征中不返回随机抽取特征，作为某个决策树的特征。随机森林，顾名思义，是由“随机”和“森林”两个要素构成。
2024-08-31 10:43:24
222
原创 决策树调参
预剪枝处理中，分为粗剪枝和细剪枝，其中粗剪枝采用限制树的最大深度max_depth的方法，淅江之则是通过内部节点样本数min_samples_split、叶子节点样本数min_samples_leaf、节点分裂最小样本权重数min_weight_fraction_leaf，最多的叶子数max_leaf_nodes，最小的不纯度下降数min_impurity_decrease:impurity来确定。如果剪枝后损失函数值有所下降，则执行剪枝操作，否则不进行剪枝。tip：一般采用预剪枝，很少使用后剪枝。
2024-08-30 09:24:04
333
原创 决策树学习
首先讲ID3，其只能处理离散型特征、离散型标签的数据，在两个子问题的处理上，首先对于第一个问题：怎么定义分类规则，其采用了最朴素的想法，对特征中的每一列特征按照取值进行划分，便能够定义了分类规则，就比如说，特征A有三个取值a1、a2、a3，直接将根节点按照特征A的这三个取值分为三个子节点，就确定了一个分类规则；这个时候就需要去度量分类规则的优劣问题，在ID3中，采用了信息熵去评价各个分类规则的好坏，选择使用信息熵下降最大的分类规则为最佳分类规则，至此ID3就完成了这两个关键的问题。1.怎么去定义分类规则。
2024-08-23 18:54:37
399
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人