crabstew的博客

梯度消失与梯度爆炸出现原因解决梯度消失与梯度爆炸的方法 出现原因 梯度消失和梯度爆炸是因为在神经网络中，由于网络层数增多，导致求取的梯度趋于 ∞\infty∞（梯度爆炸）和趋于 0（梯度消失）的情况。 参考 解决梯度消失与梯度爆炸的方法 梯度剪切：防止梯度爆炸，即当梯度超过一定阈值则将梯度限制在这个阈值范围内 正则化项： Loss=(y−WTx)2+α∣∣w∣∣2 Loss=(y-W^Tx)^2...

集成学习小记Bagging降低方差(variance)，boosting降低偏差(bias)Random Forest（随机森林）是什么？Stacking Bagging降低方差(variance)，boosting降低偏差(bias) Bagging与Boosting的区别 简单的记： Bagging降低方差的原因：bagging是随机取样，因此模型间相关性不高，所以可以防止过拟合 Boosti...