crabstew的博客

梯度消失与梯度爆炸出现原因解决梯度消失与梯度爆炸的方法 出现原因 梯度消失和梯度爆炸是因为在神经网络中，由于网络层数增多，导致求取的梯度趋于 ∞\infty∞（梯度爆炸）和趋于 0（梯度消失）的情况。 参考 解决梯度消失与梯度爆炸的方法 梯度剪切：防止梯度爆炸，即当梯度超过一定阈值则将梯度限制在这个阈值范围内 正则化项： Loss=(y−WTx)2+α∣∣w∣∣2 Loss=(y-W^Tx)^2...

集成学习小记Bagging降低方差(variance)，boosting降低偏差(bias)Random Forest（随机森林）是什么？Stacking Bagging降低方差(variance)，boosting降低偏差(bias) Bagging与Boosting的区别 简单的记： Bagging降低方差的原因：bagging是随机取样，因此模型间相关性不高，所以可以防止过拟合 Boosti...

从零到实现CNN分类器并优化,基于Pytorch前言基础知识Pytorch介绍安装开始学习Pytorch导入包tensor基础操作与Numpy类型相互转化Autograd（自动求微分）前言简述autograd包的使用神经网络 前言 我只是Pytorch官网的搬运工，以下内容在Pytorch官网Tutorial页面都可以找到 记录自己从零到实现CNN分类器所寻找的资源、学习过程 基础知识 学会Pyt...

什么是Exposure Bias exposure bias 是在RNN（递归神经网络）中的一种偏差 即 RNN 在 training 时接受 ground truth input，但 testing 时却接受自己之前的 output，这两个 setting不一致会导致 error accumulate ...

迁移学习transfer learning前言 前言 实际中，很少人会从零开始训练整个卷积神经网络（即随机初始化）。因为很少有机会能得到足够的数据集。 常见的是，我们会在一个很大的数据集（比如说Image Net）提前训练，然后使用卷积神经网络（ConvNet）要么作为一个初始值，要么作为一个固定的特征提取器。 两种主要的迁移学习情景： Finetuning the convnet: 我们使用p...