QWxixi的博客

发现了一个非常清晰的博客，记录了用Tensorflow实现最简单的神经网络以及整个训练过程https://www.cnblogs.com/clemente/p/10260197.html

1：初始时，概率分布为1/m，即每个样本的概率都相等。2：进入for循环，因为设置了T个基学习器，所以循环T次​ 3：数据集D在概率分布DtD_tDt​的情况下，计算基分类器的预测结果​ 4：数据集D在概率分布DtD_tDt​的情况下，计算基分类器的错误率​ 5：如果该次中，基分类器的错误率大于0.5，则停止循环——原因：由公式8.11，计算基分类器的权重公式可知，误差率小于12\frac{1}{2}21​才有意义​ 6：计算基分类器的权重​ 7：更新样本分布，思想是：降低提升分类错误的样本的.

下面这段为知乎上的解释为什么使用相同的网络结构，跑出来的效果完全不同，用的学习率，迭代次数，batch size 都是一样？固定随机数种子是非常重要的。但是如果你使用的是PyTorch等框架，还要看一下框架的种子是否固定了。还有，如果你用了cuda，别忘了cuda的随机数种子。这里还需要用到torch.backends.cudnn.deterministic.torch.backends.cudnn.deterministic是啥？顾名思义，将这个 flag 置为True的话，每次返回的卷积算法将是确

什么是过拟合问题underfit 欠拟合：先入为主，有很强的偏差 high biasjust rightoverfit 过拟合：高方差 high variance——有太多的特征值（阶次太高），对于训练集拟合的很好（为了完美拟合训练集，函数变得很扭曲），但是无法泛化(generalize)到新的样本(new examples)中如果出现过拟合，我们该怎么解决尽量减少选取变量的数量 reduce number of features——选择哪些特征变量舍弃、哪些保留正则化 regular

第六章：分类问题把线性回归用于分类问题，不是一个好方法 —— 癌症的例子，增加一个特别容易判断的例子，反而影响了中间那部分的判断logistic回归算法 - 逻辑回归算法是一种分类算法假设函数的表示方法sigmoid函数也叫Logistic函数，用于隐层神经元输出，取值范围为(0,1)，它可以将一个实数映射到(0,1)的区间，可以用来做二分类。hθ(x)=11+e−θTxh_\theta(x) = \frac{1}{1+e^{-\theta^Tx}}hθ​(x)=1+e−θTx1​我们假设