JiaJia的博客

关于梯度弥散问题：由上面的推导过程大概可以看出在求每一层的权重更新值时，都需要求激活函数的导数f'(x),若激活函数为sigmoid函数，因为sigmoid的函数值本来就在[0,1]之间，其导数f'(x)=f(x)(1-f(x)),将会更小，因此，当网络很深的时候使用sigmoid函数作为激活函数，在进行误差后向传播的时候出现梯度弥散问题。...

GBDT 

随机森林 随机森林主要应用于回归和分类。这里主要说一下利用随机分类进行分类，随机森林分类是一种非线性分类方法，当数据集无法确定是否线性可分，或者利用线性分类器的效果不好时可以考虑利用随机森林，你可能会说为啥不用SVM（kernel为高斯核或者多项式核），我曾经利用核SVM进行非线性分类，数据量为30万左右，训练速度贼慢，所以就考虑用随机森林，随机森林的训练速度比SVM还是要快好多倍的。。。基本

K近邻算法三要素：距离度量、k值的选择、分类决策规则距离度量：一般用欧式距离即可 k值的选择：采用交叉验证选择k值 分类决策规则 优点： 1.精度高，对异常数据不敏感（你的类别是由邻居中的大多数决定的，一个异常邻居并不能影响太大），无数据输入假定 2.对于类域的交叉或者重叠较多的待分类样本集来说，KNN方法较其他方法更为合适（svm则不适用于这种分类问题） 3.在多分类问题上，KNN比s

深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别：（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；（2）iteration：1个iteration等于使用batchsize个样本训练一次；（3）epoch：1个epoch等于使用训练集中的全部样本训练一次；举个例子，训练集

对于adaboost算法而言，迭代几次就产生几个基本分类器，当然分类器的个数越多分类的精度越高。那么怎么确定迭代的次数呢，在我的理解而言，之所以设置迭代次数，是因为当数据量很大的时候，如果还想让模型保持极高的精度，那么所消耗的时间也一定很久，所以为了保证精度的同时保证算法效率，那么在程序的迭代的终止条件需要有两个：一是迭代次数，这个迭代次数设置为在你的计算机的计算能力下，你所能容忍的时间限制

损失函数和风险函数       监督学习问题是在假设空间中选取模型f作为决策函数，对于给定的输入X，由f(X)给出相应的输出Y，这个输出的预测值f(x)与真实值Y可能一致也可能不一致，用一个损失函数或代价函数来度量预测错误的程度。损失函数是f(X)和Y的非负实值函数，记作L(Y,f(X))。      损失函数值越小，模型就越好。由于模型的输入、输出(X,Y)是随机变量，遵循联合分布P(X

先验概率和后验概率用P(h)表示在没有训练数据前假设h拥有的初始概率。P(h)被称为h的先验概率，是指根据以往经验和分析得到的h的概率。类似地，P(X)表示训练数据X的先验概率，P(X|h)表示假设h成立时X的概率。机器学习中，我们关心的是P(h|X)，即给定数据X时h的成立的概率，称为h的后验概率。MAP与MLE最大区别是MAP中加入了模型参数本身的概率分布，或者说。MLE中认为

参考文章：http://blog.youkuaiyun.com/haidao2009/article/details/7514787参考代码：https://github.com/zengkui/machine-learning/tree/master/Adaboost步骤:第一步：读取训练数据第二步：基于训练数据构造弱分类器构造方法:先将所有数据的横标坐标从小到大排序，设置阈值,阈值分别