aikudexue的博客

参考： https://blog.youkuaiyun.com/shenxiaoming77/article/details/51614601 介绍的比较详细，nice 对数损失函数（逻辑回归），平方损失函数（线性回归），指数损失函数（adaboost），Hinge（岭回归）损失函数（svm）… ...

回归树一个例子： https://blog.youkuaiyun.com/weixin_40604987/article/details/79296427 回归树和分类树类似，区别是分类树是选择一个特征的值进行划分，而回归树是选择一个特征的切分点进行划分。另外，分类树叶节点的输出是节点中最多数目的类别，而回归树输出的是叶节点所有样本值的平均值。 GBDT GBDT为Boosting家族的一员，它和Ada...

参考： https://www.jianshu.com/p/7467e616f227 讲的最详细的了

dropout有一个参数p，p的取值介于0和1，含义是每个节点有p概率被抛弃。 被抛弃对这个节点有什么影响呢？dropout对于节点的影响表现在，一旦某个节点被选定为抛弃的节点，那么对于神经网络的forward过程这个节点的输出就被置为0；对于backward过程，这个节点的权重和偏置不参与更新。也就是说，在某次迭代中，网络中有部分节点不参与这一次的训练，整个网络结构等效于下图右侧（左侧是drop...