lty_sky的专栏

作者：xyzh链接：https://www.zhihu.com/question/26726794/answer/151282052来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。关于这个问题我今天正好看到了这个文章。讲的正是各个算法的优劣分析，很中肯。https://zhuanlan.zhihu.com/p/25327755正好14年的时候有人...

1.PCA简介　　PCA作为降维最重要的方法之一，在数据压缩消除冗余和数据噪音消除等领域都有广泛的应用。PCA的思想就是将高维数据投影到低维，一般基于两个标准选择投影方向：基于最小投影距离　　　　样本点到投影超平面的距离足够近基于最大投影方差　　　　样本点投影在超平面上的方差足够大，能够竟可能的分开，即方差最大方向的分解　　ps：什么情况下需要进行降维？　　　　数据集特征数...

本篇博客总结几种归一化办法，并给出相应计算公式和代码。1、综述1.1 论文链接1、Batch Normalizationhttps://arxiv.org/pdf/1502.03167.pdf2、Layer Normalizaitonhttps://arxiv.org/pdf/1607.06450v1.pdf3、Instance Normalizationhttps:/...

1. 什么是学习率(Learning rate)？  学习率(Learning rate)作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。  这里以梯度下降为例，来观察一下不同的学习率对代价函数的收敛过程的影响（这里以代价函数为凸函数为例）：  回顾一下梯度下降的代码：    当学...

Adaboost与GBDT两者boosting的不同策略是两者的本质区别。 Adaboost强调Adaptive（自适应），通过不断修改样本权重（增大分错样本权重，降低分对样本权重），不断加入弱分类器进行boosting。 而GBDT则是旨在不断减少残差（回归），通过不断加入新的树旨在在残差减少（负梯度）的方向上建立一个新的模型。——即损失函数是旨在最快速度降低残差。 而XGBoost的bo...