u_say2what的博客

主要是在传统的PCA中加入了kernel。传统的PCA使用的是线性变换，为此(Schoelkopf et al. 1998)在传统的PCA中引进了kernel的技巧，本文的主要参考文献为MLAPP,参考的是第14章的第四小节，算法如下：这个算法，和传统的pca差不多，主要步骤3和8主要是做特征空间的中心化，因为pca处理的是中心化后的数据，推断步骤如下：详细细节可以查看MLAPP这本书。...

       在普通的梯度下降过程中通常使用这个公式来更新参数， ,而学习率的选择就显得非常的重要了，如上图所示，学习率选择过小，就会导致左图的情况，学习率过小在到达碗底平缓地区，导数值也非常小，从而导致损失函数移动的速度非常的慢，使得很难尽快的收敛，如果学习率设置过大，导致损失值来回震荡，很难取到最优值。接下来，我们讲解一下，一个可以合理选择步长的方法 -Line Search,这种方法...