Charles5101的博客

近期在学习李航老师著作的《统计学习方法》，根据书中所述内容，同时综合了网上总结的较好的知乎和博客，对分类、标注、回归三类问题的定义与区别进行整理，同时对三类问题的区别进行总结，尤其是分类问题与回归问题的区别。1.分类问题分类问题是监督学习的一个核心问题。在监督学习中，当输出变量取有限个离散值时，预测问题便成为分类问题。监督学习从数据中学习一个分类决策函数或分类模型，称为分类器（c...

一、learning rate（学习率）学习率决定了权值更新的速度，设置得太大会使结果超过最优值，太小会使下降速度过慢。仅靠人为干预调整参数需要不断修改学习率，因此后面4种参数都是基于自适应的思路提出的解决方案。后面4种参数分别为：Weight Decay 权值衰减，Momentum 动量、Batch Normalization 和 Learning Rate Decay 学习率衰减。以下...

  ，  A: ， 即 A(x)=b，   b ，  是求A(x)-b的2范数。问题：对    求一阶导   .  解答过程如下： 原式等于    对x求导得：   这里主要用到的是向量和矩阵的求导公式。分别为       和     此外还有向量2范数的定义式。 Reference：[1] https://www.zhihu.com/ques...