晓峰博客笔记

正则化为什么能防止过拟合？（最后看）机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作 ℓ1​-norm 和 ℓ2​-norm，中文称作 L1正则化 和 L2正则化，或者 L1范数 和 L2范数。L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数（权重w）做一些限制。L1稀疏模型与特征...

理解部分L1与L2区别：使用L1可以得到稀疏的权值；用L2可以得到平滑的权值L1-norm(范数)，也叫作最小绝对偏差（leastabsolute deviations, LAD），最小绝对误差（least absolute errors，LAE）.它是最小化目标值yi和估计值f(xi)绝对差值的求和：L2-norm(范数)也称为最小均方(least squares)，它是最小化目标值...

纸上推导：

梯度下降是机器学习中用来使模型逼近真实分布的最小偏差的优化方法。在普通的随机梯度下降中，参数的更新是按照如下公式进行的：W = W - αdWb = b - αdb其中α是学习率，dW、db是cost function对w和b的偏导数。如图，在梯度下降过程中，从某一点开始的梯度下降过程是曲折的，并不是直接走向中心点，而是需要浪费很多时间折来折去，这样的速度就会变慢，直接解决的...

参考：https://blog.youkuaiyun.com/program_developer/article/details/80632779

降维的作用：降低时间复杂度和空间复 节省了提取不必要特征的开销 去掉数据集中夹杂的噪 较简单的模型在小数据集上有更强的鲁棒性 当数据能有较少的特征进行解释，我们可以更好 的解释数据，使得我们可以提取知识。 实现数据可视化线性降维方法：主成分分析（PCA）、线性判别分析（LDA）、奇异值分解（SVD）、因子分析、独立成分分析非线性降维方法：局部线性嵌入（LLE）...

当目标变量是分类变量时，才会考虑逻辑回归，并且主要用于二分类问题。LR模型可以被认为就是一个被Sigmoid函数（logistic方程）所归一化后的线性回归模型逻辑回归(Logistic Regression, LR)模型其实仅在线性回归的基础上，套用了一个逻辑函数，但也就由于这个逻辑函数，使得逻辑回归模型成为了机器学习领域一颗耀眼的明星。参考：https://blog.c...