机器学习笔记(一)--归一化与标准化与正则化

优秀文章：https://zhuanlan.zhihu.com/p/29957294

一、归一化

       归一化目的是将数据映射到同一个范围，增加可比性。

二、标准化

       标准化目地是加速收敛，更快找到最优解，计算上与正态分布标准化类似，变换在空间中的位置。

三、正则化

        正则化目的是避免过拟合，减少误差。计算上在一般loss函数上加上正则项，有L1正则，L2正则，可以看做是损失函数的惩罚项。使用L1正则化的模型叫做Lasso回归，使用L2正则化的模型叫做Ridge回归。

        L1正则化是指权值向量中各个元素的绝对值之和。可以产生稀疏权值矩阵，换句话就是能够得到某些权值为0的解，可用于特征选择。

       L2正则化是指权值向量w中各个元素的平方和然后再求平方根。