机器学习-数据归一化方法（Normalization Method）

我的个人微信公众号：Microstrong

微信公众号ID：MicrostrongAI

公众号介绍：Microstrong(小强)同学主要研究机器学习、深度学习、计算机视觉、智能对话系统相关内容，分享在学习过程中的读书笔记！期待您的关注，欢迎一起学习交流进步！

知乎专栏：https://zhuanlan.zhihu.com/Microstrong

个人博客：https://blog.youkuaiyun.com/program_developer

一、出现背景：

从左至右来看，第一个模型是一个线性模型，拟合度很低，也称作欠拟合（Underfitting），不能很好地适应我们的训练集；第三个模型是一个高次方的模型，属于过度拟合，虽然能很好的适应我们的训练数据集，但是在新输入变量进行预测的时候，可能效果会很差。第二个模型可能是刚刚适合我们数据的模型。

那么问题来了，如果我们发现这样过度拟合的情况，如何处理呢？

有两种方式：

1. 丢弃一些不能帮助我们正确预测的特征。采用的方法如下：

•  手工选择保留哪些特征。
• 使用一些模型选择算法来帮忙降维。（例如PCA等）

2. 归一化处理

•  保留所有的特征，但是减少参数的大小（或者是说：减少参数的重要性）

二、定义：

不同的评价指标往往具有不同的量纲（例如：对于评价房价来说量纲指：面积、房价数、楼层等；对于预测某个人患病率来说量纲指：身高、体重等。）和量纲单位（例如：面积单位：平方米、平方厘米等；身高：米、厘米等），这样的情况会影响到数据分析的结果，为了消除指标之间量纲的影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标处于同一数量级，适合进行综合对比评价。

三、优点：

（1）归一化后加快了梯度下降求最优解的速度。

（2）归一化有可能提高精度（归一化是让不同维度之间的特征在数值上有一定的比较性）。

解释（1）加快梯度下降求最优解的速度：

例子：