机器学习：数值标准化和归一化

数值标准化和归一化是数据预处理中的重要步骤，尤其在机器学习和深度学习中，处理不同特征的尺度差异非常重要。它们可以提高模型的收敛速度和准确性。虽然这两个术语有时被混用，但它们有不同的定义和应用。

一、数值标准化（Standardization）

        标准化是将特征缩放为均值为0，标准差为1的分布。也就是说，它将特征转换为具有标准正态分布（均值为0，标准差为1）的形式。

1. 公式

标准化的计算公式如下：

其中：
        Z ：是标准化后的值。
        X ：是原始值。
          ：是特征的均值。
        ：是特征的标准差。

2. 特点

处理异常值：标准化不受异常值的影响，因为均值和标准差能够较好地适应分布。
适用于有正态分布的特征：标准化适合大多数机器学习算法（如逻辑回归、支持向量机等），特别是那些依赖于欧氏距离的算法（如K-Means和KNN）。

3. 使用示例

使用 Python 的 Scikit-learn 库进行标准化示例：

from sklearn.preprocessing import StandardScaler
import numpy as np

# 示例数据
data = np.array([[1, 2], [3, 4], [5, 6]])

# 标准化
scaler = StandardScaler()
normalized_data = scaler.fit_transform(data)

print(normalized_data)

二、数值归一化（Normalization）

        归一化是将特征缩放到特定范围（通常是[0,1]或者[-1,1]）。归一化的目的是消除不同特征之间的尺度差异，其实质是将每个特征的值乘以一个因子，使其在指定范围内。

1. 公式

最常见的归一化方法是 Min-Max 归一化，其计算公式如下：

其中：
        ：是归一化后的值。
         ：是原始值。
        和  分别是特征的最小值和最大值。

2. 特点

        适用于有界特征：归一化适用于特征值的范围已知且固定的情况。
        受异常值影响：Min-Max 归一化对异常值敏感，因为最小值和最大值直接影响数据的缩放。

3. 使用示例

使用 Python 的 Scikit-learn 库进行归一化示例：

from sklearn.preprocessing import MinMaxScaler  
import numpy as np  

# 示例数据  
data = np.array([[1, 2], [3, 4], [5, 6]])  

# 归一化  
scaler = MinMaxScaler()  
normalized_data = scaler.fit_transform(data)  

print(normalized_data)

三、选择标准化与归一化

        如果特征的分布是正态分布或接近正态分布，建议使用标准化。
        如果特征未遵循任何特定分布，或需要将特征限制在特定范围，使用归一化更为合适。
        对于一些对尺度敏感的模型（如神经网络、KNN等），标准化和归一化均是常用的预处理技巧。

四、总结

数值标准化和归一化是数据预处理中的关键步骤，可以提高机器学习模型的性能。选择合适的方法取决于数据的特性和所使用的模型。