23、数据变换：从基础到应用

数据变换：从基础到应用

在数据处理和机器学习领域，数据变换是一项基础且关键的操作。它能够帮助我们更好地处理数据，提高模型的性能和准确性。下面将详细介绍数据变换的相关知识，包括归一化、标准化、变换类型、切片处理、逆变换以及交叉验证中的信息泄露问题。

归一化与标准化

归一化是将数据的每个特征缩放到特定范围，常见的是将数据缩放到 [-1, 1] 或 [0, 1] 区间。例如，当对二维数据进行归一化时，x值和y值会分别独立地进行缩放。在某些情况下，由于原始数据不同维度的取值范围差异，归一化后的数据形状可能会发生扭曲。比如，原始x数据范围约为 [-1, 0] ，y数据范围约为 [-0.5, 0.2] ，在归一化过程中，y值的拉伸程度会比x值大，从而导致形状的扭曲。

标准化则是另一种常见的操作，它是一个两步过程。首先，对每个特征的数据加上或减去一个固定值，使得每个特征的均值为0（这一步也称为均值归一化或均值减法）。在二维数据中，这会使整个数据集在平面上左右和上下移动，使均值位于 (0, 0) 点。然后，将每个特征缩放为标准差为1（这一步也称为方差归一化）。这意味着大约68%的特征值会落在 [-1, 1] 范围内。与归一化不同，标准化后的点可能会落在 [-1, 1] 范围之外。

大多数库都提供了方便的函数，可以一次性对任意或所有特征进行归一化或标准化操作，以满足某些算法对输入数据的要求。

记住变换参数

无论是归一化还是标准化