Pandas使用教程 - 数据差分与移位 (diff, shift)

进阶篇28. 数据差分与移位 (diff, shift)

在时间序列分析和数据预处理中，经常需要计算数据之间的变化（差分）或调整数据的对齐（移位），以便提取趋势、计算增长率或构建滞后特征。Pandas 提供了两个非常重要的方法来实现这些操作：

• diff()：用于计算数据中相邻元素之间的差分。
• shift()：用于将数据沿轴向前或向后移动指定的周期。

本文将详细介绍这两个方法的基本原理、数学表示、使用场景和代码示例，帮助你在数据分析过程中高效应用数据差分与移位技巧。

---

1. 数据差分：diff()

1.1 基本概念

diff() 方法用于计算数据中连续元素之间的差值。对于一个序列 ( x_1, x_2, \dots, x_n )，调用 diff() 得到的是：
$$\Delta x_t=x_t-x_{t-1},t=2,3,\dots ,n$$
如果设置参数 periods=k，则计算的是：
$$\Delta x_t=x_t-x_{t-k}$$

这种方法在时间序列分析中非常有用，例如：

• 计算变化量：在金融数据中，可以计算股票价格的日变化量；
• 消除趋势：对时间序列进行差分有助于稳定均值，进而用于平稳性检验和建模。

1.2 示例代码

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

# 创建一个示例时间序列数据
np.random.seed(42)
dates = pd.date_range(start="2024-01-01", periods=10, freq="D")
data = np.random.normal(loc=100, scale=5, size=10)
df = pd.DataFrame({'Price': data}, index=dates)
print("原始数据：")
print(df)

# 计算默认差分（lag=1）
df['Diff'] = df['Price'].diff()
print("\n差分结果（lag=1）：")
print(df)

# 计算 lag=2 的差分
df['Diff_2'] = df['Price'].diff(periods=2)
print("\n差分结果（lag=2）：")
print(df)

在这个示例中，diff() 默认计算相邻两个数据之间的差值。如果数据为股票价格，则 Diff 列表示每日价格变化，Diff_2 列则表示与前两天价格的差异。

---

2. 数据移位：shift()

2.1 基本概念

shift() 方法用于将数据向前或向后移动指定的周期，通常用于创建滞后变量或对齐数据。数学上，对于一个序列 ( x_1, x_2, \dots, x_n )，调用 shift(1) 得到：
$$y_t=x_{t-1},t=2,3,\dots ,n$$
设置参数 shift(periods=k) 则得到：
$$y_t=x_{t-k}$$

这种方法常用于：

• 创建滞后特征：例如在回归模型中使用前一天的价格预测当天价格；
• 对齐数据：用于计算百分比变化或返回率等指标，常与 diff() 结合使用。

2.2 示例代码

# 使用 shift() 方法创建滞后特征
df['Lag_1'] = df['Price'].shift(1)
print("\n滞后1天的数据：")
print(df)

# 计算日收益率
df['Return'] = df['Price'].pct_change()  # 等价于 df['Price'].diff()/df['Price'].shift(1)
print("\n日收益率：")
print(df[['Price', 'Return']])

在此示例中，我们首先创建了一个滞后 1 天的价格列 Lag_1，然后计算了基于移位和差分的日收益率。

---

3. diff() 与 shift() 的组合使用

在很多实际应用中，diff() 和 shift() 经常结合使用。例如，在金融分析中，我们可以利用差分计算价格变化，再与前期价格对比，计算收益率：
$${\text{Return}}_t=\frac{x_t-x_{t-1}}{x_{t-1}}=\frac{\text{diff}(x{)}_t}{\text{shift}(x{)}_t}$$

示例代码：

# 计算日收益率（另一种实现方式）
df['Return_2'] = df['Price'].diff() / df['Price'].shift(1)
print("\n日收益率（组合 diff 与 shift）：")
print(df[['Price', 'Return_2']])

两种计算日收益率的方法结果一致，可以根据个人喜好选择使用 diff()/shift() 还是 pct_change()。

---

4. 使用场景与应用

4.1 时间序列建模

• 差分：在构建 ARIMA 模型前，通常需要对数据进行差分操作以使其平稳。通过 diff() 可以消除趋势和季节性成分。
• 移位：在构造滞后特征时，使用 shift() 创建前期数据，帮助捕捉时序依赖性。

4.2 数据清洗与特征工程

• 利用 diff() 计算数据变化，可以发现异常值或突变点。
• 使用 shift() 对齐数据，便于计算累计增长率、变化率等特征，提升模型的预测能力。

---

5. 注意事项与最佳实践

5.1 缺失值处理

由于 diff() 和 shift() 操作会在数据的开头（或结尾）产生 NaN 值，通常需要对这些缺失值进行处理：

# 填充 NaN 值为 0 或使用前向填充
df['Diff'].fillna(0, inplace=True)

5.2 对齐方式

默认情况下，rolling、diff 和 shift 的计算结果是与原始数据对齐的，通常使用窗口末尾或移位后的数据作为参考。对于某些分析，可能需要调整对齐方式，确保数据准确解释。

5.3 性能考虑

• 这些操作都是基于向量化实现的，在大多数情况下性能非常高；
• 如果数据量特别大，注意结合内存优化和分块计算（如使用 chunksize 读取数据）。

---

6. 总结

本文介绍了 Pandas 中数据差分与移位的两种常用方法：

• diff() 用于计算数据的差分，帮助捕捉连续数据之间的变化，公式为
  $$\Delta x_t=x_t-x_{t-k}$$
• shift() 用于将数据沿轴向前或向后移动指定的周期，常用于构造滞后特征，公式为
  $$y_t=x_{t-k}$$

这两种方法在时间序列分析和特征工程中有着广泛应用，例如计算日收益率、构造滞后变量以及消除趋势等。合理处理由这些操作产生的缺失值，并结合其他窗口函数使用，可以显著提升数据分析和模型预测的效果。

---

希望本文能帮助你全面理解并灵活应用 Pandas 中的 diff() 和 shift() 方法，在数据预处理和时间序列分析中捕捉数据变化、构造滞后特征，从而为后续的数据分析和建模工作提供坚实的支持。不断实践和调优，将使你在数据科学的道路上获得更高效、更精确的结果。