LLM大模型中的基础数学工具—— 信号处理与傅里叶分析

墨顿

于 2025-04-23 01:46:43 发布

阅读量1.8k

点赞数 18

CC 4.0 BY-SA版权

文章标签：信号处理傅立叶分析

本文链接：https://blog.youkuaiyun.com/pzccool/article/details/147434660

Q51: 推导傅里叶变换 $\hat{f}(\xi) = \int_{-\infty}^{\infty} f(x) e^{-2\pi i x \xi} dx$ 的 Parseval 定理

傅里叶变换的 Parseval 定理揭示了啥关系？

Parseval 定理揭示了傅里叶变换中时域与频域的能量守恒关系，即信号在时域的总能量等于其在频域的总能量。这就好比一个物体无论从哪个角度称重，重量始终不变，确保了信号在不同域表示时的能量一致性。

推导过程

Parseval 定理的数学形式为： $\int_{-\infty}^{\infty} |f(x)|^2 dx = \int_{-\infty}^{\infty} |\hat{f}(\xi)|^2 d\xi$ 。从右边开始推导： $\begin{aligned} \int_{-\infty}^{\infty} |\hat{f}(\xi)|^2 d\xi &= \int_{-\infty}^{\infty} \hat{f}(\xi) \overline{\hat{f}(\xi)} d\xi \\ &= \int_{-\infty}^{\infty} \left( \int_{-\infty}^{\infty} f(x) e^{-2\pi i x \xi} dx \right) \left( \int_{-\infty}^{\infty} \overline{f(y)} e^{2\pi i y \xi} dy \right) d\xi \\ &= \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} \overline{f(y)} f(x) \left( \int_{-\infty}^{\infty} e^{2\pi i (y - x)\xi} d\xi \right) dx dy \\ &= \int_{-\infty}^{\infty} \overline{f(y)} f(x) \delta(x - y) dx dy \\ &= \int_{-\infty}^{\infty} |f(x)|^2 dx \end{aligned}$ 这里利用了 $\int_{-\infty}^{\infty} e^{2\pi i (y - x)\xi} d\xi = \delta(x - y)$ （狄拉克函数，在 $x = y$ 时为无穷大，否则为 0），最终左边等于右边，定理得证。

在 LLM 中的使用

在 LLM 的训练数据预处理中，若输入包含音频，可通过 Parseval 定理检测数据是否异常。例如，某段音频在时域能量正常但频域异常，可能存在噪声或损坏。在文本生成的注意力机制中，该定理可类比为信息在不同表示空间的能量守恒，确保信息完整性。

代码示例

import numpy as np  
import matplotlib.pyplot as plt  
# 生成一个模拟音频信号（假设为某个词的发音片段）  
x = np.linspace(-1, 1, 1000)  
f = np.exp(-(x ** 2) / 0.5)  # 模拟音频的时域信号  
# 计算傅里叶变换  
f_hat = np.fft.fftshift(np.fft.fft(f))  
xi = np.fft.fftshift(np.fft.fftfreq(len(x), x[1] - x[0]))  
# 计算时域能量  
energy_time = np.sum(np.abs(f) ** 2) * (x[1] - x[0])  
# 计算频域能量  
energy_freq = np.sum(np.abs(f_hat) ** 2) * (xi[1] - xi[0])  
print(f"时域能量: {energy_time:.4f}")  
print(f"频域能量: {energy_freq:.4f}")

代码解释：生成一个模拟音频信号 f，通过 FFT 计算其频域表示 $f\_hat$ 。分别计算时域和频域能量，验证 Parseval 定理。这有助于在 LLM 处理音频输入时，确保能量一致性，提升语音识别或生成的准确性。