短时傅里叶变换（STFT）与逆变换（ISTFT）

已于 2025-04-02 20:55:00 修改
阅读量3.8k 收藏 22
点赞数 13
分类专栏： 音频算法 文章标签： python 信号处理 傅里叶分析
于 2024-11-05 21:40:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_34941290/article/details/143527583
版权

引言

短时傅里叶变换（Short-Time Fourier Transform, STFT）是一种将信号分解为时间和频率成分的技术，广泛应用于音频处理、语音分析和音乐信息检索等领域。通过 STFT，我们可以分析信号在不同时间段的频率特性。本文将介绍 STFT 的基本原理、计算过程、输入和输出维度，以及如何使用逆短时傅里叶变换（Inverse Short-Time Fourier Transform, ISTFT）将频域信号重建为时域信号。此外，我们将讨论信号填充（padding）的作用及其在重建过程中的处理，流式处理中的帧长和帧移的设置。

短时傅里叶变换（STFT）

1. 定义

短时傅里叶变换是对信号进行分帧处理后，对每一帧应用傅里叶变换。其基本思想是将信号视为在短时间内近似平稳的，从而可以分析其频谱特性。

2. 计算过程

STFT 的计算过程可以分为以下几个步骤：

  1. 信号分帧：

    • 将输入信号分成多个小帧（窗口），每一帧的长度通常为 n_fft。
    • 设置帧移（hop length），通常为窗口长度的一部分（如 50% 重叠）。

  2. 应用窗口函数：

    • 对每一帧应用窗口函数（如汉明窗、汉宁窗），以减少边缘效应。

  3. 傅里叶变换：

    • 对每一帧应用快速傅里叶变换（FFT），将时域信号转换为频域信号。

  4. 构建频谱矩阵：

    • 将每一帧的 FFT 结果组合成一个频谱矩阵，行表示频率，列表示时间。

3. 输入和输出维度

  • 输入信号 y：

    • 类型：一维 NumPy 数组。
    • 维度：(n_samples,)，其中 n_samples 是音频信号的样本总数。

  • 输出结果 D：

    • 类型：二维复数 NumPy 数组。
    • 维度：(n_freq, n_frames)，其中：
      • n_freq = n_fft // 2 + 1，表示频率 bins 的数量。
      • n_frames = 1 + (len(y) - n_fft) // hop_length，表示时间帧的数量。

4. 信号填充的作用

在进行 STFT 计算之前，信号填充（padding）可以起到以下几个作用：

  • 避免边界效应：填充可以确保在信号的边界处进行傅里叶变换时，不会因为窗口的截断而产生不必要的频谱失真。
  • 统一帧的长度：在某些情况下，填充可以使信号的长度达到 n_fft 的整数倍，从而避免在处理时出现不完整的帧。
  • 提高频谱的平滑性：通过填充，信号的频谱在边缘处会更加平滑，减少高频噪声的影响。

5. 流式数据处理中的帧长和帧移

在流式数据处理中，帧长和帧移的设置对于处理效果、延迟和计算效率有重要影响。

5.1. 帧长（Frame Length）
  • 定义：帧长是每一帧中包含的样本数量，通常用 N 表示。
  • 影响因素：
    • 频率分辨率：帧长越长，频率分辨率越高。频率分辨率可以通过公式计算：

      频率分辨率 = fs / N

      其中 fs 是采样率，N 是帧长。较长的帧长能够更准确地分析频谱特征。
    • 时域分辨率：帧长越长，时域分辨率越低。较长的帧可能会导致快速变化的信号特征被模糊化。
5.2. 帧移（Hop Length）
  • 定义：帧移是相邻帧之间的样本数，通常用 H 表示。
  • 影响因素：
    • 重叠量：帧移与帧长之间的关系直接影响帧之间的重叠量。重叠量可以通过以下公式计算：

      重叠量 = N - H

      较大的重叠量有助于捕捉信号的快速变化，减少边缘效应。
    • 计算效率：较小的帧移会增加计算量，因为每次处理的帧数增加，可能导致更高的计算开销。

6. 常见的设置建议

  • 帧长与帧移的比例：

    • 一个常见的做法是设置帧移为帧长的一半（即 H = N/2），这会导致 50% 的重叠。这种设置通常能够较好地平衡时频分辨率和计算效率。
    • 其他常见的重叠比例包括 25%（H = 0.75N）和 75%（H = 0.25N），具体选择应根据应用需求。

  • 应用依赖：

    • 音乐信号处理：通常使用较长的帧长（如 2048 或 4096 点）和适度的帧移（如 50% 重叠），以便获得高频率分辨率。
    • 语音信号处理：通常使用较短的帧长（如 256 或 512 点）和较大的帧移（如 50% 或 75% 重叠），以便更好地捕捉语音的快速变化。

7. 实际应用中的调整

在实际应用中，帧长和帧移的选择可能需要根据具体的信号特性和处理需求进行调整。可以通过实验来确定最佳参数设置，考虑以下因素：

  • 信号的频率特性：频率范围较宽的信号可能需要较长的帧长。
  • 信号的动态变化：快速变化的信号可能需要较短的帧长和较小的帧移，以捕捉瞬时特征。
  • 计算资源：在计算资源有限的情况下，可能需要减少帧长或增加帧移以降低计算负担。

逆短时傅里叶变换（ISTFT）

1. 定义

逆短时傅里叶变换是将频域信号转换回时域信号的过程。它是 STFT 的逆操作，旨在重建原始信号。

2. 计算过程

ISTFT 的计算过程可以分为以下几个步骤：

  1. 初始化输出信号：

    • 创建一个与输入信号长度相同的零数组，用于存储最终的时域信号。

  2. 创建窗口函数：

    • 根据给定的窗口参数创建窗口函数。

  3. 对每个时间帧进行逆变换：

    • 对每一帧的频域数据进行逆傅里叶变换（IFFT），将其转换为时域信号。

  4. 重叠相加：

    • 将每个帧的结果添加到输出信号的相应位置，处理重叠部分。

3. 输入和输出维度

  • 输入频谱 D：

    • 类型：二维复数 NumPy 数组。
    • 维度：(n_freq, n_frames)，其中 n_freq 是频率 bins 的数量，n_frames 是时间帧的数量。

  • 输出信号 y_reconstructed：

    • 类型：一维 NumPy 数组。
    • 维度：(n_samples,)，表示重建后的时域信号的样本数。

4. 信号填充的处理

在进行 ISTFT 时，信号填充（padding）的处理是非常重要的，具体如下：

  • 填充的目的：在进行 STFT 之前，可以对信号进行填充，以确保信号长度达到 n_fft 的整数倍，避免在处理时出现不完整的帧。这有助于减少边缘效应，提高频谱的平滑性。

  • 去除填充：在信号重建的过程中，通常需要去除之前添加的填充，以确保重建后的信号与原始信号的长度一致。

5. 使用示例

以下是一个示例代码，展示了如何使用 librosa.istft 进行逆变换，并处理帧的叠加：

import numpy as np
import librosa
import librosa.display
import matplotlib.pyplot as plt

# 设置参数
sr = 16000  # 采样率
duration = 1.0  # 持续时间
num_samples = int(sr * duration)  # 样本数

# 创建一个随机信号
y = np.random.randn(num_samples)  # 生成均值为0，标准差为1的随机信号

# 计算 STFT
D = librosa.stft(y, n_fft=320, hop_length=160)

# 计算 ISTFT
y_reconstructed = librosa.istft(D, hop_length=160)

# 验证重建信号是否与原信号相似
print("Are the original and reconstructed signals similar?", np.allclose(y, y_reconstructed))

# 可视化
plt.figure(figsize=(10, 4))

# 原始信号的时间轴
t = np.linspace(0, duration, num_samples, endpoint=False)
plt.subplot(2, 1, 1)
plt.plot(t, y, label='Original Signal')
plt.title('Original Random Signal')
plt.xlabel('Time (s)')
plt.ylabel('Amplitude')
plt.legend()

# 重建信号的时间轴
t_reconstructed = np.linspace(0, duration, len(y_reconstructed), endpoint=False)
plt.subplot(2, 1, 2)
plt.plot(t_reconstructed, y_reconstructed, label='Reconstructed Signal', color='orange', alpha=0.7)
plt.title('Reconstructed Signal')
plt.xlabel('Time (s)')
plt.ylabel('Amplitude')
plt.legend()

plt.tight_layout()
plt.show()

在这里插入图片描述
在使用 librosa 进行短时傅里叶变换（STFT）和逆短时傅里叶变换（ISTFT）时，如果选择不同的窗函数，会导致以下几个问题：

1. 幅度恢复问题

  • 窗函数的性质：每种窗函数（如汉明窗、汉宁窗、布莱克曼窗等）都有自己特定的形状和能量特性。当您在 STFT 中使用一种窗函数，而在 ISTFT 中使用另一种窗函数时，重建信号的幅度可能会受到影响。
  • 能量归一化：窗函数的能量会影响信号的幅度。如果在 STFT 中使用窗函数 A，而在 ISTFT 中使用窗函数 B，重建后的信号幅度可能与原始信号不一致。

2. 频谱泄漏

  • 频谱泄漏：不同窗函数对频谱泄漏的抑制效果不同。如果在 STFT 中使用一种窗函数，而在 ISTFT 中使用另一种窗函数，可能会导致重建信号出现意外的频谱泄漏现象，从而影响信号的频率成分。

3. 频率分辨率和时间分辨率

  • 频率分辨率：窗函数的选择也会影响频率分辨率和时间分辨率。例如，较窄的窗函数（如矩形窗）提供更好的时间分辨率，但较差的频率分辨率，而较宽的窗函数（如布莱克曼窗）则提供更好的频率分辨率但较差的时间分辨率。如果在 STFT 和 ISTFT 中使用不同的窗函数，可能会导致重建信号的频率特性与原始信号不匹配。

解决方案

为了避免上述问题，确保在进行 STFT 和 ISTFT 时使用相同的窗函数是非常重要的。这样可以确保信号的幅度、频谱特性和能量一致性，从而获得准确的信号重建。

总结

短时傅里叶变换（STFT）和逆短时傅里叶变换（ISTFT）是信号处理中的重要工具。STFT 允许我们在时间和频率域中分析信号，而 ISTFT 则使我们能够从频域重建时域信号。在实际应用中，STFT 和 ISTFT 常用于音频信号分析、语音识别和音乐信息检索等领域。掌握这两种变换的原理和使用方法，对于深入理解信号处理有着重要的意义。

信号填充在 STFT 中起着重要作用，它有助于避免边界效应、统一帧的长度以及提高频谱的平滑性。在流式数据处理中，合理设置帧长和帧移是关键，可以通过实验和调整找到最佳参数组合，以提高信号处理的效果和效率。

短时傅里叶变换（Short Time Fourier Transform）
weixin_43174330的博客
04-29 1万+
1.什么是短时傅里叶变换？ 在傅里叶变换的基础上，套用窗函数。即 2.示意图： 左图为傅里叶变换，可以观察整个时域上频率分布情况；右图为短时傅里叶变换，将时域进行了分割，可以观察某一时段上的频率分布情况，时间轴每格的长度即为窗函数的window length。 3.时间频率参数选取的关系 如左图，若横轴（时间）共1.2s，纵轴（频率）共50Hz，横轴划分为12格，每格0.1s，纵轴划分为两格，每格25Hz；右图横轴每格0.3s，纵轴每格约8Hz。无论怎样划分，两图中每个方块的面积是相同
快速傅里叶变换 python_短时傅里叶变换(Short Time Fourier Transform)原理及 Python 实现...
weixin_39807541的博客
11-24 2244
原理短时傅里叶变换(Short Time Fourier Transform, STFT) 是一个用于语音信号处理的通用工具.它定义了一个非常有用的时间和频率分布类, 其指定了任意信号随时间和频率变化的复数幅度. 实际上,计算短时傅里叶变换的过程是把一个较长的时间信号分成相同长度的更短的段, 在每个更短的段上计算傅里叶变换, 即傅里叶频谱.短时傅里叶变换通常的数学定义如下:其中,DTFT (Dec...
傅里叶变换（STFT）
hello.reader
12-29 1565
傅里叶变换（Fourier Transform）是一种数学工具，用于将时域信号分解为不同频率成分的叠加。它由法国数学家让-巴蒂斯特·约瑟夫·傅里叶在19世纪提出，广泛应用于物理学、工程学、信号处理等领域。短时傅里叶变换（Short-Time Fourier Transform，简称STFT）是一种将傅里叶变换应用于信号的局部时域窗口内的方法，旨在同时分析信号的时间和频率特性。相比于传统的傅里叶变换，STFT能够有效处理非平稳信号，使其在时频分析中具有广泛的应用。
短时傅里叶变换（Short-Time Fourier Transform，简称 STFT）究竟在干什么？
最新发布
qlkaicx的博客
04-16 810
短时傅里叶变换（Short-Time Fourier Transform，简称 STFT）是一种的方法，是对传统傅里叶变换的一种改进。
短时傅里叶逆变换
10-22
用MATLAB实现的短时傅里叶逆变换，可以直接用来处理数据。
短时傅里叶变换
水可马二的博客
01-12 9954
1 概念介绍短时傅里叶变换（STFT，short-time Fourier transform，或 short-term Fourier transform)）是和傅里叶变换相关的一种数学变换，用以确定时变信号其局部区域正弦波的频率与相位。 它的思想是：选择一个时频局部化的窗函数，假定分析窗函数g(t)在一个短时间间隔内是平稳（伪平稳）的，移动窗函数使f(t)g(t)在不同的有限时间宽度内是平稳信
Python音频信号处理 1.短时傅里叶变换及其逆变换
Cy_coding的博客
03-28 7475
使用python 进行音频信号处理 <1> 本篇文章主要记录了使用python进行短时傅里叶变换，分析频谱，以及通过频谱实现在频域内降低底噪的代码及分析，希望可以给同样在学习信号处理的大家一点帮助，也希望大家对我的文章多提意见建议。 一. 短时傅里叶变换与离散傅里叶变换 在这篇文章中我们主要运用了短时傅里叶变换，要想清楚地理解短时傅里叶变换，首先必须要了解离散傅里叶变换(Discret...
傅里叶反变换matlab代码-STFT:STFT（短时傅立叶变换），ISTFT（逆-短时傅立叶变换），用于wav，mic输入和信号处理模块
05-21
STFT（短时傅立叶变换），ISTFT（逆-短时傅立叶变换），用于音频，麦克风输入 提供25％，50％的重叠STFTCraft.io。 笔记 git clone --recursive https://github.com/kooBH/STFT.git 要构建测试代码，您需要克隆--...
使用 Matlab 的逆短时傅立叶变换 (ISTFT)：通过逆短时傅立叶变换 (ISTFT) 进行时频再合成。-matlab开发
05-29
本代码是一个 Matlab 函数，它提供给定频谱图 STFT(k, l) 的逆短时傅立叶变换 (ITFT)，其中时间跨列，频率跨行。 函数的输出是： 1) 时域重构信号； 2) 时间向量。 为方便起见，输入和输出参数在函数的开头给出 为了...
短时傅里叶变换，画出时间频率图（LOFAR）
10-14
MATLAB,短时傅里叶变换，画出时间频率图（LOFAR）,短时傅里叶变换，画出时间频率图（LOFAR）
可用的短时傅里叶变换
03-08
直接可用的MATLAB短时傅里叶变换程序，直接调用就好。
短时傅里叶变换STFT
02-28
在matlab中不使用函数，根据短时傅里叶变换公式及定义，对输入的正弦信号手动实现STFT，画出频谱图等
STFT.rar_stft变换网站_stft逆变换_傅里叶逆变换_短时傅里叶变换及逆变换_逆变
07-15
STFT逆变换，通常称为ISTFT（Inverse Short-Time Fourier Transform），是将STFT的结果重新组合回原始信号的过程。这涉及到反向操作，即对每个时间窗口的频谱进行逆傅里叶变换，并确保正确地重叠和加权这些窗口，以...
短时傅里叶变换.rar_stft_傅里叶变换_短时傅里叶
07-14
短时傅里叶变换（Short-Time Fourier Transform，STFT）是一种在信号处理和通信领域广泛应用的分析工具，它结合了傅里叶变换的频率分析能力与时间局部化特性。通过将一个长信号分割成多个较短的重叠段，然后分别对每...
STFT.rar_STFT的matlab实现_matlab stft_stft matlab_stft逆变换_短时傅里叶变换
07-14
MATLAB实现短时傅里叶变换，短时傅里叶逆变换。直接配置好参数就可以用，实用性强。
pytorch实现DQN强化学习
06-01
DQN（Deep Q-Network）是一种使用深度神经网络实现的强化学习算法，用于解决离散动作空间的问题。在PyTorch中实现DQN可以分为以下几个步骤： 1. 定义神经网络：使用PyTorch定义一个包含多个全连接层的神经网络，输入为状态空间的维度，输出为动作空间的维度。 ```python import torch.nn as nn import torch.nn.functional as F class QNet(nn.Module): def __init__(self, state_dim, action_dim): super(QNet, self).__init__() self.fc1 = nn.Linear(state_dim, 64) self.fc2 = nn.Linear(64, 64) self.fc3 = nn.Linear(64, action_dim) def forward(self, x): x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x ``` 2. 定义经验回放缓存：包含多条经验，每条经验包含一个状态、一个动作、一个奖励和下一个状态。 ```python import random class ReplayBuffer(object): def __init__(self, max_size): self.buffer = [] self.max_size = max_size def push(self, state, action, reward, next_state): if len(self.buffer) < self.max_size: self.buffer.append((state, action, reward, next_state)) else: self.buffer.pop(0) self.buffer.append((state, action, reward, next_state)) def sample(self, batch_size): state, action, reward, next_state = zip(*random.sample(self.buffer, batch_size)) return torch.stack(state), torch.tensor(action), torch.tensor(reward), torch.stack(next_state) ``` 3. 定义DQN算法：使用PyTorch定义DQN算法，包含训练和预测两个方法。 ```python class DQN(object): def __init__(self, state_dim, action_dim, gamma, epsilon, lr): self.qnet = QNet(state_dim, action_dim) self.target_qnet = QNet(state_dim, action_dim) self.gamma = gamma self.epsilon = epsilon self.lr = lr self.optimizer = torch.optim.Adam(self.qnet.parameters(), lr=self.lr) self.buffer = ReplayBuffer(100000) self.loss_fn = nn.MSELoss() def act(self, state): if random.random() < self.epsilon: return random.randint(0, action_dim - 1) else: with torch.no_grad(): q_values = self.qnet(state) return q_values.argmax().item() def train(self, batch_size): state, action, reward, next_state = self.buffer.sample(batch_size) q_values = self.qnet(state).gather(1, action.unsqueeze(1)).squeeze(1) target_q_values = self.target_qnet(next_state).max(1)[0].detach() expected_q_values = reward + self.gamma * target_q_values loss = self.loss_fn(q_values, expected_q_values) self.optimizer.zero_grad() loss.backward() self.optimizer.step() def update_target_qnet(self): self.target_qnet.load_state_dict(self.qnet.state_dict()) ``` 4. 训练模型：使用DQN算法进行训练，并更新目标Q网络。 ```python dqn = DQN(state_dim, action_dim, gamma=0.99, epsilon=1.0, lr=0.001) for episode in range(num_episodes): state = env.reset() total_reward = 0 for step in range(max_steps): action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) dqn.buffer.push(torch.tensor(state, dtype=torch.float32), action, reward, torch.tensor(next_state, dtype=torch.float32)) state = next_state total_reward += reward if len(dqn.buffer.buffer) > batch_size: dqn.train(batch_size) if step % target_update == 0: dqn.update_target_qnet() if done: break dqn.epsilon = max(0.01, dqn.epsilon * 0.995) ``` 5. 测试模型：使用训练好的模型进行测试。 ```python total_reward = 0 state = env.reset() while True: action = dqn.act(torch.tensor(state, dtype=torch.float32)) next_state, reward, done, _ = env.step(action) state = next_state total_reward += reward if done: break print("Total reward: {}".format(total_reward)) ``` 以上就是在PyTorch中实现DQN强化学习的基本步骤。需要注意的是，DQN算法中还有很多细节和超参数需要调整，具体实现过程需要根据具体问题进行调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值