【信号去噪】基于 LMS算法、AdaGrad、RMSProp、Adam四种算法实现数字信号去噪附Matlab代码

原创于 2025-02-06 23:39:09 发布 · 800 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #matlab #人工智能

✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。

🍎个人主页：Matlab科研工作室

🍊个人信条：格物致知。

🔥 内容介绍

数字信号在采集、传输和处理过程中，常常受到各种噪声的干扰，导致信号质量下降，甚至影响后续分析和应用。因此，数字信号去噪一直是信号处理领域的重要研究课题。传统的去噪方法，如滤波器、小波变换等，往往需要人工设计参数，对信号的先验知识要求较高。近年来，基于自适应滤波的去噪方法，凭借其对信号非平稳性、噪声特性变化的良好适应性，受到越来越多的关注。本文将聚焦于一种重要的自适应滤波方法，即基于最小均方误差(Least Mean Squares, LMS)算法及其改进算法的数字信号去噪，重点探讨LMS、AdaGrad、RMSProp、Adam四种算法在去噪方面的表现，并分析它们的优缺点，为实际应用中算法的选择提供参考。

一、自适应滤波与信号去噪

自适应滤波器是一种能够根据输入信号的统计特性，自动调整自身参数的滤波器。其核心思想是通过迭代学习，逐步逼近最优的滤波器参数，从而实现对信号的有效滤波。自适应滤波在信号去噪中的应用，通常采用以下模型：

输入信号: 受噪声污染的信号，即 x(n) = s(n) + v(n)，其中 s(n) 是期望的干净信号，v(n) 是噪声信号。
自适应滤波器: 结构通常为线性滤波器，其权重系数向量 w(n) 会随着迭代不断调整。
期望信号: 理想情况下，期望信号就是干净信号 s(n)。然而，在实际应用中，s(n) 往往是未知的。因此，通常采用一种折衷方法，即引入参考信号 d(n)，使其与 s(n) 具有较高的相关性，而与 v(n) 的相关性较低。例如，在语音去噪中，可以使用其他麦克风采集到的语音信号作为参考信号。
误差信号: e(n) = d(n) - y(n)，其中 y(n) = w(n)^T * x(n) 是滤波器的输出信号。
自适应算法: 根据误差信号 e(n) 调整滤波器权重系数 w(n)，使得误差信号的能量最小化。

通过不断迭代，自适应滤波器能够学习到噪声的特性，并将其从输入信号中抑制，从而实现去噪的目的。

二、LMS算法及其改进算法

LMS算法 (Least Mean Squares):

LMS算法是一种经典的自适应滤波算法，其核心思想是沿误差曲面的负梯度方向迭代更新权重系数。LMS算法的更新公式如下：

w(n+1) = w(n) + μ * e(n) * x(n)

其中，μ 是步长(或学习率)，控制着算法的收敛速度和稳定性。

优点:

缺点:
- 收敛速度慢: LMS算法的收敛速度取决于步长 μ 的选择。过小的 μ 会导致收敛速度过慢，而过大的 μ 则可能导致算法不稳定。
- 对输入信号敏感: 当输入信号的相关矩阵的特征值分散较大时，LMS算法的收敛速度会显著下降。
- 单一学习率: 所有权重系数使用相同的学习率，无法针对不同参数进行精细调整。
- 简单易实现: LMS算法结构简单，计算量小，易于硬件实现。
- 无需计算梯度: LMS算法直接使用瞬时误差梯度作为梯度估计，避免了计算协方差矩阵及其逆矩阵，降低了计算复杂度。
AdaGrad算法 (Adaptive Gradient Algorithm):

AdaGrad算法是一种自适应学习率的优化算法，其核心思想是为每个参数维护一个独立的学习率，并随着迭代次数的增加，自适应地调整学习率。 AdaGrad算法的更新公式如下：

v(n+1) = v(n) + (e(n) * x(n))^2
w(n+1) = w(n) - (μ / (sqrt(v(n+1)) + ε)) * e(n) * x(n)

其中，v(n) 是累积平方梯度，ε 是一个很小的常数，用于防止除零错误。

优点:

缺点:
- 学习率衰减过快: 随着迭代次数的增加，累积平方梯度 v(n) 会越来越大，导致学习率迅速衰减，可能过早停止学习。
- 自适应学习率: 能够自动调整每个参数的学习率，对稀疏数据表现良好。
- 无需手动调整学习率: 减少了手动调整学习率的工作量。
RMSProp算法 (Root Mean Square Propagation):

RMSProp算法是对AdaGrad算法的改进，旨在解决AdaGrad算法学习率衰减过快的问题。RMSProp算法通过引入衰减系数，使用滑动平均来代替累积平方梯度。RMSProp算法的更新公式如下：

v(n+1) = β * v(n) + (1 - β) * (e(n) * x(n))^2
w(n+1) = w(n) - (μ / (sqrt(v(n+1)) + ε)) * e(n) * x(n)

其中，β 是衰减系数，通常设置为0.9。

优点:

缺点:
- 需要手动调整衰减系数: 虽然衰减系数 β 的默认值通常效果良好，但在某些情况下，仍需要手动调整。
- 缓解学习率衰减: 通过使用滑动平均，可以有效缓解AdaGrad算法学习率衰减过快的问题。
- 自适应学习率: 能够自动调整每个参数的学习率。
Adam算法 (Adaptive Moment Estimation):

Adam算法结合了动量和自适应学习率的思想，是目前最常用的优化算法之一。Adam算法不仅使用滑动平均来估计平方梯度，还使用滑动平均来估计梯度。Adam算法的更新公式如下：

m(n+1) = β1 * m(n) + (1 - β1) * e(n) * x(n)
v(n+1) = β2 * v(n) + (1 - β2) * (e(n) * x(n))^2
m_hat(n+1) = m(n+1) / (1 - β1^(n+1))
v_hat(n+1) = v(n+1) / (1 - β2^(n+1))
w(n+1) = w(n) - (μ / (sqrt(v_hat(n+1)) + ε)) * m_hat(n+1)

其中，m(n) 是梯度的一阶矩估计，v(n) 是梯度的二阶矩估计，β1 和 β2 是衰减系数，通常设置为0.9和0.999。 m_hat(n+1) 和 v_hat(n+1) 是偏差校正后的一阶矩和二阶矩估计，用于补偿初始时刻的偏差。

优点:

缺点:
- 计算复杂度较高: 相对于LMS算法，Adam算法的计算复杂度较高。
- 结合动量和自适应学习率: 具有收敛速度快、稳定性好的优点。
- 无需手动调整学习率: 通常可以使用默认参数，无需进行精细调整。