离散时间随机信号与估计理论是现代信号处理的数学基础，广泛应用于通信、雷达、语音、生物医学工程等领域

离散时间随机信号与估计理论是现代信号处理的数学基础，广泛应用于通信、雷达、语音、生物医学工程等领域。其核心在于：如何从含有噪声或不确定性的观测数据中提取有用信息，并对未知参数或系统状态进行最优推断。

---

一、离散时间随机信号的基本概念

1. 随机过程的定义

一个离散时间随机过程 {x(n)}\{x(n)\}{x(n)} 是一组依赖于整数索引 $n$ 的随机变量集合。每个样本路径（实现）是一条确定的时间序列。

2. 平稳性（Stationarity）

• 严格平稳：联合概率分布不随时间平移而变。
• 宽平稳（WSS, Wide-Sense Stationary）：
  • 均值恒定：$E[x(n)]={\mu }_x$
  • 自相关只依赖于时差：$R_x(m,n)=E[x(n)x^{\ast }(n-m)]=R_x(m)$

实际分析中通常假设为 WSS。

3. 自相关函数与协方差函数

• 自相关函数：
  $$R_x(k)=E[x(n)x^{\ast }(n-k)]$$
• 协方差函数：
  $$C_x(k)=E[(x(n)-{\mu }_x)(x(n-k)-{\mu }_x{)}^{\ast }]=R_x(k)-|{\mu }_x{|}^2$$

性质：

• 共轭对称：$R_x(-k)=R_x^{\ast }(k)$
• 非负定性：${\sum }_{i,j}{a}_i^{\ast }{R}_x(i-j)a_j\ge 0$

4. 功率谱密度（PSD）

通过傅里叶变换将自相关函数映射到频域：
$$P_x(\omega )=\sum _{k=-\infty }^{\infty }{R}_x(k)e^{-j\omega k},\omega \in [-\pi ,\pi ]$$
反之：
$$R_x(k)=\frac{1}{2\pi }{\int }_{-\pi }^{\pi }{P}_x(\omega )e^{j\omega k}d\omega$$

意义：表示信号在不同频率上的功率分布。

---

二、各态历经性（Ergodicity）

若一个随机过程的时间平均等于其统计平均，则称其具有各态历经性。

例如，均值各态历经：
$$\underset{N\to \infty }{\lim }\frac{1}{2N+1}\sum _{n=-N}^{N}x(n)=E[x(n)]\text{(以概率1成立)}$$

类似地可定义自相关各态历经。

工程应用中常假设过程是各态历经的，以便用单次实现估计统计量（如用样本均值估计期望）。

---

三、线性系统与随机信号

设输入 $x(n)$ 为宽平稳随机信号，经过LTI系统 $h(n)$ 得输出 $y(n)$：

$$y(n)=\sum _{k=-\infty }^{\infty }h(k)x(n-k)$$

则有以下关系：

量	表达式
输出均值	${\mu }_y=H(0){\mu }_x$
互相关	$R_{xy}(m)=h(m)\ast R_x(m)$
输出自相关	$R_y(m)=h(m)\ast h^{\ast }(-m)\ast R_x(m)$
输出功率谱	$P_y(\omega) =

这些关系是谱估计、滤波器设计和系统辨识的基础。

---

四、估计理论基础

估计理论的目标是从观测数据 $\mathbf{x}=[x(0),x(1),\dots ,x(N-1){]}^T$ 中估计未知参数 $\mathbf{\theta }$（标量或向量），常用准则包括：

1. 最小均方误差估计（MMSE, Minimum Mean Square Error）

目标：最小化估计误差的均方值
$${\hat{\theta }}_{\text{MMSE}}=E[\theta |\mathbf{x}]$$
即后验均值估计。

特点：

• 要求已知联合概率分布 $p(\theta ,\mathbf{x})$
• 对非高斯情况仍适用
• 若所有变量联合高斯，则 MMSE 是线性的

2. 线性最小均方误差估计（LMMSE）

仅限于线性估计器形式：
$$\hat{\theta }={\mathbf{a}}^T\mathbf{x}+b$$
在所有线性估计器中使 $E[(\theta -\hat{\theta }{)}^2]$ 最小。

解为：
$${\hat{\theta }}_{\text{LMMSE}}=E[\theta ]+{\mathbf{C}}_{\theta x}{\mathbf{C}}_{xx}^{-1}(\mathbf{x}-E[\mathbf{x}])$$
其中：

• ${\mathbf{C}}_{\theta x}$：参数与观测的互协方差
• ${\mathbf{C}}_{xx}$：观测数据的协方差矩阵

LMMSE 不需要完整分布知识，只需一、二阶统计量。

3. 最大似然估计（ML, Maximum Likelihood）

假设参数 $\theta$ 是确定但未知的，寻找使观测数据出现概率最大的参数值：
$${\hat{\theta }}_{\text{ML}}=\arg \underset{\theta }{\max }p(\mathbf{x};\theta )$$

性质：

• 渐近无偏、有效（达到CRLB）
• 计算方便，尤其当模型为高斯时
• 小样本下可能有偏

4. 最大后验估计（MAP, Maximum A Posteriori）

引入参数的先验分布 $p(\theta )$，最大化后验概率：
$${\hat{\theta }}_{\text{MAP}}=\arg \underset{\theta }{\max }p(\theta |\mathbf{x})=\arg \underset{\theta }{\max }p(\mathbf{x}|\theta )p(\theta )$$

MAP 是贝叶斯框架下的点估计，比 ML 更鲁棒（尤其在数据少时）。

---

五、Cramér-Rao 下界（CRLB）

CRLB 给出了任何无偏估计量的方差下界，用于评价估计器性能极限。

设 $\hat{\theta }$ 是 $\theta$ 的无偏估计，则：
$$\mathrm{Var}(\hat{\theta })\ge \frac{1}{I(\theta )}\text{(标量情况)}$$
其中 $I(\theta )=E\left[{\left(\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }\right)}^2\right]$ 是Fisher信息量。

多参数情况：
$$\mathrm{Cov}(\hat{\mathbf{\theta }})⪰{\mathbf{I}}^{-1}(\mathbf{\theta })$$
即协方差矩阵大于等于Fisher信息矩阵的逆（Loewner序）。

达到CRLB的估计器称为“有效估计器”，如高斯白噪声中的均值估计。

---

六、最小二乘估计（LS）

不依赖概率模型，直接最小化残差平方和：
$$\hat{\mathbf{\theta }}=\arg \underset{\mathbf{\theta }}{\min }\Vert \mathbf{y}-\mathbf{X}\mathbf{\theta }{\Vert }^2\Rightarrow \hat{\mathbf{\theta }}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$

• 无需噪声分布假设
• 在线性模型 + 高斯噪声下，LS ≡ ML
• 可推广为加权最小二乘（WLS）、递推最小二乘（RLS）

---

七、总结：各类估计方法比较

方法	是否需要概率模型	是否线性	是否无偏	是否达到CRLB	应用场景
MMSE	是（联合分布）	否	是	是	贝叶斯估计
LMMSE	是（二阶统计）	是	是	否（一般）	快速近似
ML	是（似然函数）	否	渐近是	渐近是	参数估计
MAP	是（含先验）	否	否	否	正则化估计
LS	否	是	在特定下是	在AWGN下是	曲线拟合、系统辨识

---