梯度及最小二乘估计器

理解梯度与最小二乘法：概念与应用

最新推荐文章于 2025-04-29 15:22:15 发布

原创

最新推荐文章于 2025-04-29 15:22:15 发布 · 1.3k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#梯度 #最小二乘法

本文介绍了梯度的概念，包括函数的梯度定义和矩阵表示，并探讨了最小二乘法在解决线性高斯模型中的应用。通过示例解释了最小二乘估计器的优势和其在高噪声环境下的性能变化。此外，还提供了一个求解函数梯度的例子。

符号(Notations)

(1) $\boldsymbol{f}$ 表示多个函数的组合 $\left[{ \begin{array}{center} f_1(\boldsymbol{x})\\ f_2(\boldsymbol{x})\\ \vdots\\ f_m(\boldsymbol{x}) \end{array}}\right]$
(2) $\nabla f(\boldsymbol{x})$ 表示函数 $f(\boldsymbol{x})$ 的梯度
(3)粗体符号表示矢量或者矩阵，比如 $\boldsymbol{x}$ 表示一个矢量， $\boldsymbol{H}$ 表示一个矩阵。

2. 梯度

定义对于任意点（ $\boldsymbol{x}\in \mathbb{R}^n$ ）的映射 $\boldsymbol{f}: \mathbb{R}^n\rightarrow \mathbb{R}^m$

f (x) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ f 1 (x) f 2 (x) ⋮ f m (x) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = [f 1 (x), f 2 (x), \dots, f m (x)] T (156)

$\begin{align} \boldsymbol{f}({\boldsymbol{x}})=\left[{ \begin{array}{center} f_1(\boldsymbol{x})\\ f_2(\boldsymbol{x})\\ \vdots\\ f_m(\boldsymbol{x}) \end{array}}\right]= \left[{f_1(\boldsymbol{x}),f_2(\boldsymbol{x}),\cdots,f_m(\boldsymbol{x})}\right]^T \end{align}$
其中

fi(x)fi(x) $f_i(\boldsymbol{x})$ 是一个

Rn→RRn→R $\mathbb{R}^n\rightarrow \mathbb{R}$ 的映射。