梯度及最小二乘估计器

最新推荐文章于 2025-04-29 15:22:15 发布

「已注销」

最新推荐文章于 2025-04-29 15:22:15 发布

阅读量1.3k

点赞数

CC 4.0 BY-SA版权

分类专栏：凸优化随笔文章标签：梯度最小二乘法

本文链接：https://blog.youkuaiyun.com/u012284960/article/details/72572318

本文介绍了梯度的概念，包括函数的梯度定义和矩阵表示，并探讨了最小二乘法在解决线性高斯模型中的应用。通过示例解释了最小二乘估计器的优势和其在高噪声环境下的性能变化。此外，还提供了一个求解函数梯度的例子。

符号(Notations)

(1) $\boldsymbol{f}$ 表示多个函数的组合 $\left[{ \begin{array}{center} f_1(\boldsymbol{x})\\ f_2(\boldsymbol{x})\\ \vdots\\ f_m(\boldsymbol{x}) \end{array}}\right]$
(2) $\nabla f(\boldsymbol{x})$ 表示函数 $f(\boldsymbol{x})$ 的梯度
(3)粗体符号表示矢量或者矩阵，比如 $\boldsymbol{x}$ 表示一个矢量， $\boldsymbol{H}$ 表示一个矩阵。

2. 梯度

定义对于任意点（ $\boldsymbol{x}\in \mathbb{R}^n$ ）的映射 $\boldsymbol{f}: \mathbb{R}^n\rightarrow \mathbb{R}^m$

f (x) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢ f 1 (x) f 2 (x) ⋮ f m (x) ⎤ ⎦ ⎥ ⎥ ⎥ ⎥ ⎥ = [f 1 (x), f 2 (x), \dots, f m (x)] T (156)

$\begin{align} \boldsymbol{f}({\boldsymbol{x}})=\left[{ \begin{array}{center} f_1(\boldsymbol{x})\\ f_2(\boldsymbol{x})\\ \vdots\\ f_m(\boldsymbol{x}) \end{array}}\right]= \left[{f_1(\boldsymbol{x}),f_2(\boldsymbol{x}),\cdots,f_m(\boldsymbol{x})}\right]^T \end{align}$
其中

fi(x)fi(x) $f_i(\boldsymbol{x})$ 是一个

Rn→RRn→R $\mathbb{R}^n\rightarrow \mathbb{R}$ 的映射。