最小二乘问题和线性规划（未完结）

最新推荐文章于 2022-03-04 19:14:15 发布

原创

最新推荐文章于 2022-03-04 19:14:15 发布 · 1.4k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#线性代数 #算法 #凸函数

这篇博客探讨了最小二乘问题的基本形式、加权最小二乘和正则化，解析了解析解。同时，介绍了线性规划的标准形式、应用，特别是切比雪夫逼近问题，指出其与最小二乘问题的区别。

最小二乘问题和线性规划

1、最小二乘问题(Least-squares problems)
2、线性规划（linear programming）

最小二乘和线性规划是凸优化的两个特殊子类。

1、最小二乘问题(Least-squares problems)

基本形式和解

最小二乘问题是一类没有约束并且目标函数是形式为 $a{^T_i}x-b_i$ 的项的平方和的优化问题，一般形式如下：
$\text{minimize} \quad f_0\left(x\right)=\lVert Ax-b\rVert^2=\sum_{i=1}^k\left(a{^T_i}x-b_i\right)^2$ 这里 $\in {\bf R}^{k \times n}$ ( $\geq n$ )， $a{^T_i}$ 为 $A$ 的行向量，向量 $\in {\bf R}^n$ 为优化变量。
$\begin{aligned} f_0\left(x\right) &= \lVert Ax-b\rVert^2 \\ &= \left( Ax-b \right)^T\left( Ax-b \right) \\ &= \left( x^TA^T-b^T \right)\left( Ax-b \right) \\ &= x^TA^TAx - b^TAx - x^TA^Tb + b^Tb \end{aligned}$