优化问题与最小二乘模型解析

1、考虑问题：(min f(x), x in S)，并假设存在全局最小点。证明问题(min cf(x) + d, x in S)（其中(c > 0)）与给定问题具有相同的（局部和全局）最小点。

设 $ x^ $ 是 $ \min f(x),\ x \in S $ 的全局最小点，则对于所有 $ x \in S $，有
$$
f(x^ ) \leq f(x).
$$

对于问题 $ \min cf(x) + d,\ x \in S $，因为 $ c > 0 $，那么
$$
cf(x^ ) + d \leq cf(x) + d
$$
对所有 $ x \in S $ 成立，所以 $ x^ $ 也是 $ \min cf(x) + d,\ x \in S $ 的全局最小点。

同理可证局部最小点情况，若 $ x^ $ 是 $ \min f(x),\ x \in S $ 的局部最小点，在其邻域内
$$
f(x^ ) \leq f(x),
$$
那么在相同邻域内
$$
cf(x^ ) + d \leq cf(x) + d,
$$
所以 $ x^ $ 也是 $ \min cf(x) + d,\ x \in S $ 的局部最小点。

反之，若 $ x^ $ 是 $ \min cf(x) + d,\ x \in S $ 的（局部或全局）最小点，在相同条件下也可推出 $ x^ $ 是 $ \min f(x),\ x \in S $ 的（局部或全局）最小点。

所以，两个问题有相同的（局部和全局）最小点。

2、考虑带有箱约束的问题：$\min f(x)$，$l \leq x \leq u$，其中$f: \mathbb{R}^n \to \mathbb{R}$是凸的连续可微函数。设$\bar{x}$是一个可行点，使得$\bar{x}_n = u_n$，且$\nabla f(\bar{x}) = [0\