5、优化算法的使用与问题解决

优化算法的使用与问题解决

1. 线性优化问题求解

1.1 带边界约束的线性最小二乘问题

在许多情况下，会遇到稀疏线性最小二乘问题，且变量通常带有边界约束。例如，下面的问题要求变量为非负，此问题源于对分段线性样条进行函数逼近。具体来说，粒子散布在单位正方形上，在这些点上对要逼近的函数进行求值，并在（线性）系数非负的条件下构造分段线性样条逼近。有 2000 个方程用于拟合 400 个变量。

操作步骤如下：

load particle 
% Get C, d
lb = zeros(400,1);
[x,resnorm,residual,exitflag,output] = ...
lsqlin(C,d,[],[],[],[],lb);

默认的对角预条件处理效果相当不错，运行结果如下：

exitflag =
     1
resnorm =
    22.5794
output = 
       algorithm: 'large-scale: trust-region reflective Newton'
   firstorderopt: 2.7870e-005
      iterations: 10
    cgiterations: 42

对于带边界约束的问题，一阶最优性是 v.*g 的无穷范数，其中 v 和 g 有特定定义。