最小二乘算法介绍

本博客基本是ceres 的翻译，更多信息请查看 http://ceres-solver.org/nnls_solving.html

待求解最小二乘问题：

                                                           

其中： and 

 

求解方法主要分为两类：

1. Trust Region methods

2. linear search methods

 

1. Trust Region Methods

   算法步骤：

                      

其中 是trust region radius,  is a measure for the the performance that predicts the behavior of the non-linear objective 

求解上述问题主要有两种方法：Levenberg-Marquardt and Dogleg

a. LM methods

                              

b. Dogleg methods

                           

 

 

2. Line Search Methods

算法步骤    

                               

Here  is some approximation to the Hessian of the objective function, and  is the gradient at . Depending on the choice of  we get a variety of different search directions 

所以：

    1.  trust region 和 line search 方法是相反的两种方法，trust region 方法先确定半径，然后再确定move dirction. line search methd 先确定dirction , 然后确定步长

    2. line search method 只能处理不含约束的最小二乘问题，但是trust region 方法可以处理含约束的最小二乘问题，但是含约束的也可以通过添加松弛变量的方式转成不含约束问题。