视觉SLAM实践入门——(7)利用高斯牛顿法进行曲线拟合

考虑满足以下方程的曲线

y_i = exp(ax_i^2 + bx_i + c) + w

其中a,b,c是曲线参数,w是高斯噪声,w~(0,σ^2)(服从零均值的高斯分布)。

假设有N个关于x,y的观测数据点,通过根据这些数据求解下面最小二乘问题,求出曲线参数

\min_{a,b,c}\tfrac{1}{2}\sum_{i=1}^{N}||y_i - exp(ax_i^2 + bx_i + c)||^2

在求解这个问题时,程序里先根据模型生成x,y的真值,然后在真值中添加高斯分布的噪声,再使用高斯牛顿法从带噪声的数据拟合参数模型

定义误差为:e_i = y_i - exp(ax_i^2 + bx_i + c)

计算每个误差项对状态变量的导数:

\frac{\partial e_i}{\partial a} = -x_i^2 exp(ax_i^2 + bx_i + c)

\frac{\partial e_i}{\partial b} = -x_i exp(ax_i^2 + bx_i + c)

\frac{\partial e_i}{\partial c} = - exp(ax_i^2 + bx_i + c)

J_i = [\frac{\partial e_i }{\partial a}, \frac{\partial e_i }{\partial b}, \frac{\partial e_i }{\partial c}]^T

高斯牛顿法的增量方程:(\sum_{i=1}^{100} J_i(\sigma^2)^{-1} J_i^T)\Delta x_k = \sum_{i=1}^{100} - J_i(\sigma^2)^{-1}e_i

#include <iostream>
#include <opencv2/opencv.hpp>
#include <Eigen/Core>
#include <Eigen/Dense>

using namespace std;
using namespace Eigen;

#define N 100	//数据点

int main(void)
{  
  double ar = 1.0, br = 2.0, cr = 1.0;	//真实参数
  double ae = 2.0, be = -1.0, ce = 5.0;	//估计参数
  double w_sigma = 1.0;		//噪声sigma值
  double inv_sigma = 1.0 / w_sigma;
  cv::RNG rng;	//OpenCV随机数产生器
  
  vector<double> x_data, y_data;	//数据
  for(int i = 0; i < N; i++)	//生成带噪声的数据集
  {
    double x = i / 100.0;
    x_data.push_back(x);
    y_data.push_back(exp(ar*x*x + br*x + cr) + rng.gaussian(w_sigma * w_sigma));
  }
  
  //高斯牛顿迭代
  int iterations = 50;	//迭代次数
  double cost = 0, lastCost = 0;	//本次迭代和上次迭代
  
  chrono::steady_clock::time_point t1 = chrono::steady_clock::now();
  for(int iter = 0; iter < iterations; iter++)
  {
    Matrix3d H = Matrix3d::Zero();
    Vector3d b = Vector3d::Zero();
    cost = 0;
    
   for(int i = 0; i < N; i++)
   {
      double xi = x_data[i], yi = y_data[i];	//从数据集取出数据点
      double err = yi - exp(ae*xi*xi + be*xi + ce);	//误差
      Vector3d J;	//雅可比阵
      
      //因为待估计状态是a,b,c,因此J的各元素是e对a,b,c的偏导
      J[0] = -xi*xi*exp(ae*xi*xi + be*xi + ce);	//误差对a的偏导
      J[1] = -xi*exp(ae*xi*xi + be*xi + ce);	//误差对b的偏导
      J[2] = -exp(ae*xi*xi + be*xi + ce);	//误差对c的偏导
      
      H += inv_sigma*inv_sigma*J*J.transpose();
      b += -inv_sigma*inv_sigma*err*J;
      
      cost += err*err;
   }
   
    //求解Hx=b
    Vector3d dx = H.ldlt().solve(b);	//解△x,各元素表示状态的增量
    if(isnan(dx[0]))	//无解
    {
      cout << iter << ":" << "result is nan!" << endl;
      break;
    }
    
    if(iter > 0 && cost >= lastCost)	//目标函数经过迭代不再下降,已经达到局部极小值
    {
      cout << iter << ":" << "cost:" << cost << ">= last cost:" << lastCost << ",break." << endl;   
      break;
    }
   
    ae += dx[0];
    be += dx[1];
    ce += dx[2];
    
    lastCost = cost;
    
    cout << iter << ":" << "total cost : " << cost << ", \tupdate: " << dx.transpose() << "\testimated params: " << ae << "," << be << "," << ce << endl;     
  }
  
  chrono::steady_clock::time_point t2 = chrono::steady_clock::now();
  chrono::duration<double> time_used = chrono::duration_cast<chrono::duration<double>>(t2 - t1);
  cout << "solve time = " << time_used.count() << "s." << endl;
  cout << "estimated a = " << ae << ", b = " << be << ", c = " << ce << endl;
   

  return 0;
}

 

 

 

 

 

### 牛顿法高斯牛顿法的比较 #### 算法原理 **牛顿法**是一种基于泰勒展开的优化方法,主要用于求解方程或优化问题。其核心思想是通过迭代的方式逼近目标函数的极值点或零点。在每一步迭代中,牛顿法利用目标函数的一阶导数(梯度)和二阶导数(Hessian矩阵)来构造一个二次近似模型,并通过求解该模型的极值点来更新当前的估计值[^2]。 ```python def newton_method(f, df, ddf, x0, tol=1e-6, max_iter=100): x = x0 for _ in range(max_iter): gradient = df(x) hessian = ddf(x) if abs(gradient) < tol: break x = x - gradient / hessian # 更新规则 return x ``` **高斯牛顿法**是对牛顿法的一种改进,特别适用于非线性最小二乘问题。它通过将残差平方和的目标函数进行一阶泰勒展开,用雅克比矩阵的乘积近似代替牛顿法中的Hessian矩阵,从而避免了直接计算复杂的二阶导数[^1]。这种方法的核心在于假设目标函数是非线性的,并且可以通过线性化的方式逐步逼近最优解。 ```python import numpy as np def gauss_newton(r, J, x0, tol=1e-6, max_iter=100): x = x0 for _ in range(max_iter): residuals = r(x) jacobian = J(x) delta = np.linalg.lstsq(jacobian.T @ jacobian, jacobian.T @ residuals, rcond=None)[0] if np.linalg.norm(delta) < tol: break x = x - delta # 更新规则 return x ``` #### 区别 1. **目标函数类型**: 牛顿法可以用于一般的优化问题,包括无约束优化和方程求解,而高斯牛顿法则专门针对非线性最小二乘问题[^3]。 2. **二阶导数处理**: 牛顿法需要显式地计算目标函数的Hessian矩阵,而高斯牛顿法则通过雅克比矩阵的乘积 \(J^TJ\) 来近似Hessian矩阵,从而简化了计算复杂度。 3. **收敛性**: 牛顿法在接近最优解时具有二阶收敛速度,但对初始值要求较高;高斯牛顿法通常具有局部收敛性,但在某些情况下可能会发散,尤其是当雅克比矩阵的条件数较差时[^3]。 4. **适用场景**: 牛顿法适合于目标函数的二阶导数容易计算且数值稳定的场景;高斯牛顿法更适合处理非线性最小二乘问题,尤其是在残差较小的情况下表现良好。 #### 适用场景 - **牛顿法**:适用于一般优化问题,尤其是目标函数的二阶导数易于计算且数值稳定的情况。例如,在机器学习中,牛顿法可用于训练小型神经网络或逻辑回归模型。 - **高斯牛顿法**:适用于非线性最小二乘问题,例如曲线拟合、参数估计等。在实际工程中,高斯牛顿法常用于计算机视觉中的相机标定、SLAM(同步定位与建图)等问题。 --- ###
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值