计算机视觉与深度学习 | 非线性优化理论：图优化、高斯牛顿法和列文伯格-马夸尔特算法

已于 2023-10-25 20:33:04 修改
阅读量753 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： VO-VIO-VSLAM-LidarSLAM-SFM-3D MATLAB之计算机视觉与深度学习 文章标签： 计算机视觉 图优化 非线性优化理论 高斯牛顿法 列文伯格-马夸尔特算法
于 2023-10-25 20:31:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u011344545/article/details/134042913
本文介绍了视觉惯性SLAM中的非线性优化方法，包括高斯牛顿法和列文伯格-马夸尔特算法，以及图优化理论。这些算法在解决最小二乘问题和SLAM后端优化中起关键作用。同时，概述了宋涛博士及其团队在智能感知、图像处理和计算机视觉领域的研究贡献。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

=====================================================
github：https://github.com/MichaelBeechan
优快云：https://blog.youkuaiyun.com/u011344545

=====================================================
计算机视觉与深度学习 | SLAM国内外研究现状
计算机视觉与深度学习 | 视觉惯性SLAM的基础理论
计算机视觉与深度学习 | 基于点线融合的视觉惯性SLAM前端

非线性优化理论

高斯牛顿法和列文伯格-马夸尔特算法

  • 在SLAM中，需要对载体的状态量进行估计。对于一系列观测值，可以利用观测值和状态量之间的约束关系，
了解本专栏 订阅专栏 解锁全文
PCL 使用列文伯格-马夸尔特非线性优化的LM-ICP算法实现点云精配准
m0_51204289的博客
10-29 1296
内容抄自优快云点云侠：[【2024最新版】PCL点云处理算法汇总（C++长期更新版）](https://blog.youkuaiyun.com/qq_36686437/article/details/114160640)。质量无忧，永久免费，可放心复制粘贴。
安装 | MATLAB2018a (64位) 安装教程及安装包下载链接
热门推荐
尘世冰封的专栏
12-10 33万+
博主github：https://github.com/MichaelBeechan 博主优快云：https://blog.youkuaiyun.com/u011344545 安装包下载链接：内附MATLAB从入门到精通视频教程 全17讲 链接：https://pan.baidu.com/s/12NM-hWPhXg8mFhdoGbpv7A 提取码：1i4x 链接：https://pan.baidu...
1stOpt——世界领先的非线性曲线拟合，综合优化分析计算软件平台
baiseda
09-03 2315
世界领先的非线性曲线拟合，综合优化分析计算软件平台。 简介 　　1stOpt（First Optimization）是七维高科有限公司（7D-Soft High Technology Inc.）独立开发，拥有完全自主知识产权的一套数学优化分析综合工具软件包。在非线性回归，曲线拟合，非线性复杂工程模型参数估算求解等领域傲视群雄，首屈一指，居世界领先地位。除去简单易用的界面，其...
最优化学习笔记（七）——Levenberg-Marquardt修正（牛顿法修正）
chunyun0716的专栏
07-31 6403
上节末尾谈到牛顿法中隐含的另外一个问题在于hessian矩阵可能不是正定的。因此，d(k)=−F(x(k))−1g(x(k)) \boldsymbol{d}^{(k)} = -\boldsymbol{F}(\boldsymbol{x}^{(k)})^{-1}\boldsymbol{g(x^{(k)})} 可能不会是下降方向。Levenberg-Marquardt修正可以解决这个问题，保证每
高斯牛顿法与列文伯格-马夸尔特
Wqyaism的博客
11-01 171
高斯牛顿法与列文伯格-马夸尔特法
牛顿法，高斯牛顿法，列文伯格-马夸尔特(LM)法 (含代码)【最小二乘非线性求解】
weixin_43763292的博客
11-29 9042
牛顿法是一种函数逼近法,它的基本思想是：在极小点附近用x(k)x^{(k)}x(k)点的二阶泰勒多项式来近似目标函数f(x)f(x)f(x),并用选代点x(k)x^{(k)}x(k)处指向近似二次函数的极小点方向作为搜索方向p(k)p^{(k)}p(k)。minf(x),x∈Rnminf(x),x∈Rn其中f(x)f(x)f(x)在点x(k)x^{(k)}x(k。
非线性最小二乘问题的数值方法 —— 从高斯-牛顿法到列文伯格-马夸尔特法 (I)
Robotics_Notes
01-09 1681
关联博客非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (I)非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (II)非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (III)非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (IV)非线性最小二乘问题的数值方法 —— 从牛顿迭代法到高斯-牛顿法 (实例篇 V)本篇博客从高斯-牛顿法开始, 引入阻尼高斯-牛顿法. 阻尼高斯-牛顿法视作为 “初级/原始” 的列文伯格-马夸尔特法.
高斯-牛顿法与列文伯格-马夸尔特法：非线性优化的理论推导与C++实现
最新发布
GeekDongHuang的博客
04-30 1018
在SLAM（Simultaneous Localization and Mapping，同时定位与建图）领域，非线性优化问题是核心挑战之一。其本质在于从一系列带有噪声的测量数据中，精确估计出机器人的位姿和地图信息。为了实现这一目标，需要构建合适的误差函数来衡量测量值与预测值之间的差异。常见的误差函数构建方法有重投影误差和光度误差。重投影误差是将地图点投影到相机成像平面，计算投影点与实际观测点之间的像素误差，它在视觉SLAM中广泛应用，能有效利用图像特征点信息。
《视觉 SLAM 十四讲》V2 第 6 讲 非线性优化 【高斯牛顿法、列文伯格-马夸尔特方法 、Ceres 库 和 g2o库 】
weixin_46034116的博客
10-06 447
文章目录6.1.2 最小二乘寻找下降增量Δxk\Delta\bm{x}_kΔxk​的 4 种方法6.2.1 一阶和二阶梯度法(最速下降法、牛顿法)6.2.2 高斯牛顿法6.2.3 列文伯格-马夸尔特方法 【阻尼牛顿法】【信赖区域法】6.3 实践6.3.1 手写高斯牛顿法 【Code】6.3.2 谷歌的优化库 Ceres 【最小二乘问题求解库】【Code】6.3.3 g2o(General Graphic Optimization) 【Code】习题√ 题1题2题3题4LaTex 最小二乘法 下降策略
高斯牛顿(Gauss Newton)与列文伯格-马夸尔特(Levenberg-Marquardt)迭代算法
折纸鹤
08-28 1172
<div class="article-copyright"> <span class="creativecommons"> <a rel="license" href="http://creativecommons.org/lice...
数值迭代方法：列文伯格-马夸尔特方法（个人理解)
NPU_Liuyuhang的博客
06-20 1331
列文伯格-马夸尔特方法
列文伯格-马夸尔特算法LM算法（基于Python编程语言实现）
04-06
列文伯格-马夸尔特（Levenberg-Marquardt，简称LM算法）是一种在数值优化领域广泛应用的算法，特别是在非线性最小二乘问题中。它结合了梯度下降法和高斯-牛顿法的优点，适用于解决那些模型函数包含非线性因素的问题...
最优化理论与自动驾驶（二）：求解算法
a8598671的博客
09-03 1585
本文介绍了高斯-牛顿法（Gauss-Newton Method）、梯度下降法（Gradient Descent Method）、牛顿法（Newton's Method）和勒文贝格-马夸尔特法（Levenberg-Marquardt Method, LM方法）的应用场景和迭代方法，并通过python和C++展示了四种不同的算法在非线性最小二乘问题的应用，最小二乘函数选择指数衰减函数y=a*exp(bx)。
安装 | MatlabR2019b: License Manager Error -8. License checkout failed.
尘世冰封的专栏
11-21 1万+
博主github：https://github.com/MichaelBeechan 博主优快云：https://blog.youkuaiyun.com/u011344545 最近在安装MATLAB2019b，安装过程中一直出现如下问题： License Manager Error -8. License checkout failed. Encryption code in licens 百度多次未能解决...
计算机视觉与深度学习 | 使用MATLAB实现图像SURF特征的提取与匹配以及目标定位（代码类）
尘世冰封的专栏
12-12 1万+
了解博主更多项目查看 github：https://github.com/MichaelBeechan 优快云：https://blog.youkuaiyun.com/u011344545 ==================================================================== 代码下载：https://github.com/MichaelBeecha...
安装 | Matlab2022a / MATLAB R2022b下载及新功能一览
尘世冰封的专栏
03-11 1万+
================================================================ 博主github：https://github.com/MichaelBeechan 博主优快云：https://blog.youkuaiyun.com/u011344545 ================================================================ Matlab2022a 下载链接在文末 DSP System Toolbox A
计算机视觉与深度学习 | 基于MATLAB 使用CNN拟合一个回归模型来预测手写数字的旋转角度（卷积神经网络）
尘世冰封的专栏
03-07 9221
博主github：https://github.com/MichaelBeechan 博主优快云：https://blog.youkuaiyun.com/u011344545 上一篇写了一个：实现简单的数字分类问题（卷积神经网络） %% Time：2019.3.7 %% Name：Michael Beechan %% Github：https://github.com/MichaelBeech...
计算机视觉与深度学习 | 视觉里程计VO及惯性系统
尘世冰封的专栏
06-20 5309
视觉里程计VO及惯性系统 时间：2017.9.14 8:50 作者：Michael Beechan 前端视觉里程计：根据相邻图像信息估计粗略的相机运动，给后端提供初始值。 VO的实现方法(是否提取特征)：特征点法和直接法。 VO的主要问题是如何根据图像来估计相机运动。 角点检测方法：SIFT，SURF，ORB等。 特征点性质：1.可重复性 2.可区别性 3.高效性 4.本地性 h...
计算机视觉与深度学习 | 像素坐标转相机坐标转世界坐标，求R,t（附C++和Python源代码）
尘世冰封的专栏
03-03 5157
================================================ 博主github：https://github.com/MichaelBeechan 博主优快云：https://blog.youkuaiyun.com/u011344545 ================================================ 转换原理在文末 d_x和d_y表示1个像素有多少长度，即用传感器的尺寸除以像素数量 f表示焦距 代码1 2D-2D #include &lt
列文伯格-马夸尔特算法 推导
12-02
列文伯格-马夸尔特算法（Levenberg-Marquardt algorithm）是一种非线性最小二乘优化算法，用于解决非线性最小二乘问题。下面是列文伯格-马夸尔特算法的推导过程： 1. 非线性最小二乘问题的一般形式为： $$ \min_{x} \frac{1}{2} \sum_{i=1}^{m} r_{i}^{2}(x) $$ 其中，$x$ 是一个 $n$ 维向量，$r_{i}(x)$ 是一个关于 $x$ 的非线性函数，$m$ 是数据点的数量。 2. 首先，我们将 $r_{i}(x)$ 在 $x_{k}$ 处进行泰勒展开，得到： $$ r_{i}(x) \approx r_{i}(x_{k}) + J_{i}(x_{k}) (x - x_{k}) $$ 其中，$J_{i}(x_{k})$ 是 $r_{i}(x)$ 在 $x_{k}$ 处的雅可比矩阵。 3. 将上式代入非线性最小二乘问题中，得到： $$ \min_{x} \frac{1}{2} \sum_{i=1}^{m} [r_{i}(x_{k}) + J_{i}(x_{k}) (x - x_{k})]^{2} $$ 4. 对上式进行求导，得到： $$ J(x_{k})^{T} J(x_{k}) \Delta x = -J(x_{k})^{T} r(x_{k}) $$ 其中，$J(x_{k})$ 是 $r(x)$ 在 $x_{k}$ 处的雅可比矩阵，$\Delta x = x - x_{k}$。 5. 如果 $J(x_{k})^{T} J(x_{k})$ 是非奇异矩阵，则可以直接求解 $\Delta x$： $$ \Delta x = -(J(x_{k})^{T} J(x_{k}))^{-1} J(x_{k})^{T} r(x_{k}) $$ 6. 如果 $J(x_{k})^{T} J(x_{k})$ 是奇异矩阵，则可以使用列文伯格-马夸尔特算法。具体来说，我们可以将上式改写为： $$ (J(x_{k})^{T} J(x_{k}) + \lambda I) \Delta x = -J(x_{k})^{T} r(x_{k}) $$ 其中，$\lambda$ 是一个正的常数，$I$ 是单位矩阵。 7. 如果 $\lambda$ 很小，则上式退化为高斯牛顿法；如果 $\lambda$ 很大，则上式退化为梯度下降法。因此，我们可以通过不断调整 $\lambda$ 的值，来实现在高斯牛顿法和梯度下降法之间的平衡。 8. 最终，我们可以通过以下方式更新 $x$： $$ x_{k+1} = x_{k} + \Delta x $$
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

北斗猿

代码有情，打赏有爱！谢谢！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值