qq_37998735的博客

这篇文章我们继续来学习数值最优化方法第三章的后续内容这一章我们以及在之前了解过了：最速下降法，基本Newton方法，这一节我们来了解阻尼newton方法之前我们提到的基本Newton方法是以一固定步长和Newton方向进行迭代的，但是我们学习过线搜索，自然会想到这样的固定步长迭代是否会不合适， 所以对于此进行优化的方法阻尼 Newton 方法就产生了这样的方法能够保证对函数 Hassen矩阵正定的前提下函数值单调下降，于基本Newton方法不同的是，即使迭代点离x∗x^*x∗稍远这个方法也有可能收敛到最低点

今天我们继续来学习数值最优化方法的第三章内容的后续知识。

这一章开始我们将针对不同的最优化问题, 介绍各种各样不同的方法, 这一章的Newton型方法就是以Newton方法为基础建立起来的一系列最优化方法首先我们来了解一下, 最速下降法:假定在第k步迭代已得迭代点xkx_kxk​, 为了得到xkx_kxk​点最快的下降方向, 首先要满足的是数值下降, 所以先得满足公式∣gkTdk∣

现在我们正式进入第二章的学习, 在开始学习无约束最优化方法之前我们先学习几个知识.在以后的章节, 如果没有特殊说明, 我们总假定目标函数f(x)f(x)f(x)的一阶导数存在, 当算法要求存在二阶导数时, 那就存在二阶导数, 并且一,二阶导数我们这里记作:通常我们记:之前在网上看到一个笑话:打开罐头前, 我们先学习一下如何打开罐头, 按照如下流程学习:罐头的定义,罐头的性质,罐头的特点,罐头的历史,罐头的…虽然这个是笑话, 但是在实际的学习中我们确实有必要学习完整的知识体系, 对于我们这个最优化问题求解这个

本课中我们只对非线性光滑最优化问题, 讨论求解无约束最优化问题和约束最优化问题的基本算法和基本理论。最优化问题（Optimization Problem）是数学和工程领域中的一种问题形式，这两种形式是最优化问题的最一般的形式, 其他形式的最优化问题都可以变换成这两种形式。在之后的2-5章内容我们将讨论无约束最优化问题,6-9章我们将讨论约束最优化问题。