hei653779919的博客

最优化问题——无约束优化方法在只前的文章中，我们关注的是非线性规划问题，以及对应步长因子的搜索方法。在非线性规划问题中，其基本形式包括目标函数和约束条件两个部分，并且约束条件确定了可行域等等重要的部分。但是今天，我们开始关注与不存在约束的优化问题。1 无约束优化问题的引入1.1 无约束优化意义实际的优化问题一般都有很多的约束，那么为什么还需要研究无约束的最优化方法呢？首先，我们从一个例子开始，相信大家在看到我的这篇文章之前，对于机器学习中的SVM算法已经有了一定的了解，对于SVM的求解，同样也是包含

最优化问题——一维搜索(二)在前面的的文章最优化问题——一维搜索(一)中，我们主要介绍了一维搜索中精确搜索的缩小区间法，具体的算法包括黄金分割法，斐波那契法，中点法，以及确定初始区间的进退法。在本篇文章中，我们主要介绍一维搜索的牛顿法和插值法以及非精确的一维搜索。1. 牛顿法1.1 牛顿的基本思路与之前介绍的缩小区间法的思路不同，牛顿法使用的是函数逼近的基本原理，看过之前的非线性规划文章的读者可知，通过泰勒展开式，我们可以将函数变成一阶逼近和二阶逼近的形式。而在一维搜索中，利用插值函数来逼近所需要

最优化问题——一维搜索1. 一维搜索的引入1.1 从非线性规划问题到一维搜索在前面的文章中，我们提到了基于迭代的非线性规划问题的求解思路。在求解过程中，我们提到了在每一步的迭代中都需要对计算步长因子，其计算公式为：λk=minλf(xk+λp)λ_k=min_{λ}f(x_k+λp)λk​=minλ​f(xk​+λp)我们将f(xk+λp)f(x_k+λp)f(xk​+λp)视为λ的一元函数，我们的目标就是求这个一元函数的极小值。对于这个问题，我通常的求解方式为一维搜索。1.2 一维搜索的基本形

最优化问题—非线性规划(二)在之前的文章最优化问题—非线性规划(一)里面，我们主要关注了对于非线性规划的一般形式和最优条件，在最后我们介绍了关于凸规划的相关定义和其最优条件。下面，我们要介绍的是关于对于非线性规划问题的一般的求解思路。1. 非线性规划的求解思路1.1 迭代法以及其基本思想对于非线性规划问题的求解，一般情况下，我们都是采用迭代法进行求解，这种方法的思路很简单，首先给定一个初始的点x0∈Rnx_0∈R^nx0​∈Rn，按照某种迭代法则产生一个点xkx_kxk​，使得当{xk}\{x_k\

最优化问题—非线性规划(一)1. 非规划模型的引入和形式描述1.1 一个非规划的例子在之前的文章中，我们主要介绍了线性规划模型。其实，在我们建模的过程中，更多的是非规划的问题。我们下面从一个问题进入：设第iii个仓库的位置为(xi,yi),(i=1,2,,...,m)(x_i,y_i),(i=1,2,,...,m)(xi​,yi​),(i=1,2,,...,m)，第i个仓库向第j个市场的货物供应量为zijz_{ij}zij​(i=1,2,3,…,m,j=1,2,…,n)，第i个仓库到第j个市场的距离

最优化问题——线性规划(二)在之前的文章最优化问题——线性规划(一)中，我们简单的介绍了线性规划问题的引入，基本形式和图解法求解。接下来，我们开始讲述线性规划问题的一般求解过程。1、线性规划中的一些基本概念满足所有的约束条件的解称为可行解，所有的可行解组成的集合称为可行域。这里，我们对线性规划的标准型进行一些变换，为了更好的理解上面的变换过程，我们下面举一个例子来说明一下：我们给定变...

最优化问题——线性规划1、线性规划问题的提出我们首先从一个例子开始：某个工厂利用原材料来生成A、B、C三种产品，它们的单位产品所需要的数量和耗费的加工时间各不相同，如下表所示。A、B、C单位产品的利润分别为4、5、7千元，问：应该如何安排生产计划，才能使得获得利润最大？对于这个问题，我们首先整理一下题目中的变量，目标函数，以及约束条件。变量：根据题目的描述，可以知道变量为ABC三种产...