komjay的博客

1.学习将理论知识运用到实际问题的流程。2.总结学习过各类优化算法。

现实中，并不是所有问题都是像前面学习过的问题那样可以用数学公式来表达，也存在一些问题不仅需要做一步决策，而是做多步决策来达到最优。针对上面的例子，原始的动态规划是从后往前递归求解的（在实际操作中，我们是正向来求解）：第一步，保存从H->J和I->J的最高收益（红色字部分）。动态规划要想使用，就必须思考出问题中是否可以分阶段进行，每个阶段之间是否存在相互关联，这些关联是否能帮助我们求解出最后的结果。相比于动态优化，其就是多了一个状态概率化，作了一个决策后的状态变化是不确定的，是有概率跳转为不同的状态的。

此外，如果有一个目前最优结果，那么可以在别的子树搜索时，根据当前结点的得分与目前最优结果得分对比，可以进行剪枝，减少搜索次数。而P5叶无需再往下衍生，P6也没有可行域，故P3也搜索完了，接下来应该要沿P4开始搜索，但是P4当前的值为7.83，大于目前最优值6.5，再往下搜索也不会低于6.5。LP放松实际上，就是把所有变量都认为是连续的，所以才说这样求解出的结果肯定被原问题更优，是原问题的下界。就是一个标准整数优化问题了，而这，还是一个比较简单的问题，因为变量还是离散的、非连续的。

由于整体最优的公式是人工定义的，这里就忽略这一点，于是当在红色曲线内移动时，总能保证一个F值在下降，就认为是帕里托最优解了）在单目标中（左图），我们的坐标轴是输入x，图案是约束函数范围，其中的等高线展示目标函数值（图中没画出）。在多目标中（右图），我们的坐标轴是多个目标函数，圈出的图案是约束函数目标函数的值空间，没有等高线。ε约束法的思想也很简单，就是对其他的目标函数加以约束，让其不小于ε，使这些目标函数变成约束函数，留下最后一个目标函数来作为真正的目标函数来求解它的最优解。1.了解多目标优化问题的描述。

在对种族（即点的集合）的优胜劣汰中，其决定标准就是f（x）函数值，函数值越大，越有概率繁殖下一代，否则就被淘汰掉。而之所以无法使用之前的梯度下降法之类的方法，主要愿意在于：这个目标函数具有多个局部最优解，最好的办法是遍历所有点，才能找到问题最优。问题：算法计算量非常大，例如在上面的example中，n是x的维度，我们计算总量是10的200次方，计算时间是当前宇宙存在时间的10倍。思想：在变量空间中，随机取点（要求均匀分布且覆盖可行域），计算这些点的目标函数值并选择最小的作为最优解。

只有当目标函数和约束函数都是凸函数时，这个规划问题就是凸优化。

根据约束条件的类型，将问题分为4类：线性等式、非线性等式、线性不等式、非线性不等式。学习对于不同的问题，使用不同的方法进行求解。统一的思想都是消解法，即消去约束条件，。注意：我们说的非线性规划，说的是目标函数是非线性的，而上面讲的线性和非线性，指的是约束函数。

1.了解非线性问题的标准形式和各种求解方法2.学习牛顿法和拟牛顿法3.学习方向测定-线性最小方法4.学习各种搜索法。

1.学习有效集法如何求解二次型规划问题。

1.了解二次型问题的内容2.了解改进单纯形法解决二次型问题的过程。

1.了解了线性规划问题的内容2.为了让问题能给以计算机计算，我们将模型进行抽象化、统一化，变为线性规划的基本形式3.讲述了经典的线性规划的优化方法：单纯形法。

1.梯度可以认为是一个方向导数，一个函数f在一个点x0处在单位向量β方向上的方向导数如下公式所示。其中β的方向是从[0,2π)区间内的，可以发现当且仅当β的方向与函数导数方向一致时，这样的方向导数是最大的。函数的导数就是梯度。负梯度也就被称为最速下降方向（steepest descent direction）。2.未完待续。

摘要：本人研一课堂学习笔记记录