HiSi_的博客

最优性条件局部解和严格局部解的定义全局解和严格全局解的定义一阶必要条件二阶必要条件平稳点，驻点，鞍点二阶充分条件凸充分性定理局部解和严格局部解的定义全局解和严格全局解的定义一阶必要条件二阶必要条件平稳点，驻点，鞍点二阶充分条件凸充分性定理局部解的严格局部解的定义：局部解：对于一个函数f(x)，如果某个点的Θ邻域里面的最小值对应的点集有这个点，那么就把这个点叫做函数f(x)的局部解.严格局部解：对于一个函数f(x),如果某个点的Θ邻域里面的最小值对应的点是且只有这个点，那么就把这个点叫做函

多元函数分析梯度Hesse矩阵Jacobi矩阵梯度Hesse矩阵Jacobi矩阵梯度：对于一个n元函数f(x)，如果它对自变量的各个分量的偏导数都存在，那么则称由该函数对各个自变量的分量的偏导数组成的向量为函数f(x)在x处的一阶导数，或者是梯度。记作g(x) = ▽f(x).Hesse矩阵：梯度是一个n元函数，自变量是一个n维列向量，把一个函数的梯度的各个分量对其自变量各个分量求偏导数，得到一个n*n的方阵，这个方阵我们叫做Hesse矩阵。Jacobi矩阵：一个向量函数，它的自变量的各

线性组合：设α₁,α₂,…,αₑ(e≥1)是域P上线性空间V中的有限个向量.若V中向量α可以表示为：α=k₁α₁+k₂α₂+…+kₑαₑ(kₑ∈P,e=1,2,…,s),则称α是向量组α₁,α₂,…,αₑ的一个线性组合,亦称α可由向量组α₁,α₂,…,αₑ线性表示或线性表出.例如,在三维线性空间P3中,向量α=(a₁,a₂,a₃)可由向量组α₁=(1,0,0),α₂=(0,1,0),α₁=(0,0,1)线性表出:α=a₁α₁+a₂α₂+a₃α₃.即若ａ向量是一系列向量的加权线性混合，那么ａ叫做这一系列向

凸集的定义：设有D∈Rn，如果对任意的x,y∈D与任意的α∈[0,1]，都有：αx + (1-α)y = 0，那么称D为凸集。凸集的几何意义：若两个点属于此集合，则这两个点上的任意一点均属于此集合。有关凸集的性质：定理证明:下面这个定理比较容易理解：在一个集合D内，若对于任意个集合内的元素，他们的线性组合在集合内且线性组合的值之和为1，那么这个集合D是凸集。这是理解方法：...

要知道什么是欧氏空间，首先得理解什么是线性空间。线性空间：其实线性空间我们先不管他的定义（其实我也不知道具体定义，可以百度），可以直接理解为一个三维空间，不用管坐标轴，唯一需要知道的是这个空间里面的元素是有n个分量的。定性理解了n维线性空间之后，就可以来理解n维欧氏空间了。n维欧氏空间：n维欧氏空间其实就是为n维线性空间里面的每一个元素定义了一个大小。这个大小||x||为：也就是该元素的每个分量的平方和，然后再开根号。也等于这个元素（n维空间中的元素其实叫做向量）与自身内积的算术平方根。内积：

设有一个可行域D：若D=Rn，也就是所有元素都在这个可行域里面，那么就没有起约束作用的约束函数或者是根本就没有约束函数，此时最优化数学模型中的x叫做自由变量，此时的最优化问题叫做无约束优化问题。若D真包含于Rn，也就是不是所有的元素都在这个可行域里面，也就是有元素x被限制在可行域外面了，此时的最优化问题叫做约束优化问题。约束优化问题转为为无约束优化问题的方法：Lagrange乘子化（拉格朗日乘子化）。然后得到多元函数，然后对各个变量求偏导数。曲线拟合问题：比如某个实验得出一系列数据，但是由于实验误

1.最优化问题的数学模型f(x) 是目标函数，图中最优化问题就是求解f(x)的极小值（此处的min的意义不是最小值）。s.t. 是 “subject to " subject有受限制的的意思，加上一个to就是 受限制于。。。的意思。也就是函数f(x)的定义域受限制于一下函数。ci(x)是约束函数。Rn表示一个n维向量空间，里面的元素是一个N维列向量，其实4维以上的空间都可以看成是三维空间，只不过是点的分量增多了。值得一提的就是求f(x)的最大值，可以用min(-f(x))来求，因为只有当f(x