zbwgycm的博客

Introduction上一节我们介绍了对偶梯度上升法和增广拉格朗日方法（也叫作乘子法）。在最后我们提到，对偶梯度上升法虽然可以做变量分解，但是需要较强的约束条件保证收敛；而对于乘子法而言，虽然有较好的收敛性，但是却失去了可分解性。那么有没有一种方法可以兼具两种特性呢？那就是本节要介绍的交替方向乘子法（Alternating Direction Method of Multipliers，ADMM）。交替方向乘子法考虑如下形式的问题min⁡x,zf(x)+g(z)subject toAx+

Introduction前一节我们介绍了对偶的应用以及共轭函数的性质。利用这些性质，我们本节讨论基于对偶的方法。对偶梯度法即使我们不能推导出闭合形式的对偶或共轭，我们依然可以使用基于对偶的次梯度法或梯度法（Dual gradient methods）。比如考虑以下问题min⁡xf(x)subject to Ax=b\min_xf(x)\quad subject\ to\ Ax=bxmin​f(x)subject to Ax=b其对偶问题为max⁡u−f∗

Introduction在前几节中我们讨论了对偶。在强对偶条件下，给定对偶问题的最优解u∗,v∗u^*,v^*u∗,v∗，任何使得拉普拉斯方程L(x,u∗,v∗)L(x,u^*,v^*)L(x,u∗,v∗)最小化的xxx都是原问题的最优解。特别是当原问题的解唯一时，其一定是最优解x∗x^*x∗。这使得我们可以借助于对偶来求解原问题的解。本节我们主要讨论跟对偶相关的一些知识及应用。对偶范数令∥x∥\|x\|∥x∥为一个范数（norm）， 定义其对偶范数（dual norm）∥x∥∗\|x\|_*∥x∥∗

Inttoduction上一节我们提到了强对偶，即原问题的最优值与对偶问题的最优值相等。下面我们需要解决怎样找到优化问题的最优解。而KKT条件就是最优解需要满足的条件。KKT条件给定一个一般性的优化问题：min⁡xf(x)subject tohi(x)≤0, i=1,...,mli(x)=0, j=1,...,r\begin{aligned}\min_{x...

Intorduction在上节中，我们讨论了线性规划中的对偶，引入了对偶的基本概念和对偶的两种解释。对偶相当于给当前的优化问题找到了一个下界，通过提升这个下界来找到原问题的最优解。本节将进一步介绍对偶在一般规划问题中的推广。拉格朗日对偶函数考虑一般的最小化问题：min⁡xf(x)subject tohi(x)≤0, i=1,...,mli(x)=0, j=1,...

Introduction对偶（duality）是优化中的一个重要概念，当原问题的最小值很难求解时，我们常常将其变为对偶形式，通过求解对偶问题的最大值，从而得到原问题的最优解。我们从最简单的线性规划问题入手来介绍对偶的概念。线性规划的下界假设我们想要寻找一个凸优化问题的下界（lower bound），即寻找B≤min⁡xf(x)B\leq \min_xf(x)B≤minx​f(x)。以线性规...

总目录一、 凸优化基础（Convex Optimization basics）凸优化基础（Convex Optimization basics）二、 一阶梯度方法（First-order methods）2. 梯度下降（Gradient Descent）3. 次梯度（Subgradients）4. 近端梯度法（Proximal Gradient Descent）5. 随机梯度下降...

近端梯度法（Proximal Gradient Descent）在凸优化问题中，对于可微分的目标函数，我们可以通过梯度下降法（gradient descent）迭代求解最优解，而对于不可微分的目标函数，通过引入次梯度（subgradient）也可以迭代求解最优解，然而比起梯度下降法，次梯度法的速度比较缓慢。为此，针对于一些整体不可微分但却可以分解的目标函数来说，我们可以使用一种更快的算法——近端...

Introduction对于一个可微的凸函数fff，其一阶特性有：f(y)≥f(x)+∇f(x)T(y−x)f(y)\geq f(x)+\nabla f(x)^T(y-x)f(y)≥f(x)+∇f(x)T(y−x)而当凸函数fff是不可微的，我们也可以根据该性质来定义其次梯度。次梯度一个凸函数fff在xxx的次梯度ggg定义为：f(y)≥f(x)+gT(y−x)f(y)\geq f(x...

梯度下降考虑一个无约束的，平滑的凸优化问题min⁡xf(x)\min_x f(x)xmin​f(x)其中，fff是凸函数，且在定义域dom(f)=Rndom(f)=R^ndom(f)=Rn上是可微的。算法选择一个初始点x(0)∈Rnx^{(0)}\in R^nx(0)∈Rn，重复操作：x(k)=x(k−1)−tk⋅∇f(x(k−1)), k=1,2,3.,..x^{(k)} ...

凸优化问题一个凸优化问题具有以下基本形式：min⁡x∈Df(x)\min_{x\in D} f(x)x∈Dmin​f(x)subject togi(x)≤0, i=1,...,mg_i(x)\leq 0,\ i=1,...,m gi​(x)≤0, i=1,...,mhj(x)=0, j=1,...,rh_j(x)=0,\ j=1,...,rhj​(x)=0,...