scu-liu的博客

这是一篇汇总贴视频文章主要是结合哔站的视频：中科大-凸优化第九集好像有缺失，翻了一下评论，可以找找看一下。笔记中科大-凸优化 笔记（一）-什么是凸优化？

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化例：min⁡12x12+12x22s.t.  x1=1  x∗=(1,0)T  ⇒L(x,v)=12x12+12x22+v(x1−1)  x1=1,x1+v=0,x2=0⇒x1∗=1,v∗=−1,x2∗=0  ⇒Lc(x,v)=12x12+12x22+v(x1−1)+c2(x1−1)2arg min⁡Lc(x,v∗)=12x12+12x22−(x1−1)+c2(x1−1)2    性质1：∂Lc(x,v∗)∂x1=x1−1+c(x1−1)=0    ⇔x

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、线性等式约束的凸优化问题αk=arg min⁡α≥0f(xk+αdk)xk+1=xk+αkdk\alpha^k = \argmin_{\alpha\ge0}f(x^k+\alpha d^k)\\x^{k+1}=x^k+\alpha^kd^kαk=α≥0argmin​f(xk+αdk)xk+1=xk+αkdk二、拉格朗日法xk+1=xk−αk(∇f(xk)+ATvk)vk+1=vk+αk(Axk−b)x^{k+1}=x^k-\alpha^k(\n

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、拉格朗日法 Lagrangian Methodxk+1=xk−αk(∇f(xk)+ATvk)xk+1=vk+αk(Axk−b)    x^{k+1}=x^k-\alpha^k(\nabla f(x^k)+A^Tv^k)\\x^{k+1}=v^k+\alpha^k(Ax^k-b)\;\\\;xk+1=xk−αk(∇f(xk)+ATvk)xk+1=vk+αk(Axk−b)L(x,v)=f(x)+vT(Ax−b)(x∗,v∗)arg max⁡vmin⁡x

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、无约束优化问题及算法min⁡f(x)gradient  descent  dk=−∇f(xk)steepest  descent  dk=arg min⁡∣∣v∣∣=1{∇fT(xk)v}coordinate  descentsubgradient  descent  dk=−∂f(xk)∂xNewton′s  Method  dk=arg min⁡v{∇fT(x)v+12vT∇2f(x)v}=−(∇2f(xk))−1∇f(xk)Quasi−Newt

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、牛顿法（Newton’s method）牛顿法算法收敛性分析    ∃η>0\;\;\exist \eta>0∃η>0若∣∣∇f(x)∣∣2>η||\nabla f(x)||_2>\eta∣∣∇f(x)∣∣2​>η：damped Newton phase若∣∣∇f(x)∣∣2<η||\nabla f(x)||_2<\eta∣∣∇f(x)∣∣2​<η：quadratically conv

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、梯度下降法dk+1=−∇f(xk)f(xk+1)−P∗f(xk)−P∗≤1−mM≤1−min⁡{2mγαmax,2mγβM}K∼log⁡(f(xk)−P∗)          线性收敛d^{k+1}=-\nabla f(x^k)\\\frac{f(x^{k+1})-P^*}{f(x^k)-P^*}\le1-\frac mM\le1-\min\{2m\gamma\alpha_{max},\frac{2m\gamma\beta}M\}\\ K\sim \

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、分析算法的收敛性∀x∈dom  f,MI⪰∇2f(x)⪰mI\forall x\in dom\;f,MI\succeq\nabla^2f(x)\succeq mI∀x∈domf,MI⪰∇2f(x)⪰mI1)exact line search2)Inexact line search(Amijo Rule)例：f(x)=12XTPX    P∈S+nf(x)=\frac12X^TPX\;\;P\in S_+^nf(x)=21​XTPXP

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化上节课两道题一、函数性质的分析f(x)f(x)f(x)二、梯度下降法Gradient Decentdk=−∇f(xk)d^k=-\nabla f(x^k)dk=−∇f(xk)

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、强凸性假设f(x)f(x)f(x)二阶可微且有强凸性∃m>0,∀x∈dom  f,∇2f(x)⪰mI\exist m>0,\forall x\in dom\;f,\nabla^2f(x)\succeq mI∃m>0,∀x∈domf,∇2f(x)⪰mI二、梯度下降法dk=−∇f(xk)d^k=-\nabla f(x^k)dk=−∇f(xk)具体的梯度下降方法及例子，可以看这篇博文：梯度下降法...

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化测验一、函数的强凸性无约束优化问题min⁡f(x)\min f(x)minf(x)假设f(x)f(x)f(x)二阶可微且有强凸性∃m>0,∀x∈dom  f,∇2f(x)⪰mI\exist m>0,\forall x\in dom\;f,\nabla^2f(x)\succeq mI∃m>0,∀x∈domf,∇2f(x)⪰mI...

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化讨论几种典型的算法无约束优化/有约束优化所有优化算法都是迭代算法

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化例：⇒L(x,v)=f0(x)+vT(Ax−b)⇒g(v)=inf⁡x{f0(x)+vT(Ax−b)}      v=α(Ax~−b)g(α(Ax~−b))=inf⁡x{f0(x)+α(Ax~−b)T(Ax~−b)}=f0(x~)+α∣∣Ax~−b∣∣22  f0(x∗)=P∗=d∗≥g(α(Ax~−b))=f0(x~)+α∣∣Ax~−b∣∣22≥f0(x~)当α=0时，arg max⁡f0(x)当α→+∞时，f(x∗)=f(x~)\Rightar

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化例：Boolen LP问题例：Boolen LP等价问题{min⁡cTxs.t.    Ax≤b              xi(xi−1)=0,i=1,⋯ ,n  ⇒L(x,λ,v)=cTx+λT(Ax−b)+∑i=1nvixi2−∑i=1nvixi=∑i=1nvixi2+(c+AλT−v)Tx−λTb  ⇒g(λ,v)=inf⁡xL(x,λ,v)={−λTb−14∑i=1n(ci+aiTλ−vi)2vi,v≥0−∞,               

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、敏感性分析性质1：若原问题为凸问题，则P∗(u,w)P^*(u,w)P∗(u,w)为(u,w)(u,w)(u,w)的凸函数。证明：P∗(u,w)=inf⁡x{f0(x)∣fi(x)≤ui,i=1,⋯ ,m,hi(x)=wi,i=1,⋯ ,P(D)}=inf⁡xg(x,u,w)g(x,u,w)=Δf0(x),dom  g=dom  f0∩D(凸集fi(x)−ui≤0  hi(x)−wi=0)g(x,u,w)为(x,u,w)的凸函数f(x,y)对x是

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化例：min⁡f0(x)s.t.  x≥0  ⇔x≥0∇f0(x)≥0xi(∇f0(x))i=0,i=1,⋯ ,n（Complementary）\min f_0(x)\\s.t.\;x\ge0\\\;\\\Leftrightarrow x\ge0\\\nabla f_0(x)\ge0\\x_i(\nabla f_0(x))_i=0,i=1,\cdots,n（Complementary）minf0​(x)s.t.x≥0⇔x≥0∇f0​(x)≥0xi​(∇f0

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一般的优化问题（不一定凸）一般的可微优化问题（不一定凸），对偶间隙为零min⁡f0(x)s.t.  fi(x)≤0,i=1,⋯ ,mhi(x)=0,i=1,⋯ ,P\min f_0(x)\\s.t.\;f_i(x)\le0,i=1,\cdots,m\\h_i(x)=0,i=1,\cdots,Pminf0​(x)s.t.fi​(x)≤0,i=1,⋯,mhi​(x)=0,i=1,⋯,P可微的凸优化问题，对偶间隙为零。例：min⁡12XTPX+qT

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化原问题min⁡f0(x)s.t.  fi(x)≤0,i=1,⋯ ,mhi(x)=0,i=1,⋯ ,P\min f_0(x)\\s.t.\;f_i(x)\le0,i=1,\cdots,m\\h_i(x)=0,i=1,\cdots,Pminf0​(x)s.t.fi​(x)≤0,i=1,⋯,mhi​(x)=0,i=1,⋯,P对偶函数g(λ,v)=inf⁡x{f0(x)+∑i=1mλifi(x)+∑i=1Pvihi(x)}g(\lambda,v)=\inf_x

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化Slater条件：凸问题 P∗=d∗？P^*=d^*？P∗=d∗？充分条件非凸问题min⁡f0(x)s.t.  fi(x)≤0  i=1,⋯ ,mx∈D\min f_0(x)\\s.t.\;f_i(x)\le0\;i=1,\cdots,m\\x\in Dminf0​(x)s.t.fi​(x)≤0i=1,⋯,mx∈D四种解释：几何、多目标优化、鞍点、经济学经济学解释xxx：产品f0(x)f_0(x)f0​(x)：损失fi(x)f_i(x)

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化几种解释P∗=d∗P^*=d^*P∗=d∗min⁡f0(x)s.t.  fi(x)≤0,i=1,⋯ ,mx∈D\min f_0(x)\\s.t.\;f_i(x)\le0,i=1,\cdots,m\\x\in Dminf0​(x)s.t.fi​(x)≤0,i=1,⋯,mx∈D一、几何解释min⁡f0(x)s.t.fi(x)≤0\min f_0(x)\\s.t. f_i(x)\le0minf0​(x)s.t.fi​(x)≤0G={(f(x),f0(x)

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、对任意优化问题(P)min⁡f0(x)s.t.  fi(x)≤0,i=1,⋯ ,m      (P∗)hi(x)=0,i=1,⋯ ,PL(x,λ,v)=f0(x)+∑i=1mλifi(x)+∑i=1Pvihi(x)g(λ,v)=inf⁡x∈DL(x,λ,v)(P)\min f_0(x)\\s.t.\;f_i(x)\le0,i=1,\cdots,m\;\;\;(P^*)\\h_i(x)=0,i=1,\cdots,P\\L(x,\lambda,v)=f_

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、函数的共轭f∗f^*f∗是f:Rn→Rf:\R^n\rightarrow\Rf:Rn→R的共轭，若f∗(y)=sup⁡x∈dom  f(yTx−f(x))f^*(y)=\sup_{x\in dom\;f}(y^Tx-f(x))f∗(y)=supx∈domf​(yTx−f(x))例：min⁡  f0(x)s.t.  x=0⇒L(x,v)=f(x)+VTx,dom  L=dom  f∗Rn⇒g(v)=inf⁡x∈dom  f(f(x)+VTx)=−s

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化min⁡f0(x)s.t.  fi(x)≤0,i=1,⋯ ,mhi(x)=0,i=1,⋯ ,Px∈Rn,D=∩i=0mdom  fi∩∩i=1Pdom  hiP∗  optimal  calue\min f_0(x)\\s.t.\;f_i(x)\le0,i=1,\cdots,m\\h_i(x)=0,i=1,\cdots,P\\x\in\R^n,D=\cap_{i=0}^m dom\;f_i\cap\cap_{i=1}^P dom\;h_i\\P^*\;op

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化min⁡ts.t.AT(x)A(x)−t2I≤0t≥0  ⇔min⁡ts.t.  [tIA(x)AT(x)tI]⪰0t≥0  ⇔min⁡ts.t.    Y=[tIA(x)AT(x)tI]（线性）Y⪰0（半正定）t≥0（线性）\min t\\s.t. A^T(x)A(x)-t^2I\le0\\t\ge0\\\;\\\Leftrightarrow \\\min t\\s.t.\;\left[ \begin{matrix}tI& A(x) \\A^

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化线性规划：目标线性、等式约束线性、不等式约束线性二次规划：目标二次（凸）、等式约束线性、不等式约束线性QCQP：目标二次、等式约束二次、不等式约束二次例：投资组合问题（portfolio optimization）优化问题可描述为：max⁡  P1x1+⋯+Pnxns.t.  x1+⋯+xn≤B(=B)x1,⋯ ,xn≥0\max \;P_1x_1+\cdots+P_nx_n\\s.t.\;x_1+\cdots+x_n\le B(=B)\\x_

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、二次规划（Quadratic Programming）min⁡12XTPX+ξTx+r      （凸）P∈S+ns.t.      Qx≤h  Ax=b（仿射）\min \frac12X^TPX+\xi^Tx+r\;\;\;（凸）P\in S_+^n\\s.t.\;\;\;Qx\le h\;Ax=b（仿射）min21​XTPX+ξTx+r（凸）P∈S+n​s.t.Qx≤hAx=b（仿射）二、二次约束二次规划（Quadratizally cons

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化∇fT(x∗)(y−x)≥0\nabla f^T(x^*)(y-x)\ge0∇fT(x∗)(y−x)≥0线性规划的解在边界上一、等价变换例：食谱问题选择食谱，使得mmm种营养元素分别不小于b1,⋯ ,bmb_1,\cdots,b_mb1​,⋯,bm​有nnn种食物，单位食物营养为a1j,a2j,⋯ ,amj,∀j=1,⋯ ,na_{1j},a_{2j},\cdots,a_{mj},\forall j=1,\cdots,na1j​,a2j​,⋯

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、约束仅为等式约束minf0(x)      dom  f0=Rns.t.    Ax=bmin f_0(x)\;\;\;dom\;f_0=\R^n\\s.t.\;\;Ax=bminf0​(x)domf0​=Rns.t.Ax=b若∃x>0,Ax=b,x\exist x>0,Ax=b,x∃x>0,Ax=b,x最优⇔∀y,Ay=b\Leftrightarrow\forall y,Ay=b⇔∀y,Ay=b∇f0T(x)(y−x)≥0\n

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、优化问题与凸优化问题优化问题min  f0(x)s.t.    fi(x)≤0,i=1,⋯ ,m,hj(x)=0,⋯ ,pmin\;f_0(x)\\s.t.\;\;f_i(x)\le0,i=1,\cdots,m,h_j(x)=0,\cdots,pminf0​(x)s.t.fi​(x)≤0,i=1,⋯,m,hj​(x)=0,⋯,p凸优化问题min    f0(x)              （凸）s.t.    fi(x)≤0.i=1,⋯ ,m 

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、凸优化相关点续讲∃R>0\exists R>0∃R>0，使得xxx局部最优fi(x)≤0,i=1,⋯ ,mf_i(x)\le0,i=1,\cdots,mfi​(x)≤0,i=1,⋯,m为什么不替换成fi(x)<0,i=1,⋯ ,mf_i(x)<0,i=1,\cdots,mfi​(x)<0,i=1,⋯,m若x∈Xf,fi(x)=0x\in X_f,f_i(x)=0x∈Xf​,fi​(x)=0，则fi(x)≤0f

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化纠正拟凸证明时的错误∀x,y∈dom  f,θ∈[0,1],max⁡{f(x),f(y)}≥f(θx+(1−θ)y)\forall x,y\in dom\;f,\theta\in[0,1],\max\{f(x),f(y)\}\ge f(\theta x+(1-\theta)y)∀x,y∈domf,θ∈[0,1],max{f(x),f(y)}≥f(θx+(1−θ)y)证明（⇐\Leftarrow⇐）x,y∈dom  f,x≠y,f(y)≤f(x),∀

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、可微拟凸函数的一阶条件凸⇔dom  f\Leftrightarrow dom\;f⇔domf为凸，f(y)≥f(x)+∇fT(x)(y−x),∀x,y∈dom  ff(y)\ge f(x)+\nabla f^T(x)(y-x),\forall x,y\in dom\;ff(y)≥f(x)+∇fT(x)(y−x),∀x,y∈domf拟凸⇔dom  f\Leftrightarrow dom\;f⇔domf为凸，f(y)≤f(x)⇒∇fT(x)(y−x)

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化这节课开始之前，是一个课堂测试。Quiz #1:证明：几何平均函数f(x)=(x1⋅…⋅xn)1n,x∈Rf(x)=(x_1\cdot…\cdot x_n)^{\frac1n},x\in\Rf(x)=(x1​⋅…⋅xn​)n1​,x∈R，在dom  f=R++n∩{∣∣R∣∣2≤1}dom\;f=\R_{++}^n\cap\{||\R||_2\le1\}domf=R++n​∩{∣∣R∣∣2​≤1}上为凹？一、拟凸函数（Quasi Convex F

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、凸集与凸函数的关系α−sublevel  set\alpha - sublevel\;setα−sublevelset若f:Rn→Rf:\R^n\rightarrow\Rf:Rn→R，定义其α−sublevel  set\alpha - sublevel\;setα−sublevelset为Cα={x∈dom  f∣f(x)≤α}C_\alpha=\{x\in dom\;f|f(x)\le\alpha\}Cα​={x∈domf∣f(x)≤α}凸函

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化例：h~\tilde hh~的单调性g(x)=x2      dom  g=R      凸h(z)=0        dom  h=[1,2]    凸    不增、不降f=h(g(x))={0        x∈[−2,−1]∪[1,2]不存在g(x)=x^2\;\;\;dom\;g=\R\;\;\;凸\\h(z)=0\;\;\;\;dom\;h=[1,2]\;\;凸\;\;不增、不降\\f=h(g(x))=\left\{ \begin{array

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、函数的透视透视函数：P:Rn+1→Rn    dom  P∈Rn∗R++    P(z,t)=ztP:\R^{n+1}\rightarrow\R^n\;\;dom\;P\in\R^n*\R_{++}\;\;P(z,t)=\frac ztP:Rn+1→RndomP∈Rn∗R++​P(z,t)=tz​函数的透视：f:Rn→R    g:Rn∗R++,g(x,t)=tf(xt),dom  g={(x,t)∣t>0,xt∈dom  f}f:\R^n\

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、函数的组合h:Rk→R        g:Rn→Rkf:h⋅g          Rn→Rf(x)=h(g(x))          dom  f={x∈dom  g∣g(x)∈dom  f}h:\R^k\rightarrow\R\;\;\;\;g:\R^n\rightarrow\R^k\\f:h\cdot g\;\;\;\;\;\R^n\rightarrow\R\\f(x)=h(g(x))\;\;\;\;\;dom\;f=\{x\in dom\;

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、保持函数凸性非负加权和：f1,⋯ ,fnf_1,\cdots,f_nf1​,⋯,fn​为凸，则f=∑i=1mwifif=\sum_{i=1}^mw_if_if=∑i=1m​wi​fi​为凸，若wi≥0,∀iw_i\ge0,\forall iwi​≥0,∀i1.定义域是凸集 2.不等式若f(x,y)f(x,y)f(x,y)，对任意y∈A,f(x,y)y\in A,f(x,y)y∈A,f(x,y)均为凸(x,y)        jointly  co

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、log-sum-exp（解析逼近）f(x)=log⁡(ex1+⋯+exn)        x∈Rnf(x)=\log(e^{x_1}+\cdots+e^{x_n})\;\;\;\;x\in\R^nf(x)=log(ex1​+⋯+exn​)x∈Rnmax⁡{x1,⋯ ,xn}≤f(x)≤max⁡{x1+⋯+xn}+log⁡n\max\{x_1,\cdots,x_n\}\le f(x)\le\max\{x_1+\cdots+x_n\}+\log nma

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化一、二次函数f:Rn→R            domf=Rnf:\R^n\rightarrow\R\;\;\;\;\;\; dom f=\R^nf:Rn→Rdomf=Rnf(x)=12XTPX+δTX+r,      P∈Sn,δ∈Rn,r∈Rf(x)=\frac12X^TPX+\delta^TX+r,\;\;\;P\in S^n,\delta\in\R^n,r\in\Rf(x)=21​XTPX+δTX+r,P∈Sn,δ∈Rn,r∈R∇2f(x)