半正定规划（SDP）及半正定松弛（SDR）

半正定规划（SDP）及半正定松弛（SDR）

  通常求解一个优化问题的方法不是唯一的，常见的优化问题LP，QP，QCQP，SOCP可以转化为半正定规划SDP问题。
半正定松弛（SDR）方法通过放宽非凸约束，将问题变为SDP，然后在从变形后的凸问题的最优解中找到原问题的近似解。

SDP

  半正定规划的不等式形式为：
$$\begin{array}{c}\begin{array}{rl}\min & {\mathbf{c}}^{\mathbf{T}}\mathbf{x}\\ \text{s.t.}& \mathbf{F}(\mathbf{x})⪯0\end{array}\end{array}$$
其中$\mathbf{c}\in {\mathbb{R}}^n,\mathbf{x}\in {\mathbb{R}}^n,\mathbf{F}(\mathbf{x})={\mathbf{F}}_0+x_1{\mathbf{F}}_1+...+x_n{\mathbf{F}}_n,{\mathbf{F}}_i\in {\mathbb{S}}^n$。${\mathbb{S}}^n$表示n阶实对称矩阵。
  半正定规划的标准形式为:
$$\begin{array}{c}\begin{array}{rl}\min & \text{Tr(}\mathbf{CX}\text{)}\\ \text{s.t.}& \mathbf{X}⪰0\\ & \text{Tr(}{\mathbf{A}}_i\mathbf{X}\text{)=}{\text{b}}_i,i=1,...,m\end{array}\end{array}$$
其中${\mathbf{A}}_i,\mathbf{C},\mathbf{X}\in {\mathbb{S}}^n,b_i\in {\mathbb{R}}^n$。

结合SDR构造SDP并求解

Boolean 二次规划

  考虑如下的Boolean二次规划(Boolean Quadratic Program,BQP):
max ⁡ x T C x s.t. x i ∈ { − 1 , + 1 } , i = 1 , . . . , n \begin{equation} \begin{align*} \max\quad &\mathbf{x}^T\mathbf{Cx} \\ \text{s.t.}\quad&x_i\in\{-1,+1\},i=1,...,n \\ \end{align*} \end{equation} maxs.t.​xTCxxi​∈{−1,+1},i=1,...,n​​​
其中$\mathbf{C}\in {\mathbb{S}}^n$。
  当且仅当$\mathbf{C}⪰0$时，二次目标函数为凸。但是可行集等价于由非仿射等式约束$x_i^2=1,i=1,..,n$形成的集合，因此即使$\mathbf{C}$是半正定矩阵，BQP仍然不是凸问题。用穷举法求解BQP问题的复杂度是$2^n$。
  下面介绍如何通过BQP的变形和松弛来获得一个多项式时间可解的凸问题，并且可以有效地得到高精度的近似解。

基于SDR的BQP近似

  由于${\mathbf{x}}^T\mathbf{Cx}=Tr({\mathbf{Cxx}}^T)$，故定义辅助变量$\mathbf{X}={\mathbf{xx}}^T$。
  则式(3)可以变换为
$$\begin{array}{c}\begin{array}{rl}\underset{\mathbf{x},\mathbf{X}}{\max }& \text{Tr(}\mathbf{CX}\text{)}\\ \text{s.t.}& \mathbf{X}={\mathbf{xx}}^T\\ & [\mathbf{X}{]}_{ii}=1,i=1,...,n\end{array}\end{array}$$
  对于任意的$\mathbf{C}$，目标函数是关于$\mathbf{X}$的线性函数（因此是凸的），原始问题中关于$x$的非凸约束转化为关于$\mathbf{X}$的凸约束（即对角线上所有元素为1）,但是等式约束$\mathbf{X}={\mathbf{xx}}^T$（即$\mathbf{X}$一定是秩为1的PSD矩阵）是非凸的。
  由于$\mathbf{X}={\mathbf{xx}}^T\iff \mathbf{X}⪰0，rank(\mathbf{X})=1$，因此将(4)中的非凸约束$\mathbf{X}={\mathbf{xx}}^T$放松为$\mathbf{X}⪰0$（即去掉秩为1的约束），可以将原问题转化为如下SDP问题：
$$\begin{array}{c}\begin{array}{rl}\underset{\mathbf{x},\mathbf{X}}{\max }& \text{Tr(}\mathbf{CX}\text{)}\\ \text{s.t.}& \mathbf{X}⪰0\\ & [\mathbf{X}{]}_{ii}=1,i=1,...,n\end{array}\end{array}$$
  这种松弛方法被称作半正定松弛（SemiDefinite Relaxation, SDR）
  一旦问题(5)得到解决，其最优解可以用于寻找原问题(3)的近似解。

1 $rank({\mathbf{X}}^{\ast })=1$时
  由于转化过程中抛弃了秩为1的约束，因此如果问题(5)的最优解${\mathbf{X}}^{\ast }$的秩为1，那么可以通过特征值分解${\mathbf{X}}^{\ast }={\mathbf{x}}^{\ast }{{\mathbf{x}}^{\ast }}^T$，从而直接得到(3)的最优解${\mathbf{x}}^{\ast }$。
2 $rank({\mathbf{X}}^{\ast })\ne 1$时
（1）秩-1近似
  通过简单地选取${\mathbf{X}}^{\ast }$的主特征值向量$\tilde{\mathbf{x}}$，对于任意$i$，再利用${\tilde{x}}_i=sgn({\tilde{x}}_i)$，将其量化为 x ~ ∈ { ± 1 } n \mathbf{\tilde{x}}\in\{\pm1\}^n x~∈{±1}n，所得解即为(3)的近似解。
（2）高斯随机化
  产生$L$个服从均值为$0$、协方差矩阵为${\mathbf{X}}^{\ast }$的高斯随机向量 { ξ l , l = 1 , . . . , L } \{\mathbf{\xi}^{l},l=1,...,L\} {ξl,l=1,...,L}，再将${\xi }^l$量化为集合 { ± 1 } n \{\pm1\}^n {±1}n中的一个向量，记作${\hat{\mathbf{x}}}^{(l)}$，量化的方法如下：$$[{\hat{\mathbf{x}}}^{(l)}{]}_i=sgn([{\hat{\xi }}^{(l)}{]}_i)，\forall i$$
最终得到${\hat{\mathbf{x}}}^{=}{\hat{\mathbf{x}}}^{(l^{\ast })}$，即为(3)的近似解，其中
$$l^{\ast }=\arg \underset{l=1,...,L}{\max }{{\hat{\mathbf{x}}}^{(l)}}^T\mathbf{C}{\hat{\mathbf{x}}}^{(l)}$$