参考:最优化理论与算法(第2版)(陈宝林)
书中首先介绍了将一般线性规划问题转化为Karmarkar标准问题求解,为简化计算,Karmarkar等人又给出了内点法以求解线性规划问题,此部分在书中为*号引申内容,介绍较为简略,此处也是对书中内容做简要的补充。
考虑如下线性规划问题
maxcTx s. t. Ax⩽b\begin{array}{ll} \max & \boldsymbol{c}^{\mathrm{T}} \boldsymbol{x} \\ \text { s. t. } & \boldsymbol{A} \boldsymbol{x} \leqslant \boldsymbol{b} \end{array}max s. t. cTxAx⩽b
其中:c,x∈Rn\boldsymbol{c}, x \in \mathbb{R}^nc,x∈Rn,A 是 m×n矩阵, m⩾n. \boldsymbol{A} \text { 是 } m \times n \text {矩阵, } m \geqslant n \text {. }A 是 m×n矩阵, m⩾n.
算法的基本思想,是从内点 x(0)\boldsymbol{x}^{(0)}x(0) 出发,沿可行方向求出使目标函数值上升的后继点,再从得到的内点出发, 沿另一个可行方向求使目标函数值上升的内点。
将问题进行松弛:
maxcTx s. t. Ax+v=b,v⩾0.\begin{array}{ll} \max & \boldsymbol{c}^{\mathrm{T}} \boldsymbol{x} \\ \text { s. t. } & \boldsymbol{A x}+\boldsymbol{v}=\boldsymbol{b}, \\ & \boldsymbol{v} \geqslant \mathbf{0} . \end{array}max s. t. cTxAx+v=b,v⩾0.
对于第k轮迭代,即有
v(k)=b−Ax(k)\boldsymbol{v}^{(k)}=\boldsymbol{b}-\boldsymbol{A} \boldsymbol{x}^{(k)}v(k)=b−Ax(k)
- 随后进行Affine Scaling,这是因为:当 xk\boldsymbol{x}^kxk 是非常接近边界又不是最优解时, 步长将被迫选得非常小, 到最优解的收敛将非常慢。
- 故:若当前解 xk\boldsymbol{x}^kxk 不是很靠近 “中心”, 需要将坐标重新拉伸 (re-scale), (仿射) 变换到靠近 “中心”的位置。
- 如何定义一个可行域的中心:
若 xk=e\mathbf{x}^k=\mathbf{e}xk=e, 则
(1) xk\mathbf{x}^kxk 距离边界 1 个单位.
(2) 因此只要步长 αk<1\alpha^k<1αk<1, 则可确保 xk+1>0\boldsymbol{x}^{k+1}>\mathbf{0}xk+1>0.
故可以定义对角矩阵:Dk=diag(1v1(k),⋯ ,1vm(k)).\boldsymbol{D}_k=\operatorname{diag}\left(\frac{1}{v_1^{(k)}}, \cdots, \frac{1}{v_m^{(k)}}\right) .Dk=diag(v1(k)1,⋯,vm(k)1