AI理论随笔-最优化（1）

线性规则（优化）是一类最优化问题。其中，目标函数是未知数的线性函数。约束条件是线性等式和线性不等式构成。
标准形式为：
$$\begin{gathered} min(max)c^{T}x \\ s.t.Ax=b \\ x\ge 0 \end{gathered}$$
其中$x$为n维列向量，$c^T$为n维行向量，A为$m\times n$阶矩阵，$b$为n维列向量。$x\ge 0$表示$x$的每一分量非负。

将线性不等式转为等式：
$$\begin{gathered} min{c}^{T}x \\ s.t.a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n\le b_1 \\ . \\ . \\ . \\ x\ge 0 \end{gathered}$$
加上松驰变量$y_1、y_2、...、y_m$
$$\begin{gathered} min{c}^{T}x \\ s.t.a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n+y_1=b_1 \\ . \\ . \\ . \\ x\ge 0 \end{gathered}$$

$$\begin{gathered} min{c}^{T}x \\ s.t.a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n\ge b_1 \\ . \\ . \\ . \\ x\ge 0 \end{gathered}$$
也可减上剩余变量$y_1、y_2、...、y_m$
$$\begin{gathered} min{c}^{T}x \\ s.t.a_{11}{x}_1+a_{12}{x}_2+...+a_{1n}{x}_n-y_1=b_1 \\ . \\ . \\ . \\ x\ge 0 \end{gathered}$$
如果有变量满足非负性，则称为自由变量
假设$x_1$为自由变量，则可设
$$\begin{gathered} x_1=u_1-v_1 \\ {u}_1\ge 0 \\ {v}_1\ge 0 \end{gathered}$$
也可通过用约束等式消掉$x_1$
$$\begin{gathered} min{x}_1+2x_2+8x_3 \\ s.t.x_1+12x_2+x_3=10 \\ {x}_1+x_2+x_3=8 \end{gathered}$$
将$x_1$消去
$$x_1=10-12x_2+x_3$$
自由变量没有了，成为标准线性优化问题
$$\begin{gathered} min{x}_1+2x_2+8x_3 \\ s.t.10-12x_2+x_3+12x_2+x_3=10 \\ 10-12x_2+x_3+x_2+x_3=8 \end{gathered}$$