数学建模理论自制笔记3：最优化问题之线性规划

本文链接：https://blog.youkuaiyun.com/qq_42914565/article/details/125015215

1、运筹学基础概念：

运筹学的性质：应用科学——应用现有的科学技术知识和数学方法，解决实际中提出的专门问题，为决策者选择最优决策提供定量依据；
运筹学的特点：定量化分析；多学科交叉；最优决策；
运筹学的研究目的：了解和发现这种运用及筹划活动的基本规律，以便发挥有限资源的最大效益，来达到总体、全局最优的目标，而寻找使目标达到最优的方法称为最优化方法；
运筹学模型的一般形式：；
运筹学/最优化模型的分类：
- 根据决策变量的取值类型分：离散优化/整数规划模型、连续优化/任意优化模型；
- 根据模型的类型及处理方法分：数学规划、组合优化、图论与网络流、动态规划等；
运筹学相关概念：
- 数学规划：在一些等式或不等式的约束条件下，求一个目标函数的极大（或极小）的优化模型：其中 $x$ 为向量（即 $x=\left ( x_1,x_2,\cdots ,x_n \right )^T$ ）；其中满足所有约束条件的点 $x$ 称为可行点/可行解，所有可行点组成的集合称为可行域 $S$ ；若 $x^*\in S$ ，且使 $f(x^*)$ 在 $S$ 上达到最大（或最小），则称 $x^*$ 为最优点/最优解，称 $f(x^*)$ 为最优值；
  - 单目标规划：对应数学规划里目标函数只有一个；否则为多目标规划；
  - 线性规划：对应数学规划里目标函数和约束条件中的函数均为线性函数；否则为非线性规划；
  - 整数规划：对应数学规划里变量 $x$ 中的数值限取整数；其中若在线性模型中变量限制为整数，则称为整数线性规划；若仅限制部分数值取整数，则称为混合整数规划；
  - 0-1规划：对应整数规划里变量 $x$ 中的数值仅限取0或1；
- 组合优化：设存在有限集合 $E=\left \{a_1,a_2,\cdots ,a_n \right \}$ ，以及定义在 $E$ 的某些子集作成的集合上的实值函数 $f$ 。要求找出 $E$ 的一个子集，既满足某些要求，又使相应的函数值 $f(e)$ 达到极大（或极小）的最优化问题；
- 图论：研究图（指由一组点，与点之间的连线/边所组成的总体）的理论；
- 网络：各条边上赋有权数的图；
- 网络流：图论中应用广泛的一个分支，主要包含树、路、流的问题；
- 动态规划：把一个多变量优化问题分解为若干阶段，每个阶段组成一个单变量子问题，逐个解决，从而求出多变量问题最优解的方法；

2、运筹学解决问题的步骤：

提出问题：目标、约束、决策变量、参数；
建立模型：变量、参数、目标之间的关系表示；
模型求解：数学方法及其他方法；
解的检验：制定检验准则、讨论与现实的一致性；
灵敏性分析：参数扰动对解的影响情况；
解的实施：回到实践中；
评估：考察问题是否得到完满解决；

3、线性规划的表示形式：

标准形： $\left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j=b_i & i=1,2,\cdots ,m \\ x_j\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right.$ ；其中 $\textup{s.t.}$ 后面表示的是限制条件；
不同情况下的一般形式化为标准形：
- $\left\{\begin{matrix} \max z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j=b_i & i=1,2,\cdots ,m \\ x_j\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right. \overset{f=-z}{\rightarrow} \left\{\begin{matrix} \min f=-\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j=b_i & i=1,2,\cdots ,m \\ x_j\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right.$ ；
- $\left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j\leqslant b_i & i=1,2,\cdots ,m \\ x_j\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right. \overset{x_i'}{\rightarrow} \left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j+x_i'=b_i & i=1,2,\cdots ,m \\ x_j\geqslant 0,x_i'\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right.$ ；其中 $x_i'$ 称作松弛变量；
- $\left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j\geqslant b_i & i=1,2,\cdots ,m \\ x_j\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right. \overset{x_i''}{\rightarrow} \left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j-x_i''=b_i & i=1,2,\cdots ,m \\ x_j\geqslant 0,x_i''\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right.$ ；其中 $x_i''$ 称作剩余变量；
- $\left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j=b_i & i=1,2,\cdots ,m \\ x_j\geqslant h_j\left ( h_j\neq 0 \right ) & j=1,2,\cdots ,n \end{matrix}\right. \overset{y_j}{\rightarrow} \left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_j(y_j+h_j)\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}(y_j+h_j)=b_i & i=1,2,\cdots ,m \\ y_j\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right.$ ；
- $\left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_jx_j\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}x_j=b_i & i=1,2,\cdots ,m \\ x_j\in \mathbb{R} & j=1,2,\cdots ,n \end{matrix}\right. \overset{y_j',y_j''}{\rightarrow} \left\{\begin{matrix} \min z=\sum_{j=1}^{n}c_j(y_j'-y_j'')\\ \textup{s.t.}\sum_{j=1}^{n}a_{ij}(y_j'-y_j'')=b_i & i=1,2,\cdots ,m \\ y_j'\geqslant 0,y_j''\geqslant 0 & j=1,2,\cdots ,n \end{matrix}\right.$ ；
- 举例： $\left\{\begin{matrix} \max z=x_1+x_2\\ \textup{s.t. } 2x_1+3x_2\leqslant 6\\ x_1+7x_2\geqslant 4\\ 2x_1-x_2=3\\ x_1\geqslant 0 \end{matrix}\right. \overset{f=-z}{\rightarrow} \left\{\begin{matrix} \max f=-x_1-x_2\\ \textup{s.t. } 2x_1+3x_2\leqslant 6\\ x_1+7x_2\geqslant 4\\ 2x_1-x_2=3\\ x_1\geqslant 0 \end{matrix}\right. \overset{x_3}{\rightarrow} \left\{\begin{matrix} \max f=-x_1-x_2\\ \textup{s.t. } 2x_1+3x_2+x_3=6\\ x_1+7x_2\geqslant 4\\ 2x_1-x_2=3\\ x_1\geqslant 0,x_3\geqslant 0 \end{matrix}\right. \overset{x_4}{\rightarrow} \left\{\begin{matrix} \max f=-x_1-x_2\\ \textup{s.t. } 2x_1+3x_2+x_3=6\\ x_1+7x_2-x_4=4\\ 2x_1-x_2=3\\ x_1\geqslant 0,x_3\geqslant 0,x_4\geqslant 0 \end{matrix}\right. \overset{x_5,x_6}{\rightarrow} \left\{\begin{matrix} \max f=-x_1-(x_5-x_6)\\ \textup{s.t. } 2x_1+3(x_5-x_6)+x_3=6\\ x_1+7(x_5-x_6)-x_4=4\\ 2x_1-(x_5-x_6)=3\\ x_1\geqslant 0,x_3\geqslant 0,x_4\geqslant 0,x_5\geqslant 0,x_6\geqslant 0 \end{matrix}\right.$ ；
标准形的矩阵形式： $\left\{\begin{matrix} \min z=C^Tx\\ \textup{s.t. }Ax=B\\ x\geqslant 0 \end{matrix}\right.$ ；其中 $C=(c_1,c_2,\cdots ,c_n)^T,x=(x_1,x_2,\cdots ,x_n)^T,A=(a_{ij})_{m\times n},B=(b_1,b_2,\cdots ,b_m)^T$ ；

4、线性规划的基本概念：

凸集：令 $E\subseteq \mathbb{R}^n$ 为线性空间，若 $x_1,x_2\in S\subseteq E$ ，有 $\forall \lambda \in \left [ 0,1 \right ],(1-\lambda )x_1+\lambda x_2\in S$ ；即 $x_1,x_2$ 之间的线段均在 $S$ 内；这里规定单点集 $\left \{ x \right \}$ 为凸集，空集 $\varnothing$ 为凸集；
线性规划标准形矩阵形式的约束条件的相关概念：
- 基与基向量：假设系数矩阵 $A_{m\times n}$ 的秩为 $r(A)=m$ ，设 $D_{m\times m}$ 为 $A$ 的任意 $m$ 阶非奇异子矩阵（即 $\left | D \right |\neq 0$ ），则 $D$ 为线性规划问题的一个基/基矩阵/基本矩阵；基 $D$ 由 $A$ 的前 $m$ 个列向量构成，记为 $D=(P_1,P_2,\cdots ,P_m)$ ，即，这里称 $P_j(j=1,2,\cdots ,m)$ 为基向量；
- 基变量与非基变量：根据上述概念我们可以改写：；与基向量 $P_j(j=1,2,\cdots ,m)$ 对应的变量 $x_j(j=1,2,\cdots ,m)$ 为基变量，剩余的变量为非基变量/自由变量；其中基矩阵不同，则基向量不同，对应的基变量也不同；
- 基本解与基本可行解：令非基变量全为0，可得上述方程组的唯一解 $x=(x_1,x_2,\cdots ,x_m,0,\cdots ,0)^T$ ，称此解为基本解/基解；而所有分量都非负的基本解为基本可行解；对应于基本可行解的基称为基本可行基；其中基本解中非零分量的个数 $\leqslant m$ （即 $A$ 的秩）；
- 基本解与基本可行解之间的韦恩（Venn）图关系：；
- 例如，其标准形的矩阵形式里满足：；显然，的秩为2，四个列向量中任意两个均性无关，因此共有6个基矩阵，分别为：；
  - 对于 $D_1$ ，求其对应的基本解： $Ax=B\Leftrightarrow \left\{\begin{matrix} -3x_1-4x_2=-12+x_3\\ -x_1+2x_2=-2+x_4 \end{matrix}\right.$ ，令非基变量 $x_3=x_4=0$ ，解得： $x_1=\frac{16}{5},x_2=\frac{3}{5},x_3=0,x_4=0$ ，并将其记作点 $Q_1\left ( \frac{16}{5},\frac{3}{5},0,0 \right )^T$ ；
  - 对于 $D_2$ ，求其对应的基本解： $Ax=B\Leftrightarrow \left\{\begin{matrix} -3x_1-x_3=-12+4x_2\\ -x_1=-2-2x_2+x_4 \end{matrix}\right.$ ，令非基变量 $x_2=x_4=0$ ，解得： $x_1=2,x_2=0,x_3=6,x_4=0$ ，并将其记作点 $Q_2\left ( 2,0,6,0 \right )^T$ ；
  - 同理可得对应的 $Q_3(4,0,0,-2)^T,Q_4(0,-1,16,0)^T,Q_5(0,3,0,8)^T,Q_6(0,0,12,2)^T$ ，其中基本可行解里需要所有分量非负，那么 $Q_3,Q_4$ 排除掉，最终所有的基本可行解有 $Q_1\left ( \frac{16}{5},\frac{3}{5},0,0 \right )^T,Q_2\left ( 2,0,6,0 \right )^T,Q_5(0,3,0,8)^T,Q_6(0,0,12,2)^T$ ；而基本可行解则是对应于可行域的顶点，详情见下图：；

5、线性规划的基本定理：

若线性规划问题存在可行域，则其可行域是凸集；
线性规划问题的基本可行解对应于可行域的顶点；
若可行域有界，线性规划问题的目标函数一定可以在其可行域的顶点上达到最优；

6、单纯形法：

单纯形法的基本思路：有选择地取基本可行解，即从可行域的一个顶点出发，沿着可行域的边界移到另一个相邻的顶点，要求新顶点的目标函数值不比原目标函数值差；常用来求解较大规模的线性规划问题；
单纯形法的基本步骤：
- 对于给出的约束方程（比如 $\left\{\begin{matrix} \min z=x_1-3x_2+2x_3+4x_4\\ \textup{s.t. }2x_1-4x_3+x_4=6\\ -x_1+x_2+3x_3=5\\ x_1,x_2,x_3,x_4\geqslant 0 \end{matrix}\right.$ ），我们要将其写成表格的形式：（即去掉 $x_i$ 后呈现的形式）；
- 观察表格里是否满足以下特点，当满足前三项而不满足第4项时则可以使用单纯形法：【注：若4个条件全部满足，则从表格中立即可以得到最优解和最优值，其中最优解是指单位子块中1所对应的变量取相应右列的值，不在单位子块位置中的变量取值0，最优值则是指右下端元素的相反数】
  - 左上角（这里左上角指的是左上块的元素，右下角等概念同）具有单位子块/单位矩阵；
  - 右上角元素非负；
  - 左下角底行相应于单位子块位置的元素为0；
  - 左下角底行其它元素非负；
- 很明显，该表格里第1、2项条件满足了，但第3、4项条件并不满足，这里我们可以使用初等行变换使得第3项条件成立：即让 $(3)-4\times (1)+3\times (2)$ ，可以得到：，这样第1、2、3项条件均满足了；
- 然后我们进行单纯形法的操作：首先选择进基变量（底行的第一个负元素，这里是指-10，则该列对应的 $x_1$ 为进基变量），然后我们选择离基变量（从进基变量这一列选择一个正元素，满足这个正元素对应最右边的数除以这个正元素的值最小，这里只有一个正元素2，有 $6\div 2=3$ ，由于没有其他正元素故直接取正元素为2；然后表格左上角里2对应的行里可以找到单位矩阵中的1在第4列里，则离基变量为 $x_4$ ）；【注：这里进基变量和离基变量不必刻意记，只是需要了解这个过程】
- 接着进行旋转运算，将这个正元素2变为1，即 $(1)\times \frac{1}{2}$ ，；然后再将红圈这一列通过初等行变换变为0：；
- 以上的过程称为一次迭代操作，如果发现左下角底行仍然有负元素，则从头进行第二次迭代操作；如果没有负元素了，算法终止，得到最优解 $(3,8,0,0)$ 和最优值 $-21$ ；
单纯形法求解举例：
- 首先化为标准形后列出表格，发现满足4点中的前3点（有单位矩阵、右上角元素非负、单位子块对应底行元素为0），但第4点（底行元素非负）不满足，故可使用单纯形法；
- 找到底行的-2，对应列里 $\frac{10}{1}> \frac{15}{3}$ ，故正元素选择3，该正元素3对应行 $(3)\times \frac{1}{3}$ 后，再利用初等行变换将其他行的第一个元素变为0，即：；
- 这时发现底行元素仍有负元素，则需要进行第2次迭代操作：找到底行的 $-\frac{7}{3}$ ，对应列里 $\frac{5}{\frac{1}{3}}> \frac{7}{\frac{4}{3}}> \frac{5}{\frac{5}{3}}$ ，故正元素选择 $\frac{5}{3}$ ，该正元素对应行 $(2)\times \frac{3}{5}$ 后，再利用初等行变换将其他行的第一个元素变为0，即：；
- 此时底行元素非负，最优解为 $\left ( 4,3,3,0,0 \right )$ ，去掉另外设的松弛变量 $x_3,x_4,x_5$ 后最优解为 $\left ( 4,3 \right )$ ，最优值为-17；

7、大M法：

大M法的基本思路：用可靠的代数方法求得实施单纯形方法所必需的初始基本可行解；
大M法的基本步骤：
- 对于给出的方程，先写出其表格形式；
- 可以发现左上角单位子块不能明显得到，且右上角元素存在负数；这里首先通过初等行变换保证右上角元素非负，通过 $(2)\times -1$ 即可；然后在左上角人工添加单位子块，单位子块下面的元素为 $M$ ，即：；
- 由于 $M$ 足够大，所以只要原问题有最优解，新问题就不会因 $x_4,x_5$ 取正值而使 $z$ 达到最小值，最优解一定在 $x_4=x_5=0$ （ $x_4,x_5$ 为非基变量）的情形下取得；这里对 $x_4,x_5$ 进行离基操作，即通过初等行变换将下面的 $M$ 变成0，即：；
- 然后发现其满足单纯形法的条件（前3点满足但第4点不满足），故进行单纯形法操作：这里直接简单用箭头表示过程：；
- 那么最优解为 $\left ( 3,0,1 \right )$ ，最优值为7；

8、对偶单纯形法：

对偶单纯形法的使用条件：满足第1、3、4点（有单位子块、单位子块下面元素为0、左下角底行元素非负）但不满足第2点（右上角元素非负）；
对偶单纯形法的基本步骤：
- 对于给出的方程，先化为标准形，然后我们需要让方程满足第1、3、4点，这里用表格+箭头的形式简单阐述：；
- 发现方程不满足第2点（即右上角有负元素），故从右上角里选择第一个负元素（这里是指-4），之后的思路和单纯形法相类似：在该负元素这一行里的左上角里选择负元素（从负元素这一行里选择一个负元素，满足这个负元素对应最下边的数除以这个负元素绝对值的值最小，由于 $\frac{1}{\left | -2 \right |}< \frac{1}{\left | -1 \right |}$ ，则这里选择-2）；
- 接下来我们对-2这一行进行初等行变换，使-2变为1，即 $\left ( 1 \right )\times -\frac{1}{2}$ ；然后再将变为1这个数的这一列通过初等行变换变为0，得到：；
- 此时可发现第2点仍然不满足（右上角仍然有负元素），故需要进行第2次迭代，这里找到关键的负元素后过程省略，最终有：；
- 发现满足第1-4点后，可以得出最优解为 $\left ( \frac{21}{13},\frac{10}{13},0,0 \right )$ ，去掉另外设的松弛变量 $x_3,x_4$ 后最优解为 $\left ( \frac{21}{13},\frac{10}{13}\right )$ ，最优值为 $\frac{31}{13}$ ；

9、广义单纯形法：

广义单纯形法的基本思路：若表格满足第1、3点（有单位子块、单位子块下面元素为0）但不满足2、4点（右上角和左下角均有负元素），则可以灵活交替使用单纯形法和对偶单纯形法求最优解；
广义单纯形法的基本步骤：
- 对于给出的方程，变为标准形后写出表格并通过初等行变换给出单位子块并让单位子块下面的元素为0，即；
- 这里先使用单纯形法时不使用-3而是选择-6（因为这样可以直接让左下角底行元素变为非负），即，使用完单纯形法后得到：；
- 查看结果发现左下角底行元素为非负，则接下来可以着手解决右上角有负元素的问题了，则需要用对偶单纯形法，使用完对偶单纯形法后得到：；
- 此时的结果已经满足4点了，得到最优解为 $\left ( \frac{5}{4},\frac{21}{4},\frac{23}{4},0,0 \right )$ ，去掉另外设的松弛变量 $x_3,x_4,x_5$ 后最优解为 $\left ( \frac{5}{4},\frac{21}{4} \right )$ ，最优值为 $-\frac{141}{4}$ 。