【数学建模笔记 03】数学建模的非线性规划

03. 非线性规划

定义

如果目标函数或约束条件中包含非线性函数，就称这种规划问题为非线性规划问题。

非线性规划目前还没有适于各种问题的一般算法。

非线性规划模型描述如：
$$\min f(x),$$

$$s.t.\{\begin{array}{rl}& g_i(x)\le 0,i=1,2,\dots ,m,\\ & h_j(x)=0,j=1,2,\dots ,l,\end{array}$$

其中 $x=[x_1,x_2,\dots ,x_n{]}^T$，而 $f,g_i,h_j$ 都是实值函数。

一般非线性规划只能得到局部最优解，不能保证是全局最优解。

无约束非线性规划求解

设 $f(x)$ 具有连续的一阶偏导数，且 $x^{\ast }$​ 是无约束问题的局部极小点，则
$$\nabla f(x^{\ast })=0$$
其中 $\nabla f(x)$ 表示 $f(x)$ 的梯度。

设 $f(x)$ 具有对各个变量的二阶偏导数，称矩阵
$$\left(\begin{array}{cccc}\frac{{\partial }^{2}f}{\partial x_1^2}& \frac{{\partial }^{2}f}{\partial x_1\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_1\partial x_n}\\ \frac{{\partial }^{2}f}{\partial x_2\partial x_1}& \frac{{\partial }^{2}f}{\partial x_2^2}& \dots & \frac{{\partial }^{2}f}{\partial x_2\partial x_n}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f}{\partial x_n\partial x_1}& \frac{{\partial }^{2}f}{\partial x_n\partial x_2}& \dots & \frac{{\partial }^{2}f}{\partial x_n^2}\end{array}\right)$$
为函数的黑塞矩阵，记 ${\nabla }^{2}f(x)$。

因此，只要找到 $x^{\ast }$，满足 $\nabla f(x^{\ast })=0$，且 ${\nabla }^{2}f(x^{\ast })$ 为正定矩阵，则 $x^{\ast }$ 为无约束优化问题的局部最优解。

找到 $x^{\ast }$ 的具体方法有最速降线法、牛顿法等。

有约束非线性规划求解

有等式约束非线性规划的 Lagrange 乘数法

对于只有等式约束的非线性规划问题：
$$\min f(x),$$

$$s.t.\{\begin{array}{rl}& h_j(x)=0,j=1,2,\dots ,l,\\ & x\in R^n.\end{array}$$

设函数 $f,h_j(j=1,2,\dots ,l)$ 在可行点 $x^{\ast }$ 的某个邻域 $N(x^{\ast },ϵ)$​ 内可微，向量组 $\nabla h_j(x^{\ast })$ 线性无关，令
$$L(x,\lambda )=f(x)-{\lambda }^{T}H(x),$$
其中
$$\lambda =[{\lambda }_1,{\lambda }_2,\dots ,{\lambda }_l{]}^T$$

$$H(x)=[h_1(x),h_2(x),\dots ,h_l(x){]}^T$$

若 $x^{\ast }$ 是局部最优解，则有
$${\lambda }^{\ast }=[{\lambda }_1^{\ast },{\lambda }_2^{\ast },\dots ,{\lambda }_l^{\ast }{]}^T$$
使得 $\nabla L(x^{\ast },{\lambda }^{\ast })=0$，即
$$\nabla f(x^{\ast })-\sum _{j=1}^l{\lambda }_j^{\ast }\nabla h_j(x^{\ast })=0$$
从而将有约束条件转化为无约束条件。

有约束非线性规划的罚函数法

构造带参数的所谓增广目标函数，从而把有约束非线性规划问题转化为一系列无约束非线性规划问题。

增广目标函数通常由两部分组成：

• 原问题的目标函数；
• 约束条件构造出的惩罚项。

对于外点法，增广目标函数形式如下：
T ( x , M ) = f ( x ) + M ∑ i = 1 m [ max ⁡ { 0 , g i ( x ) } ] + M ∑ j = 1 l [ h j ( x ) ] 2 T(x,M)=f(x)+M\sum_{i=1}^m[\max\{0,g_i(x)\}]+M\sum_{j=1}^l[h_j(x)]^2 T(x,M)=f(x)+Mi=1∑m​[max{0,gi​(x)}]+Mj=1∑l​[hj​(x)]2
其中 M 是一个较大的正数。

从而转化为无约束问题：
$$\min T(x,M),x\in R^n$$
罚函数法的计算精度可能较差。

Python 代码

利用 scipy、cvxopt、cvxpy 包，可以实现非线性规划求解。

scipy 求解

对于问题：
$$\min \frac{2+x_1}{1+x_2}-3x_1+4x_3,$$

$$s.t.0.1\le x_i\le 0.9,i=1,2,3$$

使用 scipy 求解，代码如下：

# %%

import numpy as np
from scipy.optimize import minimize

# %%

def obj(x):
	x1,x2,x3 = x
	return (2+x1)/(1+x2)-3*x1+4*x3

bound = [(.1, .9) for _ in range(3)]
res = minimize(obj, np.ones(3), bounds=bound)

# %%

print('best obj =', res.fun)
print('success =', res.success)
print('best x =', res.x)

输出如下：

best obj = -0.7736842105263159
success = True
best x = [0.9 0.9 0.1]

cvxpy 求解

对于问题：
$$\min z=x_1^2+x_2^2+3x_3^2+4x_4^2+2x_5^2-8x_1-2x_2-3x_3-x_4-2x_5,$$

$$s.t.\{\begin{array}{rl}& 0\le x_i\le 99,i=1,2,\dots ,5\\ & x_i\in Z^{+},i=1,2,\dots ,5\\ & x_1+x_2+x_3+x_4+x_5\le 400,\\ & x_1+2x_2+2x_3+x_4+6x_5\le 800,\\ & 2x_1+x_2+6x_3\le 200,\\ & x_3+x_4+5x_5\le 200.\end{array}$$

代码如下：

# %%

import numpy as np
import cvxpy as cp

# %%

# 目标函数的平方项
c1 = np.array([1, 1, 3, 4, 2])

# 目标函数的一次项
c2 = np.array([-8, -2, -3, -1, -2])

# 约束项
a = np.array([[1, 1, 1, 1, 1],
              [1, 2, 2, 1, 6],
              [2, 1, 6, 0, 0],
              [0, 0, 1, 1, 5]])
b = np.array([400, 800, 200, 200])

# 决策变量
x = cp.Variable(5, integer=True)

# 目标函数
obj = cp.Minimize(c1 @ x**2 + c2 @ x)

# 约束
con = [0 <= x, x <= 99, a@x <= b]

# 问题模型
prob = cp.Problem(obj, con)
prob.solve(solver='CPLEX')

# %%

print('best z =', prob.value)
print('best x =', x.value)

输出如下：

best z = -17.0
best x = [4. 1. 0. 0. 0.]