49、函数优化：从线性到非线性的全面解析

函数优化：从线性到非线性的全面解析

在数据处理和模型构建中，优化问题无处不在。无论是寻找函数的最小值，还是在满足一定约束条件下求解最优解，都是实际应用中经常遇到的问题。本文将详细介绍多种优化方法，包括混合整数线性规划（MILP）、二次规划（QP）、一般非线性优化以及手动与自动拉格朗日乘数优化等，并通过具体的代码示例进行演示。

1. 混合整数线性规划（MILP）

MILP 是一种特殊的线性规划问题，其中部分变量被限制为整数或二进制值。下面通过两个具体的例子来详细说明。

示例 1：变量类型不同的 MILP

在这个例子中，$x_1$ 为无约束实数，$x_2$ 为二进制变量，$x_3$ 为整数。以下是实现该问题的 R 代码：

lps.model <- make.lp(0, 3)
add.constraint(lps.model, c(6, 2, 4), "<=", 150)
add.constraint(lps.model, c(1, 1, 6), ">=", 0)
add.constraint(lps.model, c(4, 5, 4), "=", 40)
set.objfn(lps.model, c(-3, -4, -3))
set.type(lps.model, 2, "binary")
set.type(lps.model, 3, "integer")
get.type(lps.model) 
set.bounds(lps.model, lower=-5, upper=5, columns=c(1))
dimnames(lps.model) <- list(c(