拉格朗日次梯度法

心态与习惯

已于 2024-02-04 06:10:58 修改

阅读量9.8k

点赞数 3

CC 4.0 BY-SA版权

分类专栏：供应链管理数学优化文章标签：次梯度法拉格朗日

于 2014-11-13 09:57:31 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/robert_chen1988/article/details/41074295

数学优化同时被 2 个专栏收录

147 篇文章

订阅专栏

供应链管理

18 篇文章

订阅专栏

对于非线性约束问题：

$min\quad f(x)\\ s.t. \quad g(x)\leq 0$

若非线性约束 $g(x)$ 难于求导，则不能用K-T求解该问题，可考虑用拉格朗日次梯度法。

它的拉格朗日松弛模型为：

$\{\min\limits_x~~f(x)+\mu g(x)\}$

该拉格朗日模型的对偶模型为：

$\{\max\limits_{\mu}~~f(x)+\mu g(x)\}$
对于拉格朗日乘子 $\mu$ ，应用次梯度法的迭代公式为：

$\mu ^{k+1}=\max\{0,\mu^{k}+s^{k}g(x^{k})\}$

其中

$\ s^{k}=\lambda^{k}\frac{\widehat{f}-f(x^{k})}{\sum g^{2}(x^{k})}$

$\widehat{f}$ 为 $f(x)$ 的一个可行解，并且 $\lambda^k\leq 2$

( $\lambda$ 可以初始值为 2，然后每一步为原值的 1/2)

可以证明序列 $f(x^{k})$ 收敛于 $\widehat{f}$ 或收敛于 $f(x^k)\geq\widehat{f}$ 的一个点。

用次梯度法实际求解时，发现对于有些混合整数规划问题，其效果并不好(尤其是松弛一些可能会有不少松弛解的不等式约束条件)，对偶间隙过大，貌似次梯度法中的参数设置比较靠经验（有时候还要进一步结合分支定界来达到更好的结果）

参考资料：

Appendix D1.3, Fundamentals of supply chain theory. Snyder, Lawrence V., and Zuo-Jun Max Shen. John Wiley & Sons, second edition, 2019.
Grinold, Richard C. "Lagrangian subgradients." Management Science 17.3 (1970): 185-188.

评论 5

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

心态与习惯 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。