最优化理论与算法学习笔记(2)——凸函数

本文详细探讨了凸集的定义与性质,包括超平面、半空间、凸锥和多面集等概念。接着,介绍了凸函数的定义,包括严格凸函数和凹函数,并阐述了凸函数在优化问题中的重要性,特别是凸规划在实际应用中的广泛使用。

虽然在教材中将凸集和凸函数列为预备知识的最后一节,但结合以往的研究来看,在应用中,凸函数还是至关重要的环节,所以我在这里单独列为一篇,也想借此机会再夯实一下基础。

1 凸集

定义1 设S为n维欧氏空间\mathbb{R}^n中一个集合,若对S中任意两点,联结它们的线段仍属于S;换言之,对S中任意两点x^{(1)}, x^{(2)}及每个实数\lambda \in [0,1]都有

\lambda x^{(1)}+(1-\lambda)x^{(2)} \in S,

则称S为凸集,其中,\lambda x^{(1)}+(1-\lambda)x^{(2)}称为x^{(1)}, x^{(2)}的凸组合。

经由书中例子说明,超平面、半空间为凸集。

定义2 设有集合C \subset \mathbb{R}^n,若对C中每一点x,当lambda取任何非负数时,都有\lambda x \in C,则称C为锥,又若C为凸集,则称C为凸锥。

定义3 有限个半空间的交{A|Ax<=b}称为多面集,其中A为mxn矩阵,b为m维向量。

定义4 设S为非空凸集,x \in S,若x不能表示成S中两个不同点的严格凸组合;换言之,若假设x = \lambda x^{(1)}+(1-\lambda)x^{(2)}, x^{(1)}, x^{(2)} \in S,必推得x=x^{(1)}=x^{(2)},则称x是凸集S的极点。

定义5 设S为\mathbb{R}^n中的闭凸集,d为非零向量,如果对S中的每一个x,都有射线

\{x+\lambda d|\lambda \geqslant 0\} \subset S,

则称向量d为S的方向。又设d^{(1)}, d^{(2)}是两个不同的方向。若S的方向d不能表示成该集合的两个不同方向的正的线性组合,则称d为S的极方向。

2 凸函数

定义6 设S为\mathbb{R}^n中的非空凸集,f是定义在S上的实函数,如果对任意的x^{(1)}, x^{(2)} \in S及每个数\lambda \in(0,1),都有

f(\lambda x^{(1)}+(1-\lambda)x^{(2)})\leqslant \lambda f( x^{(1)})+(1-\lambda)f(x^{(2)}),

则称f为S上的凸函数。

如果对任意不相同的x^{(1)}, x^{(2)} \in S,及每一个数\lambda \in(0,1),都有

f(\lambda x^{(1)}+(1-\lambda)x^{(2)})<\lambda f( x^{(1)})+(1-\lambda)f(x^{(2)}),

则称f为S上的严格凸函数。

如果-f为S上的凸函数,则称f为S上的凹函数。

3 凸规划

类似于求凸函数在凸集上的极小点的问题,称为凸规划。如果函数是非线性函数,满足值为0的点的集合不是凸集,则不属于凸规划问题。

而在我们的应用中广泛使用的方法中,大部分的优化都是凸规划问题,也就是凸优化。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值