漫步最优化二十四——二分搜索

$\textbf{你喜欢有小情绪，}$
$\textbf{像夜晚的月亮，}$
$\textbf{但各有各的精彩。}$
$\textbf{你情感丰富，}$
$\textbf{时常给我惊喜，}$
$\textbf{我像探秘一样，}$
$\textbf{对你的一切都充满好奇。}$
$\textbf{想系好安全带，}$
$\textbf{带你去世界各个地方，}$
$\textbf{都留下我们的小脚印与美好的回忆。}$
$\qquad\qquad\textbf{——畅宝宝的傻逼哥哥}$

考虑一个单峰函数，在区间$[x_L,x_U]$内有最小值，这个区间称为不确定范围，通过不断缩小这个不确定范围可以得出$f(x)$的最小值$x^*$。在搜索方法中，使用$f(x)$在合适点处的值就能确定出来。

如果$f(x)$在点$x_a$处的值是已知的，其中$x_L<x_a<x_U$，那么点$x^*$可能在$x_L$与$x_a$之间，或者$x_a$与$x_U$之间，如图1所示，因此获得信息不足以进一步缩小不确定范围。然而，如果我们知道$f(x)$在两个点$x_a,x_b$处的值，那就可以缩小了，这时候会有三种情况：

• $f(x_a)<f(x_b)$
• $f(x_a)>f(x_b)$
• $f(x_a)=f(x_b)$

对于第一种情况，$x^*$的范围可能是$x_L<x^*<x_a$或者$x_a<x^*<x_b$，即$x_L<x^*<x_b$，如图1所示。$x_b<x^*<x_U$的情况被排除了，否则的话$f(x)$会有两个极小值：一个在$x_b$的左边，一个在$x_b$的右边。同样的，对于第二种情况，我们肯定有$x_a<x^*<x_U$，如图2所示。对于第三种情况，我们有$x_a<x^*<x_b$，即不等式$x_L<x^*<x_b$与$x_a<x^*<x_U$都满足，如图3所示。

图1



图2

一种缩小不确定范围的基本策略是二分搜索。对于这个方法，首先计算$f(x)$在两点$x_a=x_1-\varepsilon/2$与$x_b=x_1+\varepsilon/2$的值，其中$\varepsilon$是很小的正数，然后根据$f(x_a)<f(x_b)$还是$f(x_a)>f(x_b)$，判断范围是$x_L$到$x_1+\varepsilon/2$还是$x_1-\varepsilon/2$到$x_U$，如果$f(x_a)=f(x_b)$，那么两者都可以。假设$x_1-x_L=x_U-x_1$，即$x_1=(x_L+x_U)/2$，那么不确定范围立刻减半，不断重复这个过程直到满足要求为止。例如，如果二分查找应用到图4所示的函数上，那么不确定范围在四次迭代后从$0<x^*<1$减小到$9/16+\varepsilon/2<x^*<5/8-\varepsilon/2$。


图3



图4