读书笔记|面先复杂优化问题求解的智能优化方法

前言

个人觉得是一本很优秀的书。至少对于我来说，把之前很多碎的知识揉在了一起，让我有了一层更深入的理解。

看完第一章，能对智能优化问题与算法有整体性的理解与认知；第三章梳理了架构。所以我对本书中个人觉得收益较大的内容/句子做了梳理，供日后回忆与快速了解的参考。

注：内容收录不全，全面了解建议自己看书与实际动手理解。

本人作图整理，若转载请标明地址。请勿商用。

第一章

 第二章

第三章-摘录

⭐无论什么智能优化方法，本质为解空间的采样方法。

⭐如果把搜索优化算法产生的解视为采样点，那么搜索优化算法可以视为一种迭代生成新的采样点的过程，其中描述新采样点生成方法的迭代算子或迭代函数就是最能反映算法本质的要素。用G表示迭代算子或迭代函数，那么G的性质就决定了算法的性质。

对于G的分析而言，更重要的因素是它的实现所需利用的信息。可利用的信息主要分为两类：一类是采样过程中产生的解的信息；另一类是问题特定信息。

⭐搜索与开发是搜索优化过程中的两种基本策略，二者的权衡是高级算法设计策略的出发点（参数调节策略、算子、算法混合等）

探索（Exploration）：探索是指在搜索优化过程中从整个解空间范围内获取目标函数的信息，以便定位全局最优解所在的局部区域。其本质是广度优先(Breadth-first)的搜索策略。
开发（Exploitation）：开发是指在搜索优化过程中对解空间中有希望包含最优解的局部区域进行搜索，以期找到局部最优解甚至全局最优解的搜索策略。其本质是深度优先（Depth-first）的搜索策略。

大多数智能优化算法采用从探索逐渐向开发转变的“探索-开发”权衡方式算法的探索能力随着迭代的进行会逐渐减弱，如果算法尚未接近真正的最优解时已经丧失了探索能力，那么算法将陷入局部最优甚至更糟，无法实现全局优化。为了更好地调节算法的“探索-开发”权衡，可在算法设计中引入额外的机制来增强算法的探索能力，例如排斥与反收敛、重启动等，这些机制能够在算法陷入局部最优或停滞等情况下赋予算法新的空间探索能力

⭐无免费午餐定理（No Free LunchTheorem）指出，没有优化算法能够在优化任意间题时都保持最优。

最优压缩定理表明，问题优化难度支配着探索-开发权衡以及算法的极限性能。如果问题对于算法过于复杂，倾向于探索；反之，开发。

⭐对于没有任何先验知识的黑箱优化问题而言，由于问题的形式，模态等信息完全术知，降低间题难度是不可实现的，而且很难在执行优化之前确定最佳的方案来决定采用何种策略实现解空间的全局探索和局部开发的乎衡，故搜素的盲目性是不可避免的。

多数实际问题的求解是有时间限制的；现实中的大多数优化问题都是灰箱问题，这些问题具有较为明确的结构和一些非常重要的领域知识，

根据最优压缩定理，利用问题的特殊性来构造一个具有针对性的算法是具有重要意义的，这有可能显著降低问题的优化难度。在执行优化之前，通过某种方式利用问题的结构特点或（和）领域知识来压缩搜索空间可以显著降低问题的优化难度，甚至把一个困难的问题转化为一个相对简单的问题

优化难度的合理刻画

如何在搜索过程中根据算法的在线性能和搜索反馈实现探索与开发的动态调节是算法设计中的一个重要问题。