智能计算粗略笔记

一、智能计算有关
1.NFL定理
No Free Lunch 定理：即“无免费午餐”定理中所描述的万能算法不存在。
根据NFL定理，一个算法优化，仅仅是该算法对某一类问题具有良好的算法性能，对于其他问题，其性能必然下降，进一步说，如果算法对某一类问题具有良好的特性，这只说明该算法的搜索机理适合这类问题的结构，对于其他问题的结构则不适合。
2.智能优化算法
又称现代启发式算法，是一种全局优化性能，通用性强，且适合于并行处理的算法
3.适应度收敛曲线
（1）最佳适应度沿迭代次数的增高而升高（单调递增）
（2）平均适应度不一定单调递增
（3）多次试验后，可发现收敛点，下次再运行，可将进化次数减少
4.启发式算法
（1）爬山法
是一种简单的贪心搜索算法，利用反馈信息帮助生成解的决策。爬山法的主要缺点是会陷入局部最优解，而不一定能搜索到全局最优解。
（2）模拟退火
是一种贪心算法，但是他的搜索过程引入了随机因素，模拟退火算法以一定的概率来接受一个比当前解还要差的解，因此有可能跳出这个局部的最优解，达到全局的最优解。模拟退火算法是健壮的。
5.局部搜索算法
（1）局部搜索算法 从一个解出发，利用邻域函数持续地在当前解的邻域中搜索比它更好的解
搜索性能完全依赖于邻域函数和初始解。
（2）贪婪思想无疑使算法丧失全局优化能力。
6.禁忌思想
是一种全局逐步寻优算法
禁忌表 包括紧急对象和禁忌长度

二、蚁群算法（Ant Colony Optimization）
1.蚁群算法中成功用于解决旅行商问题（TSP问题）
还用于Job-shop调度，背包问题，二次指派问题
2.蚁群三个行为特征：觅食行为，任务分配，死蚁堆积阁
3.死蚁堆积阁，正反馈，蚁堆越大会吸引更多蚂蚁把更多尸体堆放在此处
4.蚂蚁留下外激素进行信息传递 正反馈
大量蚂蚁组成的蚁群集体行为表现出信息正反馈现象
某一路径上走过的蚂蚁越多，后来者选择该路径的概率越大

三、粒子群算法（Particle Swarm Optimization PSO）
1.最初是根据鸟群觅食行为得到的
2.基本思想：通过群体间个体间的协作和信息共享来寻找最优解
3.粒子群算法的标准公式
Vi=ωVi+C1rand（）（pbest-Xi）+C2rand（）（gbest-Xi）
Xi=Vi+Xi
Vi 粒子速度 C1，C2学习因子，通常C1=C2=2 Xi粒子当前位置
pbest每个粒子自己目前发现的最好位置
gbest群体中所有粒子发现的最好位置
ω是惯性权重因子，保持运动惯性，使其目前具有扩展搜索空间趋势，值越大，全局寻优能力强，局部寻优能力弱，
4.每次迭代，粒子通过pbest和gbest更新自己
每一维中，粒子都有最大限制速度Vmax
5.PSO算法中鸟随机搜索食物，知道有一块食物
策略：搜索目前离食物最近的鸟的周围区域
6.ω的取值，目前采用的多是线性递减权值策略

四、人工鱼群算法（Artificial Fish Swarm Algorithm AFSA）
1.鱼群的四种行为：觅食行为、聚群行为、追尾行为、随机行为
2.鱼群的追尾行为：当鱼发现食物时，其附近的鱼会尾随其后，快速游过来，进而导致更远处的鱼也尾随而来
3.聚群行为：进行集体觅食和躲避敌害
4.公告板记录最优人工鱼个体状态的地方，迭代以优更新，整个迭代结束，输出公告板的值就是最优值

五、基本遗传算法（Simple Genetic Algorithm）
1.二进制编码计算位数
-3.0<=x<=12.1 精度要求 δ=1/10000 求编码长度λ
公式为 δ=（Umax-Umin）/（2^λ-1）
所以 2^λ=((Umax-Umin)/δ)+1=(12.1-(-3))/(1/10000)+1=151001
（2^{17）<151001<(2}18) 向上取整λ=18
2.已知二进制代码求下一代选择概率
3.SGA遗传算法流程框图

4.汉明悬崖
（1）某些相邻整数的二进制代码之间有很大的汉明距离，使得遗传算法的交叉和变异都难以实现
（2）十进制变二进制不再相邻，基本位于2倍附近。
5.模式定理
遗传算法的实质可以看作对模式的一种运算。
在遗传算子选择、交叉、变异的作用下，适应度高于平均适应度，长度较短，低阶的模式在遗传算法的迭代过程中将按指数规律增长。
积木块 阶数低，长度短，适应度高，的模式称为积木块。
6.选择算子
（1）选择，复制算子的作用：从当前代群体中选择出一些比较优良的个体，并将其复制到下一代群体
（2）最常用最基本的选择算子:比例选择算子
（3）比例选择算子：个体被选中并遗传到下一代中的概率与该个体的适应度大小成正比
（4）执行比例选择的手段是轮盘选择
轮盘选择：基本思想 个体被选中的概率取决于个体的相对适应度
Pi=fi/∑fi（i=1，2，3.。。M） Pi个体被选中的概率 fi个体i的适应度 ∑fi群体的累加适应度
个体的适应度越高，被选中的概率越大，适应度小的个体也可能被选中，以便增加下一代的多样性
7.交叉算子
（1）作用：子代基因值不同于父代，交叉是遗传算法产生新个体的主要手段，正是有了交叉操作，群体的性态才多种多样
（2）最常用最基本的：单点交叉算子
（3）单点交叉 如果把交叉点选高位点，交叉后个体变化较大，交叉点选在低位点，交叉后个体变化较小，高位点时，有利于跳出局部解，达到全局解，低位点时，不利于跳出局部解
8.变异算子
（1）作用：产生新的个体，虽然发生变异的可能性较小，但也是产生新个体的一个不可忽视的原因，是交叉算子的有益补充，通过变异不断在交叉算子产生的新个体的基础上进行微调，增加种群的多样性，使遗传算法在交叉算子决定的全局搜索能力的基础上还具有一定的局部搜索能力。
（2）最简单最基本的操作：基本位变异算子
9.遗传算法（Geretic ALgorithm GA）
（1）遗传算法所借鉴的生物学基础是遗传和进化
（2）遗传算法在求解旅行商问题TSp 背包问题 装箱问题 图形划分问题取得成功应用
（3）使用方式：以命令行方式调用遗传算法函数ga
[x fval]=ga(@fitnessfun,nvars,options)
fitnessfun 适应度函数句柄 不能为负数
nvars 适应度函数的独立变量个数
Options 一个包含遗传算法选项函数的结构
Fval 适应度函数的最终值
X 最终到达的点
或 通过图形用户界面（GUI）使用遗传算法工具
10.编码方法
可以分为三大类：二进制编码方法，符号编码方法，浮点数编码方法
11.格雷码
（1）二进制变格雷码：从最右边一位起，依次与最左边一位异或，相同取0，相异取1，最左一位不变
（2）格雷码变二进制：左一不变，从左二位起，依次与左一位异或，相同为0，相异为1，作为该位的新值
12.最优保存策略——遗传算法的一个重要保证条件
我们希望适应度最好的个体尽量保留到下一代群体中，为达到这个目的，可以使用最优保存策略进化模型来进行优胜略汰操作，即当前群体中（适应度最高）的个体不参与交叉变异运算，而是用它替换掉交叉变异操作后产生的适应度最低的个体
13.算术交叉
（1）算术交叉的操作对象一般是指由浮点数编码所表示的个体
（2）Xa（t+1）=αXb（t）+（1-α）Xa（t） Xb（t+1）=αXa(t)+(1-α)Xb(t)
（3）α为一个参数，可以是一个常数，可以是一个变量
14.遗传算法的终止条件
（1）规定最大迭代次数T 通常200-500
（2）规定运行时间t
（3）规定最小偏差δ
（4）观察适应度变化趋势趋缓或停止
15.小生境技术
（1）共享函数 用来确定每个个体在群体中的共享度，是关于两个个体之间关系密切程度（基因型或表现型）
（2）一个个体的共享度等于该个体与群体中各个其他个体之间的共享函数值的总和
（3）适应度高，与别的个体适应度差距大，共享度低
16.早熟
（1）当还未达到全局最优解时，群体中不能再产生性能超过父代的后代群体中个体非常相似
（2）重要特征是群体中个体结构的多样性急剧减少，这导致遗传算法的交叉选择算子不能产生更有生命力的新个体

六、支持向量机（Support Vector Machine）
核心思想：把数据非线性映射到高维核空间，利用最大化边界思想在核空间构造具有低维最优分类超平面
1.线性可分（硬间隔）二分类
二维空间两类样本 找到一个超平面（最优分类面）将两类正确分开而且使两类数据点距离分类面最远，即分类间隔最大（最大间隔原则）
f（x,w,b）=sign(wx+b) sign符号函数 w权重系数 b偏置系数
位于间隔边界上正类和负类样本称为支持向量，距离超平面最近的这几个训练样本点使等号成立，（w^{t）Xi+b=1或（w}t）Xi+b=-1 为支持向量。
2.近似线性可分 （软间隔）
离间隔远的点为在野点，
仅有少量点线性不可分，对这些离群点，引入容错性，称为松弛变量，表示对应的点到底离群有多远
3.线性不可分
通过非线性变换将线性不可分问题转化为某个高维空间的线性可分问题
4.非线性可分（通过核方法）
Gaussian 径向基函数内核RBF K（Xi，Xj）=e^((||Xi-Xj||2)/2σ^2)
Kernel function：核函数
5.任何线性不可分的在映射到高维空间时都可分
6.SVM的原始优化问题
Min F=1/2||W||^2+C∑ξi ①
S.t. yi(ω^tϕ(Xi)+b）>=1-ξi ξi>=0 i=1,2,…,N ②
SVM的最优决策分类函数 f（x）=sgn（ω^tϕ(x)+b） ③

7.式子意义：
为使分类间隔最大，我们可以转换||ω||最小 ξi为松弛变量 C为惩罚因子调和系数
C值大时对误分类的惩罚增大，C值小时对误分类惩罚减小
①式定义了目标函数
对样本点引入松弛变量ξi后，约束条件为 yi(ω^tϕ(Xi)+b）>=1 即 yi(ω^tϕ(Xi)+b）>=1-ξi
每个样本点到最优超平面的距离>=1-ξi
松弛变量>=0