人工智能与机器学习课程大作业（四、函数优化）

已于 2023-06-06 14:14:52 修改
阅读量1.4k 收藏 8
点赞数 1
分类专栏： 课程大作业&课程设计 文章标签： 人工智能 学习 matlab 机器学习 课程设计
于 2023-05-05 11:22:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HISJJ/article/details/130500329
版权

本文为人工智能与机器学习课程大作业第四部分（四、函数优化）

本文仅作学习参考使用！

其他章节跳转：

一、知识工程基础

二、函数逼近

三、模糊逻辑

四、函数优化

四、函数优化

Q:用GA和PSO研究如下函数的极小值问题：

f(x_{1},x_{2})=2cos(x_{1}x_{2})+3x_{1}+x_{2}^{2},x_{1},x_{2}\in [-5,5]

要求：

1、算法设计与算法实现（写出编码、选择、交叉、变异等的具体方法和步骤）；

2、改变算法的相关参数（种群规模、迭代次数、交叉和变异概率、惯性权重、学习因子等），研究它们对优化性能的影响；

3、两种算法的结果分析比较。

4.1 函数可视化

       首先绘制目标函数图像：函数值作为z坐标，定义域[-5, 5]的图像，分别使用不同精度进行可视化展示，精度分别为n=100、n=1000，函数图像如图4-1、图4-2所示，可视化展示代码如下：

%% 函数可视化MATLAB源码
figure(1)
x_1 = linspace(-5,5,100); % 设置x轴的范围
x_2 = x_1; % 设置y轴范围
[X_1,X_2] = meshgrid(x_1,x_2); % 将其x，y轴网格化
f = 2.*cos(X_1.*X_2) + 3.*X_1 + X_2.^2;
Fig = mesh(X_1,X_2,f); % 绘制三维曲面图
title('函数f三维曲面图')
xlabel('x_1')
ylabel('x_2')
zlabel('f')
grid on

 图4-1　精度n=100函数图像

图4-2　精度n=1000函数图像

4.2 遗传算法函数优化

       遗传算法(Genetic Algorithm, GA)起源于对生物系统所进行的计算机模拟研究[3]。它是模仿自然界生物进化机制发展起来的随机全局搜索和优化方法，借鉴了达尔文的进化论和孟德尔的遗传学说。本质上是一种高效、并行、全局搜索的方法，能在搜索过程中自动获取和积累有关搜索空间的知识，并自适应的控制搜索过程以求得最佳解[4, 5]。

4.2.1 遗传算法原理

       根据生物进化论，遗传算法将要解决的问题模拟成一个生物进化过程，通过模拟自然界生物的繁殖进化过程、基因交叉、基因突变等过程，产生下一代，并逐步淘汰适应性较差的个体或解，保留适应度较高的个体或解，即“物竞天择、适者生存”。进化有限代后，很可能会进化出适应度非常高的个体[6]。

       遗传算法中的相关术语给出如表4-1所示。

表4-1　遗传算法相关术语名称、符号与说明

名称

表示与符号

说明

基因

genotype

携带个体的基本信息，性状染色体的内部表现

染色体

chromosome

一定数量基因的载体

表现型

phenotype

根据基因型形成的个体外部表现，性状染色体的外部表现

个体

individual

具备生命体所有特征的实体

种群

population

若干个个体的集

选择

selection

淘汰种群中适应性差的个体，保留适应性强的个体的过程

交叉

crossover

两个染色体之间交换一个或多个基因的过程

变异

mutation

染色体上一个或多个基因突变的过程

适应度

fitness

用以评估个体适应性能强弱的指标

编码

coding

基因到染色体的编写过程

解码

decoding

染色体到基因的逆编写过程

       遗传算法的设计如下：

       1、染色体编码：在遗传算法中，常见的编码方式包括有：二进制编码、浮点数编码、位置编码等。现举例说明二进制编码的具体操作：对于x->f映射关系的f(x)函数，自变量x的取值范围是[a,b]，根据二进制十进制的转换关系，可以找到一个最小的ε值，使得：

2^{\varepsilon }-1\geq \frac{b-a}{\xi }

其中，ε为编码后的二进制数的长度；ξ为精度，例如给定ξ=0.1，那么可取的自变量最小位数到小数点后一位，且ξ一般取1、0.1、0.01、0.001等。为举例，此处a=63、b=0、ξ=1，可得到编码后的二进制数最小长度为ε=6。对于任意从0到63的整数，均可用一个6位二进制数来表示，对10和60进行编码后，得到染色体分别为[001010]和[111100]。二进制编码在实际中应用更多，可以用简单的0、1数字来模拟染色体上的基因表现型，也为后续的染色体选择，基因交叉和基因变异提供了更方便的操作。

       2、种群初始化：对种群的规模的设定，会直接影响到计算效率和能否找到最优解。种群规模的设定主要从以下两个方面考虑：对于种群多样性，群体当然是越大越好，防止陷入局部最优；对于计算效率，种群越大意味着计算量的增加，每一代的运算时间将增加。因此需要结合实际情况设定种群数量。

       3、计算个体适应度：首先要确定适应度函数，适应度函数的选取直接影响到遗传算法的收敛速度，并也会决定是否能够找到全局最优解。适应度函数的作用是评估种群中个体的环境适应能力，，适应度好的个体存活几率大。适应度函数在不同模型中可能呈现一个函数形式，也可能为定值。

       4、选择：遗传算法中的选择，一般分为轮盘法和竞技法。轮盘法是将种群中所有个体的适应度归一化处理，得到数据作为每个个体的概率，通过生成[0,1]的随机数，判断别选中个体的概率最大值。竞技法思想非常简单，在种群中随机选出两个或者多个个体的适应度进行比较，适应度高者复制自己作为下一代，其余个体被淘汰。在竞技法中，如果选择个体数大于2，但仅有一个子代，会导致种群数量不断减小，反之，若子代数量大于父代数量，会导致种群数量增大，对于找到全局最优解都会造成一定困难。

       5、交叉：交叉变异有单点交叉和多点交叉等方法。单点交叉是随机选取两个个体以及该两个体染色体上某个相同位置的基因，交换基因位置，从而得到两个具有新的染色体的个体。遗传算法交叉变异类似于染色体交叉重组。

       6、变异：基因变异包括单点变异和多点变异，即随机选择染色体上一个或者多个基因进行变异操作。

       7、解码：末代种群中最优个体经过编码的逆操作，实现从编码到解的映射，将此结果作为问题的近似最优解。遗传算法流程图如图4-3所示。

 图4-3　遗传算法流程图

       遗传算法流程如下：

       (1) 对初始种群规模、交叉变异概率、基因变异概率、种群进化迭代次数超参数进行初始化。并对所有个体编码。

       (2) 给出合适的适应度函数，并计算种群内每个个体的适应度值。

       (3) 采用轮盘法或竞技法，对此代种群进行优胜劣汰。

       (4) 在后代中根据交叉变异概率采用单点或多点交叉变异。

       (5) 在后代中根据基因变异概率采用单点或多点基因变异。

       (6) 判断是否达到初始化设置的种群进化迭代次数，若不满足，则进入下一次种群迭代，将本次子代作为父代，重新从2开始；满足则退出遗传，记录末代所有个体与其适应度值。

       (7) 找到末代中最优的适应度值，解码获得其在解空间的值。

       结合遗传算法设计，参数常用的设计原则如表4-2。

表4-2　遗传算法参数常用设计原则

名称

符号

取值

种群规模（个体数目）

S

[1,100]

交叉变异概率

Pc

[0.4,0.99]

基因变异概率

Pm

[0.0001,0.2]

种群进化迭代次数

G

[100,500]

4.2.2 遗传算法实现步骤

       1、首先确定适应度函数，MATLAB源码如下所示：

%% 适应度函数fitness MATLAB源码
function fx = fitness(x)
fx = 2*cos(x(1)*x(2)) + 3*x(1) + x(2)^2;
end

       2、然后确定遗传算法模型参数如表4-3所示，通过gaoptimset设置遗传算法模型参数，通过结构体optiGA设定解空间、种群规模、交叉概率、变异概率、最大迭代次数等参数，MATLAB源码如下。

表4-3　遗传算法参数设置

名称

符号

取值

种群规模（个体数目）

S

100

交叉变异概率

Pc

0.8

基因变异概率

Pm

0.1

种群进化迭代次数

G

100

%% 遗传算法主函数MATLAB源码
%% GA调参
optiGA = gaoptimset;
optiGA.PopInitRange = [[-5 -5];[5 5]];% 个体解空间
optiGA.PopulationSize = 100;% 种群规模
optiGA.EliteCount = 2;% 每次迭代保留下来的个体数量
optiGA.CrossoverFraction = 0.8;% 交叉概率
optiGA.MutationFraction = 0.1;% 变异概率
optiGA.Generations = 100;% 最大迭代次数
optiGA.MutationFcn = @mutationuniform;%变异函数句柄
optiGA.PlotFcns = @gaplotbestf;
optiGA.TolFun = 1.000e-006;

numOfVars = 2;%变量个数

%% 运行GA
[x,fval] = ga(@fitness,numOfVars,optiGA)
disp('min(fx) is:')
fx = 2*cos(x(1)*x(2)) + 3*x(1) + x(2)^2

       运行得到最优个体的x1、x2以及最佳适应度即f值分别别如表4-4所示，性能函数（适应度函数值）的下降曲线如图4-4(a)，并在函数图中标注最优个体的位置如图4-4(b)，还需要用复杂度来评价模型优劣，因此绘制运行时长及运行内存占比情况如图4-5所示。

表4-4　最优个体和最佳适应度

x1

x2

f

-4.911066980849371

-0.556144351064970

-16.257882472418547

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-4　遗传算法运行结果

图4-5　复杂度与运行内存占比

4.2.3 改变遗传算法相关参数

       改变算法的相关参数，修改种群规模n、迭代次数m、交叉概率Pc和变异概率Pm模型参数如表4-5所示，研究它们对优化性能的影响。

表4-5　改变遗传算法相关参数

改变参数

参数值

其他参数

种群规模n

30

m=100

Pc=0.8

Pm=0.1

60

100

150

迭代次数m

30

n=100

Pc=0.8

Pm=0.1

50

70

150

交叉概率Pc

0.5

n=100

m=100

Pm=0.1

0.6

0.7

0.9

0.95

变异概率Pm

0.01

n=100

m=100

Pc=0.8

0.05

0.2

       种群规模为：30、60、100、150，迭代次数为：30、50、70、150，交叉概率为：0.5、0.6、0.7、0.8、0.9、0.95，变异概率为：0.01、0.05、0.1、0.2，使用排列组合的方式，对遗传算法超参数进行网格寻优。首先对种群规模进行网格寻优，结果如图4-6、图4-7、图4-8、图4-9。

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-6　种群规模30时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-7　种群规模60时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-8　种群规模100时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-9　种群规模150时遗传算法运行结果

       然后对迭代次数进行网格寻优，结果如图4-10、图4-11、图4-12、图4-13。

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-10　迭代次数30时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-11　迭代次数50时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-12　迭代次数70时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-13　迭代次数150时遗传算法运行结果

       对交叉概率进行网格寻优，结果如图4-14、图4-15、图4-16、图4-17、图4-18。

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-14　交叉概率0.5时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-15　交叉概率0.6时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-16　交叉概率0.7时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-17　交叉概率0.9时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-18　交叉概率0.95时遗传算法运行结果

        对交变异概率进行网格寻优，结果如图4-19、图4-20、图4-21。

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-19　变异概率0.01时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-20　变异概率0.05时遗传算法运行结果

(a) 适应度函数值下降曲线                   (b) 最优个体位置

图4-21　变异概率0.2时遗传算法运行结果

4.2.4 实验结果分析与总结

       由于遗传算法其内部参数例如每条染色体的初始位置、每次随机生成的个体交叉概率和变异概率以及交叉变异乘以的随机数都是随机生成的，因此每次运行得到的结果大概是不同的，且并不一定为全局最优。在以上的超参数网格寻优中的结果可以整理如表4-5所示。

表4-6　改变遗传算法相关参数及结果

改变参数

参数值

其他参数

 (x1,x2)

f最小值

GA运行时间

种群规模n

30

m=100

Pc=0.8

Pm=0.1

-4.6218, 0.5749

-15.3046

1.837

60

-4.9887, -0.8666

-14.9743

1.880

100

-4.8501, -0.6944

-16.0172

1.336

150

-4.7370, 0.6640

-15.7700

2.089

迭代次数m

30

n=100

Pc=0.8

Pm=0.1

-4.4339, -0.7402

-14.7341

1.788

50

-4.8595, -0.6448

-16.1628

2.062

70

-4.9638, 0.6300

-16.4943

2.051

150

-4.9819, 0.6320

-16.5463

1.790

交叉概率Pc

0.5

n=100

m=100

Pm=0.1

-4.9964, -0.6090

-16.6086

1.915

0.6

-4.7343, -0.6914

-15.7076

2.033

0.7

-4.9796, 0.5859

-16.5455

1.873

0.9

-4.7679, 0.6242

-15.8869

1.391

0.95

-4.9780, -0.6230

-16.5443

2.232

变异概率Pm

0.01

n=100

m=100

Pc=0.8

-4.9983, -0.5948

-16.6127

1.949

0.05

-4.9987, -0.6134

-16.6141

2.358

0.2

-4.9237, -0.6343

-16.3684

2.004

       观察所有超参数模型下的(x1,x2)，目标函数最小值以及遗传算法运行时间，使得函数最小值的染色体(x1,x2)=(-4.9987, -0.6134)，该模型的种群数目为100，迭代次数为100，交叉概率为0.8，变异概率为0.05。遗传算法的运行时间为2.358s。而相对于遗传算法运行时间为1.949，变异概率为0.01的模型，因为分析其时间复杂度和空间复杂度与最优模型相同，因为这里运行时间并不是非常重要，可以忽略不计。通过上表可知：

       1、种群规模对遗传算法优化性能的影响

       种群规模不宜太大，也不宜太小。群体规模太小，会出现近亲交配，产生病态基因，而且造成有效等位基因先天缺失，即使采用较大概率的变异算子，生成具有竞争力高阶模式的可能性仍然核销，况且大概率变异算子对已有模式的破坏作用极大[7]。同时，遗传算子存在随机误差（模式采样误差），妨碍小群体中有效模式的正确传播，使得种群进化不能按照模式定理产生所预期的期望数量；种群规模太大，如果迭代次数不够，难以收敛，使系统鲁棒性下降，还会增加时间复杂度和空间复杂度，与遍历效果差不多，没有意义。在该问题中，选择种群规模100为佳。

       2、迭代次数对遗传算法优化性能的影响

       进化代数太小，算法不容易收敛，种群还没有成熟就已经结束，并输出最优个体，很明显这样的结果往往不是最优的，除非恰好在极值处取到；进化代数太大，算法已经熟练或者种群过于早熟不可能再收敛，继续进化没有意义，只会增加时间开支和资源浪费。在该问题中，选择迭代次数100为佳。

       3、交叉概率对遗传算法优化性能的影响

       交叉概率太大容易破坏已有的有利模式，随机性增大，容易错失最优个体；交叉概率太小不能有效更新种群。在该问题中，选择交叉概率0.8为佳。

       4、变异概率对遗传算法优化性能的影响

       变异概率太小，种群的多样性下降太快，容易导致有效基因的迅速丢失且不容易修补；变异概率太大，尽管种群的多样性可以得到保证，但是高阶模式被破坏的概率也随之增大。在该问题中，选择变异概率0.05为佳。

     最终得到函数最小值的染色体(x1,x2)=(-4.9987, -0.6134)，函数在该定义域下的最小值为-16.6141，算法用时2.358s。

4.3 粒子群算法函数优化

       粒子群算法(PSO)属于群智能算法的一种，是通过模拟鸟群捕食行为设计的。假设区域里就只有一块食物（即通常优化问题中所讲的最优解），鸟群的任务是找到这个食物源[8]。鸟群在整个搜寻的过程中，通过相互传递各自的信息，让其他的鸟知道自己的位置，通过这样的协作，来判断自己找到的是不是最优解，同时也将最优解的信息传递给整个鸟群，最终，整个鸟群都能聚集在食物源周围，即我们所说的找到了最优解，即问题收敛。

4.3.1 粒子群算法原理

       粒子群算法通过设计一种无质量的粒子来模拟鸟群中的鸟，粒子仅具有两个属性：速度V和位置X，速度代表移动的快慢，位置代表移动的方向。每个粒子在搜索空间中单独的搜寻最优解，并将其记为当前个体极值Pbest，并将个体极值与整个粒子群里的其他粒子共享，找到最优的那个个体极值作为整个粒子群的当前全局最优解Gbest，粒子群中的所有粒子根据自己找到的当前个体极值Pbest和整个粒子群共享的当前全局最优解Gbest来调整自己的速度和位置。粒子群算法的思想相对比较简单，主要分为：1、初始化粒子群；2、评价粒子，即计算适应值；3、寻找个体极值Pbest；4、寻找全局最优解Gbest；5、修改粒子的速度和位置[9, 10]。

       主要步骤如下：

       1、初始化

       首先，我们需要设置最大的速度区间，防止超出最大的区间。位置信息即为整个搜索空间，我们在速度区间和搜索空间上随机初始化速度和位置。设置群体规模m。

       2、个体极值与全局最优解

       个体极值为每个粒子找到的历史上最优的位置信息，并从这些个体历史最优解中找到一个全局最优解，并与历史最优解比较，选出最佳的作为当前的历史最优解。

       3、更新速度和位置

       按式(4-1)更新粒子速度与位置：

 V_{id}=\omega V_{id}+c_{1}\times rand\times (P_{id}-X_{id})+c_{2}\times rand\times (P_{gd}-X_{id})

X_{id}=X_{id}+V_{id}

 式中，ω为惯性因子；c1、c2为加速常数；rand为[0, 1]的随机数；Pid表示第i个变量的个体极值的第d维；Pgd表示全局最优解的第d维。

       4、终止条件

       有两种终止条件可以选择，一是最大代数：t；二是相邻两代之间的偏差在一个指定的范围内即停止。

4.3.2 粒子群算法实验步骤

       1、设置模型超参数：种群规模、惯性权重、学习因子，最大迭代次数等，设置模型超参数MATLAB源码如下：

%% 设置模型超参数MATLAB源码
%% PSO
% 初始化超参数，模型等
Size = 100;
Dimension = 2;
time = 200;
c1 = 1.5;
c2 = 1.5;
Wmax = 0.5;
Wmin = 0.1;
Pmax = 5;
Pmin = -5;
Vmax = 1;
Vmin = -1;

       2、初始化种群个体的位置与速度MATLAB源码如下：

%% 初始化粒子位置与速度MATLAB源码
% 初始化种群个体的位置与速度
x = rand(Size, Dimension)*(Pmax-Pmin)+Pmin;
v = rand(Size, Dimension)*(Vmax-Vmin)+Vmin;

       3、初始化个体最优位置和最优值MATLAB源码如下：

%% 初始化粒子最优位置和最优值MATLAB源码
% 初始化个体最优位置和最优值
p = x;
pbest = ones(Size, 1);
for i = 1:Size
    pbest(i) = fitness(x(i,:));
end

       4、初始化全局最优位置和最优值MATLAB源码如下：

%% 初始化全局最优位置和最优值MATLAB源码
% 初始化全局最优位置和最优值
g = ones(1, Dimension);
gbest = inf;
for i = 1:Size
    if pbest(i) < gbest
        g = p(i,:);
        gbest = pbest(i);
    end
end
gb = ones(1, time);

       5、迭代开始直至终止，注意：适应度函数与遗传算法的适应度函数相同，因此直接调用fitness子函数即可。迭代与终止MATLAB源码如下

%% 迭代与终止MATLAB源码
for i = 1:time
    for j = 1:Size
        if fitness(x(j,:)) < pbest(j)% 更新个体最优位置和最优值
            p(j,:) = x(j,:);
            pbest(j) = fitness(x(j,:));
        end
        if pbest(j) < gbest% 更新全局最优位置和最优质
            g = p(j,:);
            gbest = pbest(j);
        end
        w = Wmax-(Wmax-Wmin)*i/time;% 动态计算惯性权重值
        v(j,:) = w*v(j,:)+c1*rand*(p(j,:)-x(j,:))+c2*rand*(g-x(j,:));% 更新速度
        x(j,:) = x(j,:)+v(j,:);% 更新位置
        for k = 1:Dimension% 边界条件处理
            if (v(j,k) > Vmax) || (v(j,k) < Vmin)
                v(j,k) = rand*(Vmax-Vmin)+Vmin;
            end
            if (x(j,k) > Pmax) || (x(j,k) < Pmin)
                x(j,k) = rand*(Pmax - Pmin) + Pmin;
            end
        end
    end
    gb(i) = gbest;% 记录历代全局最优值
end

       6、输出最优个体、最优值，并绘制适应度曲线，MATLAB源码如下：

%% 输出最优结果与适应度曲线绘制MATLAB源码
g % 最优个体
gb(end) % 最优值
figure(2)
plot(gb,'LineWidth',2)
xlabel('Time')
ylabel('1/Fitness')
title('Fitness Curve')

       运行得到最优粒子的x1、x2以及最佳适应度即f值分别别如表4-7所示，性能函数（适应度函数值）的下降曲线如图4-22(b)，并在函数图中标注最优个体的位置如图4-22(a)，与遗传算法同理，还需要用复杂度来评价模型优劣，因此绘制运行时长及运行内存占比情况如图4-23所示。

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-22　粒子群算法运行结果

表4-7　最优粒子和最佳适应度

x1

x2

f

f-4.999982360428467

0.601048524601063

-16.620122324415950

图4-23　复杂度与运行内存占比

4.3.3 改变粒子群算法相关参数

       改变粒子群算法的相关参数：种群规模s、迭代次数t、学习因子c1、c2、惯性权重上限wmax、惯性权重下限wmin如表4-8所示，研究它们对粒子群函数优化性能的影响。

表4-8　改变粒子群算法相关参数

改变参数

参数值

其他参数

种群规模s

50

t=200

c1,c2=1.5

wmax=0.5,wmin=0.1

100

150

迭代次数t

50

s=100

c1,c2=1.5

wmax=0.5,wmin=0.1

100

150

学习因子c1

1.3

s=100

t=200

c2=1.5

wmax=0.5,wmin=0.1

1.7

1.9

学习因子c2

1.3

s=100

t=200

c1=1.5

wmax=0.5,wmin=0.1

1.7

1.9

惯性权重上限wmax

0.6

s=100

t=200

c1,c2=1.5

wmin=0.1

0.7

0.8

惯性权重下限wmin

0.2

s=100

t=200

c1,c2=1.5

wmax=0.5

0.3

0.4

       种群规模为：50、100、150，迭代次数为：50、100、150，学习因子c1为：1.3、1.7、1.9，学习因子c2为：1.3、1.7、1.9，惯性权重上限wmax为：0.6、0.7、0.8，惯性权重下限wmin为：0.2、0.3、0.4，使用排列组合的方式，对粒子群算法超参数进行网格寻优。首先对种群规模进行网格寻优，结果如图4-24、图4-25、图4-26。

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-24　种群规模50时粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-25　种群规模100时粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-26　种群规模150时粒子群算法运行结果

       然后对迭代次数进行网格寻优，结果如图4-27、图4-28、图4-29。

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-27　迭代次数50时粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-28　迭代次数100时粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-29　迭代次数150时粒子群算法运行结果

       对学习因子c1进行网格寻优，结果如图4-30、图4-31、图4-32。

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-30　学习因子c1=1.3粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-31　学习因子c1=1.7粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-32　学习因子c1=1.9粒子群算法运行结果

        对学习因子c2进行网格寻优，结果如图4-33、图4-34、图4-35。

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-33　学习因子c2=1.3粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-34　学习因子c2=1.7粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-35　学习因子c2=1.9粒子群算法运行结果

        惯性权重上限wmax进行网格寻优，结果如图4-36、图4-37、图4-38。

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-36　惯性权重上限0.6粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-37　惯性权重上限0.7粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-38　惯性权重上限0.8粒子群算法运行结果

        惯性权重下限wmin进行网格寻优，结果如图4-39、图4-40、图4-41。

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-39　惯性权重下限0.2粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-40　惯性权重下限0.3粒子群算法运行结果

(a) 最优粒子位置                      (b) 适应度函数下降曲线

图4-41　惯性权重下限0.4粒子群算法运行结果

4.3.4 实验结果分析与总结

       在以上的超参数网格寻优中的结果可以整理如表4-9所示。

表4-9　改变粒子群算法相关参数与运行结果

改变参数

参数值

其他参数

(x1,x2)

最小值

PSO运行时间

种群规模s

50

t=200

c1,c2=1.5

wmax=0.5,wmin=0.1

-4.9995, -0.5984

-16.6179

0.487

100

-4.9999, 0.6039

-16.6200

0.536

150

-4.9999, -0.6038

-16.6201

0.659

迭代次数t

50

s=100

c1,c2=1.5

wmax=0.5,wmin=0.1

-4.9996, 0.6136

-16.6170

0.540

100

-4.9998, 0.6105

-16.6187

0.481

150

-4.9995, -0.6010

-16.6186

0.521

学习因子c1

1.3

s=100

t=200

c2=1.5

wmax=0.5,wmin=0.1

-5.0000, 0.6079

-16.6200

0.571

1.7

-4.9999, 0.6090

-16.6195

0.615

1.9

-4.9999, 0.6031

-16.6200

0.552

学习因子c2

1.3

s=100

t=200

c1=1.5

wmax=0.5,wmin=0.1

-4.9999, 0.6044

-16.6202

0.606

1.7

-4.9998, -0.6077

-16.6195

0.556

1.9

-4.9995, -0.6068

-16.6185

0.530

惯性权重上限wmax

0.6

s=100

t=200

c1,c2=1.5

wmin=0.1

-4.9997, -0.6084

-16.6190

0.533

0.7

-4.9998, -0.6000

-16.6195

0.549

0.8

-5.0000, -0.6072

-16.6202

0.598

惯性权重下限wmin

0.2

s=100

t=200

c1,c2=1.5

wmax=0.5

-4.9998, -0.6071

-16.6195

0.611

0.3

-4.9999, -0.6011

-16.6199

0.640

0.4

-5.0000, -0.6096

-16.6196

0.606

       观察不同超参数粒子群算法模型下的(x1,x2)，目标函数最小值以及粒子群算法运行时间，使得函数最小值的粒子(x1,x2)=(-4.9999, 0.6044)、(x1,x2)=(-5.0000, -0.6072)，两个模型参数如下：种群数目为100，迭代次数为200，学习因子c1均为1.5、，学习因子c2分别为1.3、1.5，惯性权重上限wmax分别为0.5、0.8，惯性权重下限wmin均为0.1。算法的运行时间分别为0.606s、0.598s。分析其时间复杂度和空间复杂度相同，因此我认为虽然运行时间不同，但相差不大，运行时间并不是非常重要，可以忽略不计。通过上表可知：粒子群算法的精度，不一定是哪个参数越大或越小越好，关键在于多个参数之间的配合，就譬如以上实验中，虽然模型参数不同（不同学习因子c2、惯性权重上限wmax），且(x1,x2)也不相同，但最优值非常相近，更加证明了以上总结。

       最终得到函数最小值的粒子(x1,x2)=(-4.9999, 0.6044)、(x1,x2)=(-5.0000, -0.6072)，函数在该定义域下的最小值为-16.6202，算法用时0.606s、0.598s。

4.4 GA与PSO结果比较与性能分析

4.4.1 结果比较

       GA与PSO在该问题（函数优化）上的相关参数与结果如表4-10、表4-11所示。

表4-10　遗传算法相关参数及结果

改变参数

参数值

其他参数

 (x1,x2)

f最小值

GA运行时间

种群规模n

30

m=100

Pc=0.8

Pm=0.1

-4.6218, 0.5749

-15.3046

1.837

60

-4.9887, -0.8666

-14.9743

1.880

100

-4.8501, -0.6944

-16.0172

1.336

150

-4.7370, 0.6640

-15.7700

2.089

迭代次数m

30

n=100

Pc=0.8

Pm=0.1

-4.4339, -0.7402

-14.7341

1.788

50

-4.8595, -0.6448

-16.1628

2.062

70

-4.9638, 0.6300

-16.4943

2.051

150

-4.9819, 0.6320

-16.5463

1.790

交叉概率Pc

0.5

n=100

m=100

Pm=0.1

-4.9964, -0.6090

-16.6086

1.915

0.6

-4.7343, -0.6914

-15.7076

2.033

0.7

-4.9796, 0.5859

-16.5455

1.873

0.9

-4.7679, 0.6242

-15.8869

1.391

0.95

-4.9780, -0.6230

-16.5443

2.232

变异概率Pm

0.01

n=100

m=100

Pc=0.8

-4.9983, -0.5948

-16.6127

1.949

0.05

-4.9987, -0.6134

-16.6141

2.358

0.2

-4.9237, -0.6343

-16.3684

2.004

       在遗传算法中，最终得到函数最小值的染色体(x1,x2)=(-4.9987, -0.6134)，函数在该定义域下的最小值为-16.6141，算法用时2.358s，最优模型的种群数目为100，迭代次数为100，交叉概率为0.8，变异概率为0.05。

      在粒子群算法中，最终得到函数最小值的粒子(x1,x2)=(-4.9999, 0.6044)、(x1,x2)=(-5.0000, -0.6072)，函数在该定义域下的最小值为-16.6202，算法用时0.606s、0.598s。两个模型参数：种群数目为100，迭代次数为200，学习因子c1均为1.5、，学习因子c2分别为1.3、1.5，惯性权重上限wmax分别为0.5、0.8，惯性权重下限wmin均为0.1。相对而言，该问题中，如果利用MATLAB，遗传算法更容易实现，但需要费时调整模型超参数，而对于粒子群算法，编程需要花时间，但相同时间下，相对于遗传算法能获得更好的结果。

表4-11　改变粒子群算法相关参数与运行结果

改变参数

参数值

其他参数

(x1,x2)

最小值

PSO运行时间

种群规模s

50

t=200

c1,c2=1.5

wmax=0.5,wmin=0.1

-4.9995, -0.5984

-16.6179

0.487

100

-4.9999, 0.6039

-16.6200

0.536

150

-4.9999, -0.6038

-16.6201

0.659

迭代次数t

50

s=100

c1,c2=1.5

wmax=0.5,wmin=0.1

-4.9996, 0.6136

-16.6170

0.540

100

-4.9998, 0.6105

-16.6187

0.481

150

-4.9995, -0.6010

-16.6186

0.521

学习因子c1

1.3

s=100

t=200

c2=1.5

wmax=0.5,wmin=0.1

-5.0000, 0.6079

-16.6200

0.571

1.7

-4.9999, 0.6090

-16.6195

0.615

1.9

-4.9999, 0.6031

-16.6200

0.552

学习因子c2

1.3

s=100

t=200

c1=1.5

wmax=0.5,wmin=0.1

-4.9999, 0.6044

-16.6202

0.606

1.7

-4.9998, -0.6077

-16.6195

0.556

1.9

-4.9995, -0.6068

-16.6185

0.530

惯性权重上限wmax

0.6

s=100

t=200

c1,c2=1.5

wmin=0.1

-4.9997, -0.6084

-16.6190

0.533

0.7

-4.9998, -0.6000

-16.6195

0.549

0.8

-5.0000, -0.6072

-16.6202

0.598

惯性权重下限wmin

0.2

s=100

t=200

c1,c2=1.5

wmax=0.5

-4.9998, -0.6071

-16.6195

0.611

0.3

-4.9999, -0.6011

-16.6199

0.640

0.4

-5.0000, -0.6096

-16.6196

0.606

4.4.2 GA与PSO性能分析与相同点

       GA和PSO都是优化算法，都力图在自然特性的基础上模拟个体种群的适应性，它们都采用一定的变换规则通过搜索空间求解[11]。GA与PSO相同点如下：

       1、都属于仿生算法。PSO主要模拟鸟类觅食、人类认知等社会行为而提出；GA主要借用生物进化中“适者生存”的规律。

       2、都属于全局优化方法。两种算法都是在解空间随机产生初始种群，因而算法在全局的解空间进行搜索，且将搜索重点集中在性能高的部分。

       3、都属于随机搜索算法。都是通过随机优化方法更新种群和搜索最优点。PSO中认知项和社会项前都加有随机数；而GA的遗传操作均属随机操作。

       4、都隐含并行性。搜索过程是从问题解的一个集合开始的，而不是从单个个体开始，具有隐含并行搜索特性，从而减小了陷入局部极小的可能性。并且由于这种并行性，易在并行计算机上实现，以提高算法性能和效率。

       5、根据个体的适配信息进行搜索，因此不受函数约束条件的限制，如连续性、可导性等。

       6、对高维复杂问题，往往会遇到早熟收敛和收敛性能差的缺点，都无法保证收敛到最优点。

4.4.3 GA与PSO不同点

       GA与PSO不同点如下：

       1、PSO有记忆，好的解的所有知识都保存，而GA没有记忆，以前的知识随着种群的改变被破坏。

       2、在GA算法中，染色体之间相互共享信息，所以整个种群的移动是比较均匀地向最优区域移动。PSO中的粒子仅仅通过当前搜索到最优点进行共享信息，所以很大程度上这是一种单项信息共享机制，整个搜索更新过程是跟随当前最优解的过程。在大多数情况下，所有粒子可能比遗传算法中的进化个体以更快速度收敛于最优解。

       3、GA的编码技术和遗传操作比较简单，而PSO相对于GA，不需要编码，没有交叉和变异操作，粒子只是通过内部速度进行更新，因此原理更简单、参数更少、实现更容易。

       4、在收敛性方面，GA己经有了较成熟的收敛性分析方法，并且可对收敛速度进行估计；而PSO这方面的研究还比较薄弱。尽管已经有简化确定性版本的收敛性分析，但将确定性向随机性的转化尚需进一步研究。

       5、在应用方面，PSO算法主要应用于连续问题，包括神经网络训练和函数优化等，而GA除了连续问题之外，还可应用于离散问题，比如TSP问题、货郎担问题、工作车间调度等。

4.5 实验总结与心得体会

参考文献

[1] 税纪钧, 初学者都能懂的深度学习之神经网络(三)反向传播算法, https://blog.youkuaiyun.com/ HISJJ/article/details/126953224?spm=1001.2014.3001.5501, 202.12.31.

[2] 王旭东,邵惠鹤.RBF神经网络理论及其在控制中的应用[J].信息与控制,1997(04):32-44.

[3] 金希东. 遗传算法及其应用[D]. 成都:西南交通大学, 1996.

[4] 吉根林. 遗传算法研究综述[J]. 计算机应用与软件, 2004, 21(2):5.

[5] Wang Q, Spronck P, Tracht R. An overview of genetic algorithms applied to control engineering problems[C]// Machine Learning and Cybernetics, 2003 International Conference on. IEEE, 2003.

[6] 税纪钧, 改进遗传算法(IGA)的自抗扰控制器(ADRC)学习笔记, https://blog.youkuaiyun.com/HISJJ/ article/details/127386770?spm=1001.2014.3001.5501, 2022.12.30.

[7] helloHKTK, 遗传算法调参, https://www.cnblogs.com/helloHKTK/p/9772778.html, 2023.1.4.

[8] 王宇韬, 钱妍竹, Python大数据分析与机器学习[M], 北京, 机械工业出版社, 2020.5, P92-P94.

[9] 李爱国,覃征,鲍复民,贺升平.粒子群优化算法[J].计算机工程与应用,2002(21):1-3+17.

[10] 周志华, 机器学习[M], 北京, 清华大学出版社, 2016.1, P23-43.

[11] 李红亚,彭昱忠,邓楚燕,龚道庆.GA与PSO的混合研究综述[J].计算机工程与应用,2018,54(02):20-28+39.

人工智能与机器学习课程大作业其他章节内容：一、知识工程基础；二、函数逼近；三、模糊逻辑

python网络爬虫与数据收集数据分析机器学习期末大作业
m0_65842110的博客
07-31 739
python网络爬虫与数据收集数据分析机器学习期末大作业
机器学习期末大作业/课程设计-六次大作业合集代码+实验报告（满分项目）
09-16
机器学习期末大作业/课程设计-六次大作业合集代码+实验报告（满分项目）1.基于KNN的手写数字识别项目源码+实验报告，2.回归模型项目源码+实验报告，3.参数估计与非参数估计源码+实验报告，4.朴素贝叶斯分类器项目源码+实验报告，5.层次聚类项目源码+实验报告，6.决策树分类器项目源码+实验报告。含有代码注释，满分大作业资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末大作业使用，该系统功能完善、界面美观、操作简单、功能齐全、管理便捷，具有很高的实际应用价值。 机器学习期末大作业/课程设计-六次大作业合集代码+实验报告（满分项目）1.基于KNN的手写数字识别项目源码+实验报告，2.回归模型项目源码+实验报告，3.参数估计与非参数估计源码+实验报告，4.朴素贝叶斯分类器项目源码+实验报告，5.层次聚类项目源码+实验报告，6.决策树分类器项目源码+实验报告。含有代码注释，满分大作业资源，新手也可看懂，期末大作业、课程设计、高分必看，下载下来，简单部署，就可以使用。该项目可以作为课程设计期末大作业使用，该系统功能完善、界面美观、操
人工智能与机器学习课程大作业（二、函数逼近）
HISJJ的博客
04-27 2076
上海电力大学人工智能与机器学习课程大作业&课程设计，本文为人工智能与机器学习课程大作业第二部分（二、函数逼近）。本文仅作为学习参考使用，请勿用于其他用途。若需使用，请标明出处，谢谢！
机器学习期末作业
m0_69321141的博客
12-05 4475
关于对鸢尾花数据集的探讨和算法实现
东南大学软件学院研究生机器学习期末大作业.pdf
07-03
东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf东南大学软件学院研究生机器学习期末大作业.pdf
ZJU人工智能与机器学习大作业：黑白棋.zip
03-09
标题中的“ZJU人工智能与机器学习大作业：黑白棋.zip”表明这是一份与浙江大学（ZJU）的人工智能和机器学习课程相关的作业，主题是开发一个能够玩黑白棋（也称为翻转棋或奥赛罗棋）的算法。黑白棋是一种策略性两人...
国科大 研究生课程《模式识别与机器学习》课程资料
05-02
理解并能灵活运用这些模型是机器学习课程的关键。 其次，作业答案部分提供了实践和解决问题的机会。在完成作业的过程中，学生将深入理解算法的工作原理，如梯度下降法、贝叶斯分类、聚类算法(K-means)等，并学会...
CNN MINST 手写数字识别 中科大自动化系2022人工智能导论课程大作业三.zip
03-09
标签中的"人工智能大作业、人工智能课程设计、机器学习、深度学习、人工智能毕业设计"进一步强调了这个项目与这些领域的关联。机器学习是人工智能的一个重要分支，而深度学习则是近年来在机器学习领域最为活跃的研究...
ZJU人工智能与机器学习大作业：黑白棋_mini-AlplaGo.zip
最新发布
09-28
项目标题中提到的“ZJU人工智能与机器学习大作业：黑白棋_mini-AlplaGo”可能是指浙江大学（ZJU）的学生在人工智能或机器学习课程中所完成的一个项目作业。此作业旨在通过构建一个简化版的AlphaGo来模拟黑白棋的对弈...
《机器学习》web期末大作业.zip
01-09
web期末大作业，网页
南开大学人工智能学院机器学习大作业.7z
06-05
第一次作业：感知机算法实现 要求：手写感知机算法，并在sklearn中的breast_cancer数据集上进行测试。 实现最简易的感知机算法 $y=\text{sign}(\vec{w}\cdot \vec{x} + b)$，损失函数使用误分类点到分类超平面的总距离，使用随机梯度下降方法对模型进行优化。 第二次作业：K近邻算法实现 要求：手写K近邻算法，并在sklearn中的breast_cancer数据集上进行测试。 实现最简易的K近邻算法（不要求实现KD树），K的值自由选择。 参考代码见文件夹knn（助教自己写的，若有疑问欢迎提出issue） 第三次作业：朴素贝叶斯算法实现 要求：手写朴素贝叶斯算法。 实现最简易的朴素贝叶斯算法。 参考代码见文件夹naivebayes（助教自己写的，若有疑问欢迎提出issue）
机器学习课件和大作业
09-08
机器学习课件和大作业，研究生课程和大作业，授课老师为李侃老师。
机器学习课程大作业，关于统计天气状况
07-23
文档内容是关于机器学习课程期末大作业，用Python实现，代码全，文档详细，需要的可以下载
机器学习大作业 代码+数据+报告
05-22
1.试使用核技巧推广对率回归，产生“核对率回归” 2.有如下室内场景 利用Zigbee，BLE和WIFI无线技术，在三个小黑点处置锚节点，记为A,B,C，坐标位置确定已知。通过测量小红点处的RSSI（接收信号强度），标定各小红点位置。建立位置字典。小红点总数49个。 使用支持向量回归。以“RSSI”为输入，“位置”为输出，在三种无线技术场景下，训练一个SVR，给出实现代码（Matlab或Python）及结果评价
吴恩达机器学习大作业完成版!
07-23
吴恩达机器学习大作业完成版! 吴恩达机器学习大作业完成版!
机器学习大作业_杂谈——机器学习期末大作业第一题
weixin_39869197的博客
12-15 892
感谢XJH，TCT和CR同学指出的错误，已更正。题目：对以下的网络执行一次前向传播和反向传播：（1）输入在神经网络上进行一次前馈传播，请计算隐层和输出层中每个神经元的输入和输出；假设损失函数为L2-loss。输入： （2）进行一次误差逆传播，请计算隐层和输出层每个神经元的误差，并更新每个权重参数。真值为： 输出层的loss： 所以输出层的Error为： F/G/H...
期末大作业
weixin_30369087的博客
12-20 266
一、boston房价预测 1. 读取数据集 from sklearn.datasets import load_bostonboston = load_boston()x = boston.datay = boston.targetx.shape 2. 训练集与测试集划分 from sklearn.cross_validation import train_test_splitx_t...
机器学习大作业
浪漫的诗人博客
06-07 2735
这是机器学习的一个大作业，主要用到了逻辑斯蒂算法、KNN算法、随机森林算法。数据集是糖尿病的数据集。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值