matlab编写线性单元的梯度下降算法（delta法则）

最新推荐文章于 2024-09-25 22:08:20 发布

on2way

最新推荐文章于 2024-09-25 22:08:20 发布

阅读量5.7k

点赞数 4

分类专栏：神经网络文章标签： matlab 神经网络机器学习算法

本文链接：https://blog.youkuaiyun.com/on2way/article/details/39938233

版权

神经网络专栏收录该内容

5 篇文章

订阅专栏

（1）说说要解决的问题

这里只是运用BP感知器的一些知识，用delta法则方式解决一个简单的线性或者非线性可分问题，比如这里围绕的就是坐标系下的8个点，这8个点很明显的划分两类，现在要求解出一组权值来划分这两类点。8组点是自己假设的，为[1,0,1;2,1.5,1;-1,-1.5,1;-3,-5,1;0,2,0;1.5,2,0;-1,0,0]，在坐标系下的可以看到为：

很显然也能看到可以有一条直线从中间穿过就能很好的把他们区分开来，为了简化随便编来的简化数据。

（2）关于梯度下降和delta法则的原理

这部分也看到了很多解释的很好的，也很容易理解，像该论坛许多都解释的很好，比如http://blog.youkuaiyun.com/acdreamers/article/details/27660519，自己也可以找找，好的。我想说重点是对于那个更新迭代的误差公式来源，也就是误差对权值w的求导最后等于一个乘式那块，理解这个好重要呀。

（3）算法的伪代码

下面这个图是我在《机器学习》这本书上截取下来的，在第四章人工神经网络（P68）那块，写到了伪代码，我就是照着这个伪代码写的：

（4）matlab代码：

%**********************函数说明***********************************
%****************BP网络下的梯度下降算法的实验原理***************************
%
%随便编的实验数据值：8组：x1，x2，t的值，为简单起见，让前四组为一个类型，后四组为一个类型
%[1,0,1;2,1.5,1;-1,-1.5,1;-3,-5,1;0,2,0;1.5,2,0;-1,0,0]
%
function ww = gradient_descent(training_example,eta)
[m,n] = size(training_example); %m--行，n--列
num_x = n-1; %输入量个数，最后一项是目标值，所以少一个
for i=1:num_x %初始化权值矩阵在（-1,1），这个相对较好
w(i) = 2*(rand()-0.5);
end
fault = 1;
while(fault>1e-5) %给定的判断条件
fault = 0;
delta_w(1:num_x) = 0; %初始化误差值
%----------------对于每一行数据----------------------------
for i=1:m
xx = training_example(i,1:num_x)'; %第i行的所有x值
output(i) = w*xx; %计算输出值
if output(i)>0 %如果输出大于0，让它等于1，这样误差为0,
output(i)=1;
else output(i)=0;
end
t = training_example(i,n); %第i行的目标值
for j=1:num_x
delta_w(j) = delta_w(j) + eta*(t-output(i))*training_example(i,j); %产生误差项
end
end
%---------------更新权值矩阵---------------------------
for j=1:num_x
w(j) = w(j) + delta_w(j);
end
%----------------根据新的权值矩阵计算一下目标函数的现在的输出out--------------------------
for i=1:m
out(i) = w*training_example(i,1:num_x)';
if out(i)>0 out(i)=1;
else out(i)=0;
end
end
%-------------------判断条件：所有的out值与所给的t一样------------------------------------
%------------------方法比较笨，就是一个一个比较，肯定有更好的结束条件，还没想好-------------
if ((out(1)==1)&&(out(2)==1)&&(out(3)==1)&&(out(4)==1)&&(out(5)==0)&&(out(6)==0)&&(out(7)==0)&&(out(8)==0))
fault=0; %条件符合了，结束
else fault=1; %没符合，继续运行
end
end
ww = w; %最后返回所得的权值矩阵