神经网络（单层感知器）

最新推荐文章于 2024-04-01 15:31:51 发布

Arvee

最新推荐文章于 2024-04-01 15:31:51 发布

阅读量2.5k

点赞数

文章标签：算法机器学习人工智能

本文链接：https://blog.youkuaiyun.com/a1_2_3_4__5/article/details/121462361

版权

概念

单层感知器算法是神经网络算法中结构最简单的模型，作为一种线性分类器，可以高效快速地解决线性可分的问题。

设计的感知器结构如下：

感知器实例：

感知器的另一种结构：（去掉了b，改为一固定输入x0）

感知器学习规则：

学习率：一般取在0~1之间

学习率太大容易造成权值调整不稳定

学习率太小，权值调整太慢，迭代次数太多

模型收敛条件：误差小于预先设定的某个较小的值

两次迭代之间的权值变化很小

设定最大迭代次数，超过次数即停止

程序

分类问题

案例：假设平面坐标系上有四个点，(3,3),(4,3)这两个点的标签为1，(1,1),(0,2)这两个点的标签为-1，构建神经网络来分类。

思路：我们要分类的数据是2维数据，所以只需要2个输入节点，我们采用神经元（感知器）的第二种结构，把偏置当做一个节点，这样我们需要3个输入节点。

输入数据有4个(1,3,3),(1,4,3),(1,1,1),(1,0,2)
数据对应的标签为(1,1,-1,-1)
初始化权值w 0 ,w 1 ,w 2 取-1到1的随机数
学习率(learning rate)设置为0.11
激活函数为sign函数

第一步：导库、初始化参数

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1,3,3],
              [1,4,3],
              [1,1,1],
              [1,0,2]])
#标签
Y = np.array([[1],
              [1],
              [-1],
              [-1]])

#m个输入，n个输出→m行n列
#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2

print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0

第二步：权值更新

def update():
    global X,Y,W,lr
    O = np.sign(np.dot(X,W)) # shape:(3,1)
    # /int(X.shape[0])  这里是求误差平均值，防止累计误差太大
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
    W = W + W_C

第三步：训练

for i in range(100):
    update()#更新权值
    print(W)#打印当前权值
    print(i)#打印迭代次数
    O = np.sign(np.dot(X,W))#计算当前输出  
    if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束
        print('Finished')
        print('epoch:',i)
        break

#正样本
x1 = [3,4]
y1 = [3,3]
#负样本
x2 = [1,0]
y2 = [1,2]

#计算分界线的斜率以及截距
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)

xdata = (0,5)

plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()

异或问题

异或：0^0 = 0；0^1 = 1；1^0 = 1；1^1 = 0

第一步：调库、初始化参数、权值更新

import numpy as np
import matplotlib.pyplot as plt

#输入数据
X = np.array([[1,0,0],
              [1,0,1],
              [1,1,0],  
              [1,1,1]])
#标签
Y = np.array([[-1],
              [1],
              [1],
              [-1]])

#权值初始化，3行1列，取值范围-1到1
W = (np.random.random([3,1])-0.5)*2

print(W)
#学习率设置
lr = 0.11
#神经网络输出
O = 0

#权值更新
def update():
    global X,Y,W,lr
    O = np.sign(np.dot(X,W)) # shape:(3,1)
    W_C = lr*(X.T.dot(Y-O))/int(X.shape[0])
    W = W + W_C

第二步：训练

for i in range(100):
    update()#更新权值
    print(W)#打印当前权值
    print(i)#打印迭代次数
    O = np.sign(np.dot(X,W))#计算当前输出  
    if(O == Y).all(): #如果实际输出等于期望输出，模型收敛，循环结束
        print('Finished')
        print('epoch:',i)
        break

#正样本
x1 = [0,1]
y1 = [1,0]
#负样本
x2 = [0,1]
y2 = [0,1]

#计算分界线的斜率以及截距
k = -W[1]/W[2]
d = -W[0]/W[2]
print('k=',k)
print('d=',d)

xdata = (-2,3)

plt.figure()
plt.plot(xdata,xdata*k+d,'r')
plt.scatter(x1,y1,c='b')
plt.scatter(x2,y2,c='y')
plt.show()