记录深度学习（七）------神经网络中的异或门问题

神经网络停摆了接近30年，除了数据量少，运算速度慢等问题，还有一个关键性的问题就是精度问题，

1、 与门，或门和非与门

针对神经网络中的分类问题，有这样几类数据，
与门

x0	x1	x2	y_and
1	0	0	0
1	1	0	0
1	0	1	0
1	1	1	1

import torch
import matplotlib.pyplot as plt
import seaborn as sns

X = torch.tensor([[1,0,0],[1,1,0],[1,0,1],[1,1,1]],dtype = torch.float32)
andgate = torch.tensor([0,0,0,1],dtype = torch.float32)

plt.style.use('seaborn-whitegrid') #设置图像的风格
sns.set_style("white")
plt.figure(figsize=(5,3)) #设置画布大小
plt.title("AND GATE",fontsize=16) #设置图像标题
plt.scatter(X[:,1],X[:,2],c=andgate,cmap="rainbow") #绘制散点图
plt.xlim(-1,3) #设置横纵坐标尺寸
plt.ylim(-1,3)
plt.grid(alpha=.4,axis="y") #显示背景中的网格
plt.gca().spines["top"].set_alpha(.0) #让上方和右侧的坐标轴被隐藏
plt.gca().spines["right"].set_alpha(.0);

或门

x0	x1	x2	y_or
1	0	0	0
1	1	0	1
1	0	1	1
1	1	1	1

非与门

x0	x1	x2	y_nand
1	0	0	1
1	1	0	1
1	0	1	1
1	1	1	0

上述的类型数据神经网络都能很好的处理，接下去看一个特例
异或门

x0	x1	x2	y_xor
1	0	0	0
1	1	0	1
1	0	1	1
1	1	1	0

这样的数据单层神经网络是无法处理的，深层神经网络就来了。。。。。。

2、深层神经网络

#定义三个单层网络，
def AND (X):
    w = torch.tensor([-0.2,0.15,0.15],dtype = torch.float32)#因为权重不一样，所以得局部设置w
    zhat = torch.mv(X,w)
    yhat = torch.tensor([int(x) for x in zhat>=0],dtype = torch.float32)
    return yhat
def OR (X):
    w = torch.tensor([-0.08,0.15,0.15],dtype = torch.float32)
    zhat = torch.mv(X,w)
    yhat = torch.tensor([int(x) for x in zhat>=0],dtype = torch.float32)
    return yhat
def NAND(X):
    w = torch.tensor([0.23,-0.15,-0.15],dtype = torch.float32)
    zhat = torch.mv(X,w)
    yhat = torch.tensor([int(x) for x in zhat>=0],dtype = torch.float32)
    return yhat

def XOR(X):
    s_nand = NAND(X)#中间层
    s_or = OR(X)#中间层
    bias = X[:,0]#中间层
    input_ = torch.cat([bias.view(4,1),s_nand.view(4,1),s_or.view(4,1)],dim = 1)#输出层
    yhat = AND(input_)#输出层
    return yhat

X = torch.tensor([[1,0,0],[1,1,0],[1,0,1],[1,1,1]],dtype = torch.float32)
xorgate = torch.tensor([0,1,1,0],dtype = torch.float32)
XOR(X)

权重经过特殊设置，完美预测分类结果。