自己建立的3层神经网络

最新推荐文章于 2025-07-09 18:46:24 发布

原创

最新推荐文章于 2025-07-09 18:46:24 发布 · 1k 阅读

1 ·

CC 4.0 BY-SA版权

这篇博客介绍了一个自建的3层神经网络，输入为4元素，第一层有4个隐藏神经元，第二层有3个，输出层1个。作者使用numpy进行矩阵运算，应用sigmoid激活函数，并通过梯度下降法更新权重和偏置，进行了30000次迭代以优化损失函数。最后展示了损失函数的变化趋势图。

#3层网络，4元素输入，4个第一层隐藏神经元，3个第二层隐藏神经元，1个输出，4*4*3*1
import numpy as np
import math
import matplotlib.pyplot as plt
X = np.array([[0,0,1,1],
    [0,1,1,0],
    [1,0,1,1],
    [1,1,1,0]])
Y = np.array([[0,1,1,0]])
iter_times=30000
α=0.01
def sigmoid(x):
   return 1/(1+np.exp(-x))
def diriv(a):
   return a*(1-a)
#loss function: L(a,y)=-(ylog(a)+(1-y)log(1-a))
W1 = np.random.random((4,4)) 
W2 = np.random.random((3,4)) 
W3 = np.random.random((1,3))
b1 =0
b2 =0
b3 =0
Cost=[]


for i in range(iter_times):
   A1=sigmoid(np.dot(W1,X)+b1)
   A2=sigmoid(np.dot(W2,A1)+b2)
   A3=sigmoid(np.dot(W3,A2)+b3)
   J=Y*(np.log10(A3))+(1-Y)*(np.log10(1-A3))
   J=1/4*J.sum(axis=1)
   Cost.append(abs(J))

   dZ3=A3-Y
   dW3=1/4 *np.dot(dZ3,A2.T)
   db3=1/4*np.sum(dZ3, axis=1, keepdims=True)

   dZ2=np.dot(W3.T,dZ3)*diriv(A2)
   dW2=1/4*np.dot(dZ2,A1.T)
   db2=1/4*np.sum(dZ2, axis=1, keepdims=True)

   dZ1=np.dot(W2.T,dZ2)*diriv(A1)
   dW1=1/4*np.dot(dZ1,X.T)
   db1=1/4*np.sum(dZ1, axis=1, keepdims=True)

   W