bp神经网络学习01

最新推荐文章于 2023-01-27 20:49:42 发布

原创

最新推荐文章于 2023-01-27 20:49:42 发布 · 421 阅读

1 ·

CC 4.0 BY-SA版权

本文介绍了bp神经网络的基本理论，详细推导了阈值b的反向传播误差调整公式，并提供了Python代码实现，包括不带阈值和带阈值的情况，同时探讨了使用relu和sigmoid作为激活函数的不同简写形式。

1、bp神经网络理论

以下内容摘自《人工神经网络理论、设计及应用》韩力群
在这里插入图片描述

2、阈值b反向传播调整公式推导

在《人工神经网络理论、设计及应用》韩力群，只是推导了权值误差调整公式，下面我推导一下阈值b的误差调整公式。
在这里插入图片描述

3、python 实现

下面代码是隐层与输出层不带阈值的情形：

from functions import *
x=np.array([[0,0,0],[0,1,1],[1,0,1],[0,0,1]])
t=np.array([[0],[1],[1],[0]])
class SimpleNet():
          def __init__(self,input_size,hidden_size,output_size):
                    self.w0=np.random.random((3,4))-1
                    self.w1=np.random.random((4,1))-1
          def sigmoid(self,x,bl=False):
                    if bl==True:
                              return x*(1-x)