手写简单神经网络

原创

于 2019-08-20 15:30:50 发布 · 1.5k 阅读

CC 4.0 BY-SA版权

文章标签：

本文介绍了手动构建神经网络的基本步骤，包括定义sigmoid激活函数、初始化权重、前向传播、反向传播和权重更新。通过一个简单的两层神经网络实例，详细解释了神经网络的工作原理，如激活函数的作用、链式法则在反向传播中的应用，以及梯度下降在参数更新中的意义。

最进在学神经网络，所以就得先从基础得做起，手写神经网络（斜眼笑），那就~开始吧！！

import numpy as np

#sigmoid激活函数
def sigmoid(x,deriv=False):
    if deriv == True:
        return x*(1-x)
    else:
        return 1/(1+np.exp(-x))

在这里先写一个sigmoid激活函数，else后面就是sigmoid得表达式，其数学公式也很简单

在这里插入图片描述
它的图像是这样的

至于if后面的x*(1-x)是sigmoid函数的求导之后的表达式，其化简过程是这样的
其中

至于为什么是x*(1-x)，下面在作解释，现在我们得定义输入了，再次就随意定义了，只为说明神经网络原理，

#输入x
x = np.array([[0,0,1],
              [0,1,1],
              [1,0,1],
              [1,1,1],
              [0,0,1]])

#输入y
y = np.array([[0],