从零搭建神经网络解决异或问题

从零搭建神经网络解决异或问题

PS: 本篇文章不涉及调用任何有关机器学习的库，例如TensorFlow，Pytorch等

• 通过阅读本篇文章，你可能收获如下：
  • 了解神经网络的结构
  • 理解前向传播和反向传播的本质
  • 理解激活函数的意义以及它在反向传播中的作用

---

数据集

很简单就四个数据点 (x,y) label

• (0,0) 0
• (1,0) 1
• (0,1) 1
• (0,0) 0

网络结构

由于单层神经网络不能解决2维异或问题，所以设计含1层隐藏层的神经网络

$$n_1=w_{11}\ast I_1+w_{21}\ast I_2+b_1\text{\hspace{1em}(1)}$$
$$n_3=w_{12}\ast I_1+w_{22}\ast I_2+b_2\text{\hspace{1em}(2)}$$
$$n_2=tanh(n1)\text{\hspace{1em}(3)}$$
$$n_4=tanh(n3)\text{\hspace{1em}(4)}$$
$$n_5=w_3\ast n_2+w_4\ast n_4+b_3\text{\hspace{1em}(5)}$$
$$n_6=sigmoid(n_5)\text{\hspace{1em}(6)}$$

• 这里给出激活函数的求导性质(后面要用到)
  $$\{\begin{array}{c}f(x)=sigmoid(x)\\ f(x{)}^{\prime }=f(x)(1-f(x))\end{array}\text{\hspace{1em}(7)}$$
  $$\{\begin{array}{c}g(x)=tanh(x)\\ g(x{)}^{\prime }=1-g(x{)}^2\end{array}\text{\hspace{1em}(8)}$$

前向传播和反向传播

• 前向传播很好理解，就是给定输入和神经网络，得到输出的过程，在这里就是给定 $I_1$ 和 $I_2$ 得到 $n_6$ 的过程，具体计算过程已经由上面公式给出
• 下面重点介绍反向传播
  • 首先给出损失函数的定义
    $$loss=(n_6-label{)}^2\text{\hspace{1em}(9)}$$</