几分钟看懂神经网络原理

1. 线性分类器

别嫌我罗嗦，从这里开始看你不会后悔的。

下面直线把平面分成两部分，平面上的点被分为两类：
$$w_1{x}_1+w_2{x}_2+w_0=0\text{\hspace{1em}(1)}$$
显然，给定坐标 $(x_1,x_2)$ 我们可以根据 $w_1{x}_1+w_2{x}_2+w_0$ 结果是大于零还是小于零，判断坐标落在了直线的哪一侧。为让判定结果更明确，我们把 (1) 式改造成下面的形式：

$$\begin{gathered} y=w_1{x}_1+w_2{x}_2+w_0 \\ z=\beta (y)\text{\hspace{1em}(2)} \end{gathered}$$
其中，
$$\beta (y)=\{\begin{array}{llc}1,& & (y>0)\\ 0,& & (y\le 0)\end{array}\text{\hspace{1em}(3)}$$
函数 $\beta (\ast )$ 称为激活函数。深究一下取“激活函数”这个名字，可能是因为它把大于零、小于零这种结果量化成了0、1这样具体的布尔值，于是激活了其应用价值。

把 (2) 式画成神经元的形式，我们就得到一个最简单的神经网络，输入平面点的坐标，输出一个布尔值。

2. 非线性分类

我们可以组合多个线性分类器，对稍微复杂一点的线性不可分问题建立网络模型。接下来构造一个神经网络，求两个半平面的交集
$$\begin{gathered} z_1=\beta (w_{11}{x}_1+w_{12}{x}_2+w_{10}) \\ {z}_2=\beta (w_{21}{x}_1+w_{22}{x}_2+w_{20}) \\ z=z_1\wedge z_2\text{\hspace{1em}(4)} \end{gathered}$$
逻辑运算很容易用神经元实现，假设 $x,x_1,x_2$ 都是布尔值，则
$$\begin{gathered} x_1\wedge x_2=\beta (x_1+x_2-1.5) \\ {x}_1\vee x_2=\beta (x_1+x_2-0.5) \\ \neg x=\beta (1.0-x)\text{\hspace{1em}(5)} \end{gathered}$$

于是，(4)式可以写成
$$\begin{gathered} y_1=\beta (w_{11}{x}_1+w_{12}{x}_2+w_{10}) \\ {y}_2=\beta (w_{21}{x}_1+w_{22}{x}_2+w_{20}) \\ z=\beta (y_1+y_2-1.5) \end{gathered}$$
对应的神经网络简图如下，

3. 复杂分类网络模型

上面的结构只能求若干个半平面的交集，也就是所谓的凸集。遇到一些更复杂的分类，需要把分类区域分解成若干的凸集的并，这样神经网络就需要增加一层，例如

凸集1：
$$\begin{gathered} y_1=\beta (w_{11}{x}_1+w_{12}{x}_2+w_{10}) \\ {y}_2=\beta (w_{21}{x}_1+w_{22}{x}_2+w_{20}) \\ {z}_1=\beta (y_1+y_2-1.5)\text{\hspace{1em}(6)} \end{gathered}$$

凸集2：
$$\begin{gathered} y_3=\beta (w_{31}{x}_1+w_{32}{x}_2+w_{30}) \\ {y}_4=\beta (w_{41}{x}_1+w_{42}{x}_2+w_{40}) \\ {z}_2=\beta (y_3+y_4-1.5)\text{\hspace{1em}(7)} \end{gathered}$$

最终结果，凸集的并集
$$z=\beta (z_1+z_2-0.5)\text{\hspace{1em}(8)}$$

对应的神经网络模型，

4. 小结

本文给出了平面分类模型的构建方法，对于多维空间分类问题，道理是一样的：第一层利用神经元构造一组（超）半平面，第二层利用半平面构造一组多维凸集，第三层求凸集的并集，形成对复杂空间的分类能力。

本文给说明人工建立模型的原理和方法，如何利用大数据通过算法自动建立对应的神经网络模型？下一篇文章我来讨论这个问题。