ML笔记——神经网络

目录

---

想法

用计算机的方式表示各个神经元，模仿生物的大脑。
用数据表示各个神经细胞，用函数表示神经细胞间的传递过程。

数学表达

其中的

$$x_1,\ x_2$$ 表示原始数据，
$$a^{(2)}_1$$ 表示第二个激活层的第一个单元
由原始数据向激活层传递的过程表示为
$$a^{(2)}_1=g(\theta^{(1)}_{10}x_0+\theta^{(1)}_{11}x_1+\theta^{(1)}_{12}x_2)$$
上式中的 $$\theta^{(j)}_{ik}$$ 表示为从第 j 层中的第 k 个单元向第 j+1 层中第 i 个单元传递的权值
其中的假设函数
$$h_\theta(x)=a^{(2)}_1$$
对于再复杂一些的网络如下图：

则有
$$a^{(2)}_1=g(\theta^{(1)}_{10}x_0+\theta^{(1)}_{11}x_1+\theta^{(1)}_{12}x_2+\theta^{(1)}_{13}x_3)$$ $$a^{(2)}_2=g(\theta^{(1)}_{20}x_0+\theta^{(1)}_{21}x_1+\theta^{(1)}_{22}x_2+\theta^{(1)}_{23}x_3)$$ $$a^{(2)}_3=g(\theta^{(1)}_{30}x_0+\theta^{(1)}_{31}x_1+\theta^{(1)}_{32}x_2+\theta^{(1)}_{33}x_3)$$
$$h_\theta(x) = a^{(3)}_1 = g(\theta^{(2)}_{10}a^{(2)}_0+\theta^{(2)}_{11}a^{(2)}_1+\theta^{(2)}_{12}a^{(2)}_2+\theta^{(2)}_{13}a^{(2)}_3)$$

实现过程

神经网络的实现方式可以选择一组基本操作（如：加减法），再通过这一组基本操作求解复杂过程的解（如：解一元一次方程）
机器学习视频中讲述的是通过构造与、或、非三个基本的逻辑运算，并用这些简单的神经网络构造异或运算