机器学习笔记06：神经网络的表示(Neural Networks-Representation)

本文链接：https://blog.youkuaiyun.com/Artprog/article/details/51338989

神经网络(Neural Networks)其实是一个很古老的想法，在提出来之后，沉寂了很长一段时间。而现在，神经网络是许多机器学习问题的首选算法。

文章内的所有图片均属于Stanford机器学习课程，转载请注明出处

一、神经网络的表示(The Representation for Neural Networks)

1、运用神经网络的动机(Motivations)

非线性的假设函数(Non-linear Hypothesis)

之前已经学习了两个机器学习中常用的方法：线性回归和逻辑回归。那为什么还需要神经网络这个东西呢。我们先来举一个监督学习中的分类问题的例子，假设有如下的训练集：

我们的目的是进行分类，假若如图所示的训练集一样，只有两个特征

x1,x2 $x_1, x_2$ ，通过逻辑回归很容易就能得到一个决策边界：
这里写图片描述

然而，当特征非常多的时候，我们必须用足够高次的项来保证假设函数的准确率，例如需要用100个特征来预测房价，且最高次项为6次，在逻辑回归中，假设函数为：

h θ (x) = g (θ T X) = 1 1 + e - θ T X

$\begin{aligned} h_\theta(x) &= g(\theta^{T}X) \\ &= \frac{1}{1+e^{-\theta^{T}X}} \end{aligned}$ 其中

g (θ T X) = g (θ 0 + θ 1 x 1 + θ 2 x 2 + . . . + θ k x 1 x 2 + θ k + 1 x 1 x 3 + . . . + θ n x 61 + θ n + 1 x 62 + . . .)

$g(\theta^{T}X)=g(\theta_0+\theta_1x_1+\theta_2x_2+...+\theta_k x_1 x_2+\theta_{k+1} x_1 x_3+...+\theta_nx_1^6+\theta_{n+1} x_2^6+...)$ 从上面这个式子可以看出，如果要用 梯度下降或者 Normal Equation方法来得到

θj $\theta_j$ 的值，势必需要巨大的计算量。就算只有100个特征，如果只用最高项为二次项的函数

g(x) $g(x)$ ，也会有

C2100+201 $C_{100}^2+201$ 个

θ $\theta$ 项。所以当遇到特征数很多的情况时，我们需要另外一种方法，也就是 神经网络(Neural Networks)

大脑和神经元(Brain and Neurons)

再来讲讲有关大脑的东西，根据一些神经科学家的研究实验发现，当一个感知器官的与对应的大脑皮层区域的连接被切断时，如果把这个感受器和另一个皮层区域连接起来，那么这个皮层区域将学会感知新的东西。举个例子：

如上图，如果把听觉感受器和听觉皮层区域的连接切断，然后把听觉感受器和视觉皮层区域相连，则视觉皮层区域也能学会处理听到的东西。
再如：
这里写图片描述

如果把触觉感受器和触觉皮层区域的连接切断，然后把触觉感受器和视觉皮层区域相连，则视觉皮层区域也能学会处理触觉。所以人们一直想要模仿人类的大脑来创造真正的AI，但是还处于初级的研究阶段，毕竟我们连大脑的机制都没完全搞清楚。

另外一个例子是用舌头来看东西：

如图，头上戴的是一个图像接收器，类似摄像头，舌头上的一个电极阵列，高电压代表亮点，低电压代表暗点，这样通过舌头就能“看”东西了。

再回到神经网络算法，我们模拟大脑的目的就是让这种算法能够学习各种各样的事物，而不必某个特别的问题来设计一个对应的程序来解决问题。

2、神经网络(Neural Networks)

模型表示(Model Representation)

首先来看看，大脑中神经元的结构：

理科生肯定都学过高中生物，图中左边的蓝色部分上的分杈叫做树突(Dendrite)，它可以连接多个其他的神经元；细胞体中的绿色部分为细胞核；黄色部分为轴突(Axon)；最右边为轴突末梢(Axon terminal)，它可以和其他神经细胞的树突相连接。一个神经细胞可以和另一个神经细胞相连：
这里写图片描述