吴恩达机器学习-第八章个人笔记

8、1非线性假设

如果我们用logistic回归处理这个模型的话：
假设函数如下：g($\theta$₀+$\theta$₁x₁+$\theta$₂x₂+$\theta$₃x₁x₂+$\theta$₄x₁²x₂……）
一般来说，特征项会很多，此时设特征项个数为n,则此时如果仅仅考虑二次项，此时大约有n²/2个，有时甚至需要考虑三次项、四次项，会让特征空间急剧增大。所以用logstic回归并不好。

上图使用简单的logistic回归，会需要3000000万个特征项。
而神经网络对处理这种非线性假设问题来说是一种更好的方法。

8、2神经元和大脑

神经网络：在上世纪八九十年代被广泛应用，在九十年代后期应用逐渐消失，最近由于计算机性能的提升，神经网路又开始被广泛应用。

8、3模型展示1

神经元：
神经元模型：logistic unit

其中x₀叫做偏置神经元，值为1，可写可不写。

神经网络：

a_i^(j)表示第j层的第i个激活项；
$\theta$^(j)表示从j层到j+1层的权重控制函数。

故上图中的$\theta$⁽¹⁾是个3*4的矩阵

8、4模型展示2

神经网络的向量化运算：

神经网络中的逻辑回归部分：

仅仅看隐藏层到输出层就是一个logistic regression.只不过特征项是经过计算得出来的值，而非原始的特征项。

8、5例子1

左边模型可以看做右边模型的简化版。

逻辑与的实现：

逻辑或的实现：

逻辑非的实现：

8、6例子2

逻辑x₁XNORx₂的实现：

8、7多类别分类

该神经网络用于识别行人、汽车、摩托车以及卡车。