吴恩达coursera机器学习个人向笔记——9章神经网络学习

课时62非线性假设09:36

对图1那样的作分类，
逻辑斯蒂回归中，只要g(θ转X)中的(高次)项足够多，就一定能找出边界
但这是2个特征的情况
如果有100个特征，二次交叉项会将近5000个
如果只考虑平方不考虑交叉，只能得到椭圆之类的边界，是不可能得到弯弯曲曲的边界的
所以必须要引入交叉项
问题就来了
特征个数的增加会导致项数（特征空间）的急剧增大
所以，特征多的时候用逻辑斯蒂回归建立非线性分离器不好用
→要用神经网络

课时63神经元与大脑07:47

把任何传感器接入大脑中，大脑的学习算法就能找出学习数据的方法。
只要一个算法，不用很多个→神经网络

课时64模型展示Ⅰ12:01

θ 上标( j )表示第j层，下标 i k 表示第j+1层的神经元中的第i个，k是第j层神经元的第k个前面的参数
假设第 j 层神经 有S_j个神经元
第j+1层神经 有S_(j+1)个神经元
则计算第j+1层时 用到的θ^(j) 就是S_(j+1) × （S_j +1）矩阵

也就是 计算本层(j+1层)某一个神经元输出值时，前一层神经元要乘的参数矩阵（然后还要激活才得到这一层的一个神经元的输出）
❤θ(j) 是 本层神经元数×（前一层神经元数+1）矩阵

课时65模型展示Ⅱ11:46

矩阵表示：a是列向量
a(j+1)=g[ θ(j) a(j)]，j=1到n

从输入层到隐藏层到输出层的过程叫 前向传播

最后一层神经网络像逻辑回归
h=g(θ转置x)实际上原理是一样的。

所以在多层神经网络里每层没有用原始的x作逻辑回归，而是用前一次的a。

逻辑回归里如果我们把x1 x2 x3改成x1x2 x1x3之类的可能得到更好的效果，也就是输入值(特征)对最后的结果是有影响的

那么多层神经网络可以理解为，每层产生多个新的特征，然后下一层用新的特征多次逻辑回归，产生更新的复杂特征项到下一层。。。

课时68例子与直觉理解Ⅰ07:15

神经网络如何计算复杂非线性函数的输入？

例子展示了神经网络中1个神经元（通过不同的θ值）实现了 逻辑函数的功能
以上是且 和 或 运算的例子（逻辑运算）

课时70例子与直觉理解Ⅱ10:20

神经网络如何计算复杂非线性函数的输入？
否运算：在x1前面乘以一个绝对值比较大的负数

XNOR指的是 x1=x2时则取1，x1≠x2时则取0
我们通过① and 运算 [只有x1=x2=1才输出1]
②（非x1）且(非x2) 运算 [这个只有x1=x2=0才输出1]
把①②两者 或 起来，就能实现XNOR运算

这个例子展示了神经网络是如何实现复杂非线性的。
每层都是简单的函数
最后得到的是复杂的函数
(计算到后面结果越来越复杂)

邮政码识手写识别的例子，你可能不明白每一层在干什么，但是结果是对的

课时71多元分类03:51

手写识别的例子就是多分类问题
0到9一共10类
现在以识别行人，汽车，摩托，巴士为例子
最后一层是4个神经元
输出表示方法是一个4维向量，而不是1,2，3,4
训练集有多个 (x,y)的样本
x表示输入的是人/车/摩托/巴士的图
y是4维向量
我们想办法找到方法h
使得h(x)≈y