关于感知机（动手学深度学习10）

 首先放上学习链接——

10 多层感知机 + 代码实现 - 动手学深度学习v2_哔哩哔哩_bilibili

该章笔记：

一、最初的感知机

最初的感知机由基本线性回归模型组成

 

 

 

 

但是它只能作二分类，即输出0/1；或者说1/-1

与回归比较——回归输出实数

与softmax比较——输出概率 

感知机是如何训练的？

 

关于感知机的收敛定理

（图源视频）

感知机的缺陷： 不能拟合XOR问题、只能产生线性分割面

 二、多层感知机

相比最初的感知机，多层感知机使用了隐藏层和激活函数来得到线性模型

隐藏层大小是超参数

单隐藏层：

如果作的是单分类---

 

 

如果作的是多分类---

 这里表示三个隐藏层，可以看出每一层隐藏层的计算的输入都是上一隐藏层的输出

对应的，如果是多分类（假设K类）的输出，那么：

 

最后总结一下激活函数：

一、sigmoid函数，它的取值范围是（0，1）

 二、Tanh函数，它的取值范围是（-1,1）

用得比较少

 三、ReLU函数，它的取值范围是max(x,0)

即最小是0、这个函数是最常用的、当不知道用什么的时候可以用这个。

 

总结：

• 之所以，ReLU函数用得最多，是因为它的计算比较方便，前两个函数都是指数运算，指数运算是很贵的。
• 多分类问题仍然是用softmax来处理