读书笔记1-DL

 

 

 

 1. 为什么要激活函数？

由于神经网络的正向传播是通过线性组合实现的，导致神经网络是一个线性的模型。

将神经网络的输出，输入到非线性的激活函数里，使得整个神经网络不再是线性的，

可以处理非线性的问题。

P69：

 

2. 常用的激活函数有哪些？

P70：

 

3. 交叉熵的作用？

判断输出向量和期望向量的接近程度，刻画了两个概率分布的距离。

P74：

 

4. Softmax激活函数的特点？与Sigmoid激活函数的区别？

Softmax将神经网络的输出变成概率分布。

P75：

 

5. 回归问题，使用什么损失函数？

均方差

P77：

 

6. 为什么要分批处理？

P83：

 

7. 怎样避免过拟合？

P87：

 

8. 什么是滑动平均模型？

通过控制衰减率来控制参数更新前后之间的差距，从而达到减缓参数的变化值

（如，参数更新前是5，更新后的值是4，通过滑动平均模型之后，参数的值会在4到5之间），

如果参数更新前后的值保持不变，通过滑动平均模型之后，参数的值仍然保持不变。

P90：

 

9.