关于神经网络一些容易被忽略的问题

关于神经网络一些容易被忽略的问题

---

1.在多层感知机中，我们都知道神经元之间通常使用“全连接”方式进行连接。那么什么是“全连接”方式呢？

所谓的“全连接”是指两个相邻层之间的神经元相互成对连接，但同一层内神经元之间没有连接。

2. 神经网络的损失函数为什么一般采用凸函数？

对于优化问题来说，凸函数具有一个良好的性质：凸函数的局部最优解即是全局最优解。因此采用梯度下降法能帮助凸函数找到全局最小值。

3. 在LSTM中，为什么三个门的结构采用的是sigmoid函数，而内部记忆单元和隐式编码采用了tanh函数而没有继续采用sigmoid函数？

与sigmoid和tanh函数的值域有关，由于sigmoid函数值域在（0，1）之间，三种门采用sigmoid这一非线性映射函数对信息起到了“控制”的作用，tanh函数的值域在（-1，1）之间，使得其在信息整合时起到信息“增为正，减为负”的效果。

4. 卷积操作的步伐（striding）有什么作用？

步伐参数就是卷积核做卷积过程中，在图像上每一步所跳跃的格点数量，相当于卷积加池化。
扩展：
关于卷积中输出图像特征大小：假如输入图像尺寸是w，卷积窗口大小是s，填充数为c，步伐为d，那么输出的特征图大小为

---

待补充系列