qihshe的博客

参数共享和稀疏计算。

当你尝试优化任务B的性能，并且任务B的数据相对较少，你可以找一个相关但不同的任务（拥有大量数据），such as图像识别，并从中学到很多低层次特征，能帮助你提升B的性能。

我们结合概率论的知识来具体看一下：假设一个神经元的输出激活值为a，在不使用dropout的情况下，其输出期望值为a，如果使用了dropout，神经元就可能有保留和关闭两种状态，把它看作一个离散型随机变量，它就符合概率论中的0-1分布，其输出激活值的期望变为 p*a+(1-p)*0=pa，此时若要保持期望和不使用dropout时一致，就要除以 p。dropout随机失活，消除一些节点的影响，但为了不影响整体得 / keep-prob，补偿归零带来的损失，确保a3期望值不变。

隐层使用的激活函数必须是非线性的（除机器学习中的回归问题），否则毫无意义，因为多层线性操作等价于一层线性操作。(i)上标表示第几个样本。[1]上标表示第几层。

VGGNet采用了多次堆叠3x3的卷积核，这样做的目的是减少参数的数量。例如，2个3x3的卷积核效果相当于1个5x5的卷积核效果，因为它们的感受野（输入图像上映射区域的大小）相同。但2个3x3卷积核的参数个数（18个）却比1个5x5（25个）的卷积核参数个数少。类似地，3个3x3的卷积核相当于1个7x7的卷积核，而1个7x7的卷积核的参数个数为49，而3个3x3的卷积核的参数个数仅为27。

循环神经网络（RNN）是一种深度学习神经网络，专门用于处理序列数据，如文本、语音和时间序列数据。RNN的独特之处在于它具有循环连接，允许信息在网络内持续流动，以便处理先前的输入信息，具体的表现形式为网络会对前面的信息进行记忆并应用于当前的计算中，即当前时刻利用了上一时刻的信息。

神经网络（Neural Network）是一种受到生物神经系统启发的计算模型，用于模拟和解决各种机器学习和人工智能任务

反向传播全名是反向传播误差算法（Backpropagation），是一种监督学习方法，用于调整神经网络中权重参数，以最小化模型的预测误差。

池化相当于对输入数据的高度和宽度进行缩小，通过对数据进行分区采样，把一个大的矩阵降采样成一个小的矩阵，减少计算量，同时可以防止过拟合。

深度学习解决的问题自动提取出最合适的特征深度学习应用神经网络基础损失函数前向传播反向传播