神经网络 深度神经网络,深度神经网络计算公式

常见的深度学习算法主要有哪些？

深度学习常见的3种算法有：卷积神经网络、循环神经网络、生成对抗网络。

卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习的代表算法之一。

循环神经网络(Recurrent Neural Network, RNN)是一类以序列数据为输入，在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络。

生成对抗网络(GAN, Generative Adversarial Networks )是一种深度学习模型，是最近两年十分热门的一种无监督学习算法。

谷歌人工智能写作项目：神经网络伪原创

深度神经网络中最上面一个隐层到输出层之间的权重和偏移量如何计算？

说的确定应该就是训练方法吧，神经网络的权值不是人工给定的写作猫。

而是用训练集（包括输入和输出）训练，用训练集训练一遍称为一个epoch，一般要许多epoch才行，目的是使得目标与训练结果的误差(一般采用均方误差）小到一个给定的阈值。

以上所说是有监督的学习方法，还有无监督的学习方法。

bp算法在深度神经网络上为什么行不通

BP算法作为传统训练多层网络的典型算法，实际上对仅含几层网络，该训练方法就已经很不理想，不再往下进行计算了，所以不适合深度神经网络。

BP算法存在的问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小。（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）。