Mr_Researcher 的博客

1.1 自动编码器  自动编码器（AutoEncoder，AE）就是一种尽可能复现输入信号的神经网络，其输出向量与输入向量同维，常按照输入向量的某种形式，通过隐层学习一个数据的表示或对原始数据进行有效编码。值得注意的是，这种自编码器是一种不利用类标签的非线性特征提取方法， 就方法本身而言， 这种特征提取的目的在于保留和获得更好的信息表示， 而不是执行分类任务，尽管有时这两个目标是相关的。  一个典型

1.1 BP神经网络  BP神经网络是1968年由Rumelhart和Mcclelland为首的科学家提出的概念，是一种按照误差反向传播算法进行训练的多层前馈神经网络，是目前应用比较广泛的一种神经网络结构。BP网络神经网络由输入层、隐藏层和输出层三部分构成，无论隐藏层是一层还是多层，只要是按照误差反向传播算法构建起来的网络（不需要进行预训练，随机初始化后直接进行反向传播），都称为BP神经网络。BP神

一、概述  梯度下降算法（Gradient Descent Optimization）是神经网络模型训练最常用的优化算法。对于深度学习模型，基本都是采用梯度下降算法来进行优化训练的。梯度下降算法背后的原理：目标函数关于参数的梯度将是目标函数下降最快的方向。对于最小化优化问题，只需要将参数沿着梯度相反的方向前进一个步长，就可以实现目标函数的下降。这个步长又称为学习速率。参数更新公式如下：其中是参数的梯