深度学习与神经网络
关注
分享
扫一扫
深度学习与神经网络基础
two_apples
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
LSTM如何解决梯度消失与梯度爆炸
这是一张经典的LSTM示意图，LSTM依靠 ftf_tft、iti_tit、oto_tot来控制输入输出，ft=σ(Wf⋅[ht−1,xt]+bf)f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)ft=σ(Wf⋅[ht−1,xt]+bf)it=σ(Wi⋅[ht−1,xt]+bi)i_{t...原创 2020-03-28 13:06:45 · 3071 阅读 · 0 评论 -
LSTM的经典变式
之前描述的LSTM结构是最为普通的。在实际的文章中LSTM的结构存在各种变式，虽然变化都不会太大，但是也值得一提。peephole connections结构 由Gers & Schmidhuber (2000)提出，它在LSTM的结构中加入了“peephole connections.”结构，peephole connections结构的作用是允许各个门结构能够看到细胞信息，具...原创 2020-03-28 12:14:58 · 1151 阅读 · 0 评论 -
RNN梯度消失和爆炸的原因
一个经典的RNN结构如下图所示： 假设我们的时间序列只有三段， S0S_0S0为给定值，神经元没有激活函数，则RNN最简单的前向传播过程如下:S1=WxX1+WsS0+b1O1=WoS1+b2S_{1}=W_{x} X_{1}+W_{s} S_{0}+b_{1} O_{1}=W_{o} S_{1}+b_{2}S1=WxX1+WsS0+b1O1=WoS1+b2S2=Wx...转载 2020-03-27 14:20:48 · 2277 阅读 · 4 评论 -
R-CNN、SPPNet、Fast Rcnn、Faster R-CNN 原理以及区别
R-CNN原理：R-CNN遵循传统目标检测的思路，同样采取提取框，对每个框提取特征，图像分类，非极大值抑制等四个步骤，只不过在提取特征这一步将传统的特征换成了深度卷积网络提取的特征。对于原始图像， 首先使用Selective Search 搜寻可能存在物体的区域。Selective Search 可以从图像中启发式地搜索出可能包含物体的区域。相比穷举而言， Selective Search 可...原创 2020-02-19 21:15:57 · 1556 阅读 · 0 评论 -
tensorflow基础学习——滑动平均模型与学习率的理解
在看代码中的时候看到这么一行参数# 配置模型相关参数LEARNING_RATW_BASE = 0.8 # 基础的学习率LEARNING_RATE_DECAY = 0.99 # 学习率的衰减率REGULARIZATION_RATE = 0.0001 # 描述模型负责度的正则化项在损失函数中的系数TRAINING_STEPS = 30000 #...原创 2019-09-19 22:00:32 · 360 阅读 · 0 评论 -
神经网络基础学习—四种上采样
第一种上采样：第二种上采样：第三种上采样：第四种上采样：其中第四种是一个反卷积的过程：如上图输入时一个22的图像，核是一个44的矩阵，该式子采用步长为3，对其进行反卷积，重叠部分进项相加。...原创 2019-09-17 22:12:30 · 3259 阅读 · 0 评论 -
神经网络基础学习笔记—s激活函数
在激活函数中，我们常常要考虑激活函数的阈值。可以看到，在输入值比较小的情况下，输出为0，然而，一旦输入达到阈值，输出就一跃而起。原创 2019-09-02 15:46:59 · 2490 阅读 · 0 评论 -
tensorflow基础学习—LeNet-5模型
LeNet-5模型是第一个成功应用于数字识别问题中的卷积神经网络，在MNIST 数据集上， LeNet-5 模型可以达到大约99.2% 的正确率。LeNet-5 模型总共有7 层第一层：卷积层：这一层的输入就是原始的图像像素， LeNet-5 模型接受的输入层大小为32 * 32 *1 。第一个卷积层过滤器的尺寸为5 × 5 ，深度为6 ，不使用全0 填充，步长为1 。因为没有使用全0填充，所...原创 2019-08-30 15:14:09 · 731 阅读 · 0 评论 -
tensorflow基础学习—卷积神经网络_池化层
在卷积神经网络的大致结构，卷积层之间往往会加上一个池化层，池化层可以有效地缩小矩阵的尺寸，从未减少最后全连接层中的参数，使用初花层可以加快计算速度也有防止过拟合问题的作用。与卷积层类似，池化层前向传播的过程也是通过移动一个类似过滤器的结构完成的。不过池化层过滤器中的计算不是节点的加权和，而是采用更加简单的最大值或者平均值运算。使用最大值操作的池化层被称之为最大池化层， 这是被使用得最多的池化层结...原创 2019-08-29 11:19:38 · 640 阅读 · 0 评论 -
tensorflow基础学习—卷积神经网络_卷积层
卷积神经网络中的过滤器，可以将当前层神经网络上的一个节点矩阵转化成下一层神经网络的单位节点矩阵，单位节点矩阵指的是长和宽都为1，但深度不限的节点矩阵。在一个卷积层中，过滤器所处理的节点矩阵的长和宽都是有人工指定的，这个节点矩阵的尺寸也被称之为过滤器的尺寸。常用的过滤器尺寸有33,或者55.因为过滤器处理的矩阵深度和当前称神经网络节点矩阵的深度一致的，所以虽然节点矩阵是三维的，但过滤器的尺寸只需要...原创 2019-08-28 20:45:32 · 669 阅读 · 0 评论 -
tensorflow基础学习—卷积神经网络与全连接神经网络
如图中显示的全连接神经网络结构和卷积神经网络的结构直观上差异比较大，但实际上它们的整体架构是非常相似的。从图中可以看出，卷积神经网络也是通过一层一层的节点组织起来的。和全连接神经网络一样， 卷积神经网络中的每一个节点都是一个神经元。在全连接神经网络中，每相邻两层之间的节点都有边相连，于是一般会将每一层全连接层中的节点组织成一列，这样方便显示连接结构。而对于卷积神经网络，相邻两层之间只有部分节点相连...原创 2019-08-26 16:03:35 · 1615 阅读 · 0 评论 -
tensorflow基础学习—tensorflow 模型持久化
在训练完之后，将训练得到的保存下来方便下次使用，为了让训练结果可以重复使用，可以将训练模型持久化Tensor Flow 提供了一个非常简单的API 来保存和还原一个神经网络模型。这个API 就是tf. train. Saver 类。以下代码给出了保存TensorFlow 计算图的方法import tensorflow as tf #声明两个变量并计算出他们的和v1=tf.Variab...原创 2019-08-26 11:19:12 · 299 阅读 · 0 评论 -
tensorflow基础学习——变量管理—tf.variable_scope()
变量管理即是当神经网络参数在网络结构更加复杂的时候，参数更加多的时候，来用一个更好的方式来管理网络神经的参数，tensorflow提供他送过名称来创建或者获取一个变量名的机制，通过这个机制，在不同函数中可以直接通过变量的名字来使用变量，而不需要将变量通过参数的形式来传递。在创建变量的时候采用的“tf.get_variable()与tf.Variable()”等价，下面两种表达方式是等价的：#下...原创 2019-08-22 11:35:18 · 1877 阅读 · 1 评论 -
TensorFlow基础学习——MNIST数据集（1）
MNIST数据集是一个NIST数据集的一个子集，它包含了6000张的图片作为训练数据，1000张图片作为训练数据集1000张图作为测试数据集在MNIST数据集中每张照片都代表了0-9中的一个数字，图片的大小为28*28用如下代码导入MNIST的数据包：from tensorflow.examples.tutorials.mnist import input_datamnist = inp...原创 2019-08-02 16:09:45 · 931 阅读 · 0 评论 -
tensorflow基础学习—滑动平均模型
滑动平均模型可以再一定程度上提高最终模型在测试数据上的表现，下面来说说我对它的理解。下面来介绍一下google 关于滑动平均模型的原话介绍：在tensoreflow中提供了tf.train.ExponentialMovingAverage来实现滑动平均模型。在初始化ExponentialMovingAverage时，需要提供一个衰减率（decay）。这个衰减率将用于控制模型更新的速度。Expo...原创 2019-07-26 15:17:52 · 505 阅读 · 0 评论