DAN_L的博客

一、RNN概念循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归（recursion）且所有节点（循环单元）按链式连接的递归神经网络（recursive neural network）。二、LSTM(Long Short Term Memory)...

一、传统神经网络存在的问题（一）权值太多，计算量太大（二）权值太多，需要大量样本进行训练二、局部感受野1962年哈佛医学院神经生理学家Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野 (receptive field)的概念，1984年日本学者Fukushima基于感受野概念提出的神经认知机 (neocognitron)可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领 域的首次应用。三、卷积神经网络CNNCNN通过感受野和权值共享减少了神经网络需要训练的参

一、验证码识别原理分析实质是计算机识别像素二、流程三、代码实现import tensorflow as tfFLAGS = tf.app.flags.FLAGStf.app.flags.DEFINE_string(‘captcha_dir’, ‘D:\PycharmProjects\Mytest\深度学习.深度学习\tfrecords\captcha.tfrecords’,‘验证码数据的路径’)tf.app.flags.DEFINE_integer(‘batch_size’, 100,

一、流程（一）准备数据（二）卷积、激活、池化（两层）（三）全连接层（四）计算准确率二、分析数据维度三、代码实现import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data定义一个初始化权重的函数def weight_variables(shape):w = tf.Variable(tf.random_normal(shape=shape, mean=0.0, stddev=1.0))

动态观察视频http://playground.tensorflow.org/一、深层的神经网络深度学习网络与更常见的单一隐藏层神经网络的区别在于深度，深度学习网络中，每一个节点层在前一层输出的基础上学习识别一组特定的特征。随着神经网络深度增加，节点所能识别的特征也就越来越复杂。二、卷积神经网络（一）卷积神经网络与简单的全连接神经网络的比较1、全连接神经网络的缺点（1）参数太多，在cifar-10的数据集中，只有32323，就会有这么多权重，如果说更大的图片，比如2002003就需要1200

一、sigmoid的偏导数计算公式g’(z)=a(1-a)二、tanh的偏导数计算公式g’(z)=1-a^2三、relu的偏导数计算公式g’(z)= 0(z<0),1(z>=0)四、leaky relu的偏导数计算公式g’(z)= 0.01(z<0),1(z>=0)