SL1109

DL数学基础：https://segmentfault.com/a/1190000011920369涉及：基础概念、概率与信息论不分、机器学习基础、神经网络基础    

 在之前学习基础上不断的提升Mnist识别准确率：1.学习率的使用：lr=tf.Variable(0.001,dtype=tf.float32)#学习率的变量，初始学习率是0.0012.适合S神经元输出优化器的使用：train_step=tf.train.AdamOptimizer(lr).minimize(loss)学习率不断减少（收敛速度由快到慢） for epoch ...

手撕代码网络搭建完成后1.查看网络结构（所搭建网络结构可视化）可视化不同则代码不同，命名的地方不同：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据(可以是某盘的绝对路径)（我的数据存储在运行路径下）#可视化（暂时不关心结果，只关心结构）#载入数据mnis...

评价标准可视化代码：主要是添加#参数概要 。 在运行出错的时候，利用菜单栏中的 Kernel中的“Restart & Run All”import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据(可以是某盘的绝对路径)（我的数据存储在运行路径下）#可视化（暂时不关心...

 代码：import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据(可以是某盘的绝对路径)（我的数据存储在运行路径下）from tensorflow.contrib.tensorboard.plugins import projector#可视化（暂时不关心结果，只关心结构...

一、CNN的引入：1.1 传统神经网络（人工全连接网络）存在的问题（当处理图片问题）：1.）权值太多，计算量太大2.）权值太多，需要大量的样本进行训练经验之谈：样本数据量大小是未知参数（权值）的5~30倍。如：输入一张黑白28*28图片，假设隐层是15个神经元，则参数：784*15=11760个。 如果输入是彩色的，则参数是：3  *784 *15个。输入格式：一维向量。...

1.CNN实现MNIST数据集分类（最后的ACC=99.2）import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets("MNIST_data",one_hot=True) #每个批次的大小batch_size=100...

理论讲解RNN：语音识别、自然语言处理，机器翻译，图像描述等方面应用。RNN缺点：部分信息会随着网络逐渐递减，好的信息，不好的信息它都会记住。递归神经网络RNN和BP神经网络的区别：不同点：递归神经网络L有反馈回路，可以记住上一次的输出，并作为下一次的输入之一，BP神经网络没有反馈回路。 相同点：都有梯度消失的问题，之前输入的数据会随着时间的流逝，信号会不断的衰弱，对决策...

1.模型的保存（代码）import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#载入数据(可以是某盘的绝对路径)（我的数据存储在运行路径下）#mnist = input_data.read_data_sets('C:\\Users\\ZSl\\Documents\\MNIST_da...

 inception-v3模型：google图像识别的网络模型1. 在线下载模型代码：import tensorflow as tfimport osimport tarfileimport requests# inception-v3 是googlenet的第三个版本#inception模型下载地址inception_pretrain_model_url = 'http:...

优化器种类（学习器）：1.梯度下降法（3种）优化器：样本多时：随机梯度下降法快，标准梯度下降法慢。随机梯度下降法：SGD梯度下降法的运行方式：算术符号表示：2.Momentum优化器：3.NAG（Nesterov accelerated gradient）优化器4.Adagrad优化器5.RMSprop优化器：6.Adad...

1.过拟合 在训练集的准确率很高很高，即在训练集训练到的网络模型在测试集中不适用。即在测试集的准确率却不高（即， acc_train和acc_test差距过大！）。 使用用Dropout即 `keep_prob ！=1.0后使得acc_train和acc_test差距缩小。回归问题（连续问题）： 离散问题 2.防止过拟合的方法方法1.增加数据集方法2.正则化方法：在代价函数后...

 激活函数（激励函数）： 定义：    阈值函数 threshold function ：      大于a——被激活       小于a——没有激活 原因：分类是0 1分类，不可微——用Sigmoid函数来代替——所以，NN的训练就可以用梯度下降来构造，这就是反向传播算法。作用：   就是将权值结果转化为分类结果   如：将神经网络的权值8映射为类A，...

迁移学习：物体识别模型可能含有数百万个参数，将耗费几周的时间去完全训练。因此我们采用迁移学习的方法，在已经训练好的模型（基于ImageNet）上调整部分参数（Inception_V3），实现自己数据集的分类。3种方法：方法1：无到有（从头开始训练）：自己准备好的数据，拿一个别的模型（inception模型），利用最最初始的参数重新开始训练一个属于自己数据集的模型【更改整个网络的参数】）...

程序目的： 优化k、b值，产生优化的函数 环境： Tensorflow 代码执行过程：import tensorflow as tfimport numpy as np#利用numpy包 为了产生随机数#使用numpy包产生100个随机数x_data = np.random.rand(100)#一个线性函数（相当于真实样本）y_data = x_data*0.1 + 0.2...

目的： 根据输入的x来预测输出的y，一共是3层：输入（1个神经元）——隐层(10个神经元)——输出（1个神经元）import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt#使用numpy 城生成200个随机点(-0.5到0.5均匀分布的200个随机点)x_data=np.linspace(-0.5,...

batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；iteration：1个iteration等于使用batchsize个样本训练一次；epoch：1个epoch等于使用训练集中的全部样本训练一次；如：训练集有1000个样本，batchsize=10，那么：训练完整个样本集需要：100次iteration，1次epoch。...

1.Mnist介绍训练集数据+训练集标签6万测试集数据+测试集标签1万每张：28*28，转化为一个向量=28*28=784,所以得到训练集大小：60000*784的张量。某个像素值是0~1之间。 one-hot vector：3=[0,0,0,1,0,0,0,0,0,0]表示标签，训练集的标签是一个矩阵【60000,10】 神经网络（只有输入层1个和输出层10个） 2.S...