jane_6091的博客

初级课程：1.张量、计算图和会话2.前向传播3.反向传播4.损失函数：激活函数，交叉熵，softmax函数5.学习率 learning rate6.滑动平均7.正则化8.神经网络搭建八股9.卷积神经网络高级：8.简单线性模型9.CNN（mnist）10.mnist改进11.tensorboard12.dropout13.mnist交叉熵损失函数14.非线性回归1...

搜索策略：1.网格搜索2.随机搜索3.遗传算法搜索4.启发式搜索1.网格搜索离散值代入，如上图所示，learning rate 有四个离散值，dropout rate 有四个离散值，组成16个组合。每个方格对应一组超参数一组一组参数尝试2.随机搜索网格搜索缺点：只能取固定的值，最优的值可能在其他位置随机搜索是随机产生值，可搜索空间更大3.遗传算法搜索遗传算法是独立算法。...

最常见的归一化：1.将输入数据x_train,x_valid,x_test归一化为均值为0，方差为1的数据。2.min-max归一化：x*=(x-min)/(max-min)3.Z-score 归一化：(x-均值)/方差批归一化：在神经网络中，对每一层的激活值都做归一化...

环境：tensorflow2.0keras1.导入库import matplotlib as mplimport matplotlib.pyplot as plt%matplotlib inlineimport numpy as npimport sklearnimport pandas as pdimport osimport sysimport timeimport ...

from captcha.image import ImageCaptchaimport numpy as npfrom PIL import Imageimport randomimport sysimport osnumber = [str(i) for i in range(10)]# 随机生成4个字符def random_captcha_text(char_set=nu...

import tensorflow as tfimport osimport tarfileimport requestsinception_pretrain_model_url = 'http://download.tensorflow.org/models/image/imagenet/inception-2015-12-05.tgz'inception_pretrain_mod...

保存模型saver = tf.train.Saver()with tf.Session() as sess: sess.run(init) ......省略训练过程 saver.save(sess,'net/mymodel.ckpt')载入模型saver = tf.train.Saver()with tf.Session() as sess: sess....

参考视频：https://www.bilibili.com/video/av20542427?p=23import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist=input_data.read_data_sets('MNIST_data',one_hot=True)#初始化权...

参考视频：https://www.bilibili.com/video/av20542427/?p=12import tensorflow as tfimport numpy as npimport matplotlib.pyplot as plt#使用numpy生成200个随机点x_data = np.linspace(-0.5,0.5,200)[:,np.newaxis]nois...

import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#定义每个批次的大小，训练模型的时候一次放入一个批次b...

import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#定义每个批次的大小，训练模型的时候一次放入一个批次b...

import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#定义每个批次的大小，训练模型的时候一次放入一个批次...

import tensorflow as tfimport numpy as npfrom tensorflow.examples.tutorials.mnist import input_data#载入数据集mnist = input_data.read_data_sets("MNIST_data",one_hot=True)#定义每个批次的大小，训练模型的时候一次放入一个批次...

import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_data#if you want use gpu to train #import os#using gpu when training, zero means the first gpu#os.environ['CUDA_VISI...

参考视频：https://www.bilibili.com/video/av20542427/?p=12import tensorflow as tfimport numpy as np#使用numpy随机生成100个点x_data = np.random.rand(100)y_data = x_data*0.1 + 0.2#构造一个线性模型b = tf.Variable(0.)...

全连接NN：每个神经元与前后相邻层的每一个神经元都有连接关系，输入是特征，输出为预测的结果。参数个数：（前层×后层+后层）的和问题：待优化的参数过多容易导致模型过拟合。实际应用：会先对原始图像进行特征提取再把提取到的特征喂给全连接网络。卷积（convolutional）：卷积可认为是一种有效提取图像特征的方法。一般会用正方形卷积核，遍历图片上的每个点。图片区域内，相对应的每一个像素值，乘以卷积核内...

后续的课程都将应用实现，所以很多东西需要模块化搭建模块化的神经网络八股

正则化缓解过拟合（不能很好的预测样本值，即训练的loss很小，但是测试的loss很大）正则化在损失函数中引入模型复杂度指标，利用给w加权值，弱化了训练数据的噪声（一般不正则化b）loss=loss（y与y_的均方误差或者交叉熵）+REGULARIZER*loss(w)w是需要正则化的参数，REGULARIZER给出参数w在总loss中的比例，即正则化的权重tensorfl...

滑动平均（影子值）：记录了每个参数一段时间内过往值的平均，增加了模型的泛化性针对所有参数：w和b影子=衰减率×影子+（1-衰减率）×参数         影子初值=参数初值import tensorflow as tf#定义变量及滑动平均w1=tf.Variable(0,dtype=tf.float32)#定义num_updates(NN的迭代轮数)，初始值为0，不可被优化（训练），这个参...

学习率表示为每次参数更新的幅度wn+1（更新后的参数）=wn（当前参数）-learning_rate*损失函数的导数例子：得到loss函数斜率最小的点。不知道为什么不直接计算梯度令其为0，是不是因为可能是局部最小点。。#设损失函数loss=（w+1）^2，令w初值为5，反向传播求最优wimport tensorflow as tfw=tf.Variable(tf.constant(5,dt...

之前的神经元模型：1943年McCulloch Pitts神经元模型：添加了偏置项bias和激活函数activation function以后都用这种模型激活函数：relu（现在最常用）     sigmoid            tanhtf.nn.relu()                    tf.nn.sigmoid()         tf.nn.tanh()nnFU...

反向传播--->训练模型参数，在所有参数上用梯度下降，使NN模型再训练数据上的损失函数最小。损失函数（loss）：预测值（y）与已知答案（y_）的差距均方误差MSE：loss=tf.reduce_mean(tf.square(y,y_))反向传播训练方法：以减小loss值为优化目标train_step=tf.train.GradientDescentOpt...

参数：即计算图线上的权重W，用变量表示，最开始随机给初值w=tf.Variable(tf.random_normal([2,3],stddev=2,mean=0,seed=1))参数： 正态分布 标准差 均值 随机种子（如果为0，则每次生成的数都不一样）tf.truncated_nomal() 去掉超过两个标准差的偏离点的正态分布tf.random_uniform()...

目标：搭建第一个神经网络，总结搭建八股基于tensorflow的nn：用张量表示数据，用计算图搭建神经网络，用会话执行计算图，优化线上的权重（参数），得到模型。张量（tensor）：多维数组（列表）  阶：张量的维数维数   阶  名字                  例子0-D    0    标量 scalar      s=1231-D    1   向量 vector      s=[1...

参见博客：https://zhuanlan.zhihu.com/p/34879333

在anaconda prompt中执行以下语句：conda create --name tf python=3.5.0 y激活tf环境：activate tf检查python版本：python退出：exit()安装tensorflow：pip install tensorflow...

参考博客：https://blog.youkuaiyun.com/weixin_39502247/article/details/80032487深度学习的优化算法，有两种参数更新的方式：1.Batch gradient descent 批梯度下降。遍历所有的数据集算一次损失，然后算函数对每个参数的梯度，更新梯度。这种方法要将数据集里的所有的样本都算一遍，计算量非常大，计算速度慢。2.Stochasti...

x_data:输入数据y_data:数据真实标签W：权重b：偏量神经元：Wx_data+b激活函数σ() ：tanh() sigmoid() ReLU()隐藏层输出：output = σ(Wx_data+b)softmax()：主要用于分类网络的输出层，使得每个输出的概率在0-1之间，并且所有的概率和为1epoch：迭代的次数，代表需要将数据集训练的次数batch：批量数...