weixin_45156079的博客

今天使用tensorflow2.0出现faile，我笔记本是Y7000p，显卡是2060显存就有6G所以在使用的时候出现问题：Failed to get convolution algorithm. This is probably because cuDNN failed to initialize解决方案：#tensorflow1.X版本from tensorflow.compat.v1 import ConfigProtofrom tensorflow.compat.v1 import I

Tensorflow核心二—Gradient DescentWhat’s Gradient什么是梯度？从高中学到的导数就是变动率（函数沿着某一方向变动变化率）。针对与某一轴变动就是针对与某一轴的偏微分，每个轴的偏微分的向量和就叫做梯度。如图，-2x和2y就是偏微分，合在一起的向量就叫做梯度What does it mean箭头的方向就是梯度的方向，改变的速率就是模长。How to SearchSearch for minima:在正常程序编写中，根据这个基本原理，衍生出很多优化器（具

Tensorflow学习十二—循环神经网络

Tensorflow实现网络—Resnet一、什么残差网格对于传统的深度学习网络，我们普遍认为网络深度越深（参数越多）非线性的表达能力越强，该网络所能学习到的东西就越多。我们凭借这一基本规则，经典的CNN网络从LetNet-5（5层）和AlexNet（8层）发展到VGGNet(16-19)，再到后来GoogleNet（22层）。根据VGGNet的实验结果可知，在某种程度上网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果，从

Tensorflow实现网络—VGGVGG简介VGG Net由牛津大学的视觉几何组（Visual Geometry Group）和 Google DeepMind公司的研究员一起研发的的深度卷积神经网络，在 ILSVRC 2014 上取得了第二名的成绩，将 Top-5错误率降到7.3%。它主要的贡献是展示出网络的深度（depth）是算法优良性能的关键部分。目前使用比较多的网络结构主要有ResNet（152-1000层），GooleNet（22层），VGGNet（19层），大多数模型都是基于这几个模型上

Tensorflow学习十一—池化与采样SampingSamping缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的有两个：1、使得图像符合显示区域的大小；2、生成对应图像的缩略图。放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。对图像的缩放操作并不能带来更多关于该图像的信息, 因此图像的质量将不可避免地受到影响。然而，确实有一些缩放方法能够增加图像的信息

Tensorflow学习十—卷积神经网络什么是卷积那么为什么使用卷积？1、减少数据量，权值共享当channal==3什么卷积神经网络卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一 。卷积神经网络具有表征学习（representation learning）能力，能够按其阶层结构对输入信息进行平移

Tensorflow学习九—过拟合欠拟合欠拟合当我们使用的模型复杂度远远低于你真实数据的复杂程度，这时我们叫做欠拟合(under fitting)。出现的情况及时Acc上升一定程度之后不再上升，Loss下降到一定程度之后不再下降。在train和test的时候都会表现的很差。解决方法就是增加模型的复杂度过拟合使用的模型的复杂度远远大于真实数据的复杂程度。由下图我们可以看出过分的把噪声包含进来了，逼近与每一个点。over-fitting出现的时候，会发现在train的时候表现的特别好而test的时

Tensorflow学习八—动量与学习率momentum首先看下动量的定义：整个深度学习就是一个梯度更新的问题，在动量加入后问题就变成的一般梯度的更新方向加上一个动量梯度的更新方向的结合。换句话来说就是考虑了历史的一个效应。举个例子来说:当step-size=0.003 momentum=0的时候，优化器训练的效果图如下。当考虑到0.78的历史方向则训练效果如下：optimizer = tf.optimizers.SGD(learning_rate=0.02,momentum=0.

Tensorflow学习七—模型的保存与加载模型的保存模型的保存是很有必要的，在复杂的网络训练时间很长的时候，为了防止意外出现所以合理的保存模型是很有必要的。保存模型分为三种模式save/load weights最轻量级，干净的保存模型的方式。只保存网络参数，其他信息不管。#savemodel.save_weights('./checkpoints/my_checkpoints')#restoremodel = create_mode()model.load_weights('./che

Tensorflow学习六—可视化TensorBoardTensorboard，首要的目的是记录tensorflow的Graph，tensorflow的Graph其实就是具象化的算法模型；tensorflow的Graph设计好后，具体执行流程由tensorflow的Session控制，不需要我们人为去控制流程。tensorboard还可以记录和查看模型的过程数据，例如迭代过程中的损失值，准确率，过程中的图片，学习速率等等过程数据；总的可以认为tensorboard可视化的用途：为了更方便 Tensor

Tensorflow学习五—全连接什么是全连接今天开始我们以神经层的形式开始介绍，首先介绍全连接层。那么什么是全连接？全连接层就是对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。换句话来说全连接层就是每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。在CNN中全连接层的作用？在CNN（卷积神经网络）中可以整合卷积层或者池化层中具有类别区分性的局部信息．为了提升 CNN 网络性能

Tensorflow学习四—高阶操作Merge and split1、tf.concat 拼接a = tf.ones([4,32,8])b = tf.ones([2,32,8])print(tf.concat([a,b],axis=0).shape)#(6, 32, 8)2、tf.split 分割split(value, num_or_size_splits, axis=0, num=None, name='split')a

Tensorflow学习三—基础操作Tensorflow包含的数据类型常见的数据类型载体：python : list[1,1.2,“hello”,(1,2)]numpy : np.arraytensorflow : tf.Tensortf.Tensor:scalar: 1.1vector（数组）: [1.1],[1.1, 2.2, … ]matrix（矩阵）: [[1.1, 2.2],[3.3, 4.4],[5.5, 6.6]]tensor: ???????????????? >

TensorFlow学习二—MNIST导读开始学习：在机器视觉中最为常用的可能就是分类，今天导读就说说分类问题。首先我们先了解分类问题输入输出究竟是什么，拿今天要讲的MNIST数据集来说它的input:[b,784] 的数组,对于输出那不明思议就是类别，对于分类我们最简单表示就是把每个类别编码成一个具体的数值，例如：这样1.1就是cat,2.2就是fish……但这么做会出现两个问题：一是数值存在大小关系而类别没有。第二对于类别来说没有2.2好于2.1这种概率方式。所以还有一种常见的编码方

TensorFlow学习一 — 线性回归一、了解回归问题1.1什么是回归模型回归模型是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。例如，司机的鲁莽驾驶与道路交通事故数量之间的关系，最好的研究方法就是回归。1.2回归应用场景回归问题的应用场景一般是预测的结果是连续的。例如，预测明天的温度，23，24，25度回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，