赖德发的博客

检测是否开启GPUimport tensorflow as tfprint("Num GPUs Available: ", len(tf.config.experimental.list_physical_devices('GPU')))运行结果：Num GPUs Available: 0现状：之前安装好了tensorflow_gpu ，也安装了tensorflow ，显卡驱动，cuda,cudnn 等之类的所有具备条件。其实不需要tensorflow ，这是CPU版本安装的，不知道什么

在tensorflow 2.0中定义了很多低阶API,在日常编程中除了需要用到高阶API tf.keras 之外，也需要用到一些低阶API,下面一起来学习吧。1、tf.constant 提供了常量的申明功能。# -*- coding: utf-8 -*-import tensorflow as tfa=tf.constant(10)print(a.numpy())运行结果：10Process finished with exit code 02、tf.Variable 提供了变量的

tensorflow2.0 保存模型方式主要有4种，下面一一介绍下。1、保存全模型，权重和模型框架一起保存H5格式model.save('the_save_model.h5')new_model = keras.models.load_model('the_save_model.h5')2、将模型保存为SavedModel格式，python，java 均可调用keras.experimental.export_saved_model(model, 'saved_model')new_model

1、总体效果比较 ELU > leaky ReLU（及其变体）> ReLU > tanh > sigmoid。如果你关心运行时性能，那么你可能喜欢 leaky ReLU超过ELU。 如果你不想调整另一个超参数，你可以使用前面提到的默认的 α 值（leaky ReLU 为 0.01，ELU 为 1）。 如果你有充足的时间和计算能力，你可以使用交叉验证来评估其他激活函数，特别是如果你的神经网络过拟合，则为RReLU; 如果您拥有庞大的训练数据集，则为 PReLU。2、详细介绍

在tensorflow中准备图片数据的常用方案有两种，第一种是使用tf.keras中的ImageDataGenerator工具构建图片数据生成器。第二种是使用tf.data.Dataset搭配tf.image中的一些图片处理方法构建数据管道。第一种方法更为简单from keras.preprocessing.image import ImageDataGeneratortrain_dir...

主要内容1、深度学习显卡驱动安装2、cudatoolkit安装3、cudnn安装4、验证安装成功一、基本环境信息显卡：GeForce GTX 1660操作系统：CentOS 7.4二、基础环境验证验证系统是否能正常识别 GPUlspci | grep -i nvidia这里看到有2块显卡。三、检查系统需要的驱动版本安装yum erase kmod-nvidiayu...

用虚拟机使用物理机的显卡，驱动装好之后，错误描述：[root@TEST-AI ~]# nvidia-smiUnable to determine the device handle for GPU 0000:13:00.0: Unknown Error解决办法：定位是 宿主机 没配好，解决：宿主机中操作：找到虚拟机的vmx文件，在其中添加内容hypervisor.cpuid.v...

一、什么是模型压缩？模型压缩的目标是保证模型预测效果的前提下，尽可能地降低模型的大小二、为什么要进行模型压缩？1. 模型压缩后，模型很小，进行推断的运算量小，利于在移动端部署。2. 诸如Bert等深度学习的参数太多了，模型太大了，消耗的计算资源过多，进一步加大了深度学习爱好者们的“贫富差距”，不够和谐。以Bert-large为例，训练一次需要64G显存的google TPU，按照每小时6...

报错信息提示：E tensorflow/stream_executor/cuda/cuda_dnn.cc:329] Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILED原因分析：GPU显存设置有问题，需要设置为仅在需要时申请显存。import tensorflow as tfconfig = tf.compat.v1.Conf...

一、回归算法可用损失函数如下：1、均方误差损失函数：mean_squared_errormean_squared_error(y_true, y_pred)2、平均绝对误差损失函数：mean_absolute_errormean_absolute_error(y_true, y_pred)3、平均绝对百分比误差损失函数：mean_absolute_percentage_errorm...

如果在使用 tensorflow 过程中出现 Error : Failed to get convolution algorithm ，这是因为显卡内存被耗尽了。解决办法：在代码的开头加入如下两句，动态分配显存physical_device = tf.config.experimental.list_physical_devices("GPU")tf.config.experimental...

常见的误差计算函数有均方差、交叉熵、KL 散度、Hinge Loss 函数等，其中均方差函数和交叉熵函数在深度学习中比较常见，均方差主要用于回归问题，交叉熵主要用于分类问题。下面我们来深刻理解下这两个概念。1、均方差MSE。预测值与真实值之差的平方和，再除以样本量。均方差广泛应用在回归问题中，在分类问题中也可以应用均方差误差。2、交叉熵再介绍交叉熵损失函数之前，我们首先来介绍信息学中熵(...

本篇文章将会教大家如何 合理分配显卡资源，设置显存使用策略。主要使用tf.config模块进行设置。下面我们一起了解下具体用法和例子。一、指定当前程序使用的 GPU例如，在一台具有 4 块 GPU 和一个 CPU 的工作站上运行以下代码：import tensorflow as tfgpus = tf.config.experimental.list_physical_devices(d...

本篇文章将介绍基于Keras深度学习的多变量时间序列预测的LSTM模型。项目名称：空气污染预测一、主要内容：如何将原始数据集转换为可用于时间序列预测的内容。如何准备数据并使LSTM适合多变量时间序列预测问题。如何进行预测并将结果重新缩放为原始单位。二、数据下载在本教程中，我们将使用空气质量数据集。该数据集报告了美国驻中国大使馆五年来每小时的天气和污染水平。数据包括日期时间，称为PM...

版本信息：python 3.7.5 cuda 10.0cudnn 7.6.4window 10pip install tensorflow_gpu==2.0.0本机显卡：GeForce GTX 1650 显卡驱动已从官方下载安装成功。一、下面我们安装cuda10.0：下载地址：cuda 10.0 下载地址一直下一步就可以了。二、下面我们安装cudann 7.6.4cud...

windows10 使用tensorflow_gpu==2.0.0 版本跑代码时报错误：错误描述：Could not create cudnn handle: CUDNN_STATUS_ALLOC_FAILEDtensorflow.python.framework.errors_impl.UnknownError: Fail to find the dnn implementation. [...

主要介绍TensorFlow 另一个数据处理的利器——TFRecord。一、什么是TFRecord ？TFRecord 是 TensorFlow 中的数据集存储格式。当我们将数据集整理成 TFRecord 格式后，TensorFlow 就可以高效地读取和处理这些数据集，从而帮助我们更高效地进行大规模的模型训练。TFRecord 可以理解为一系列序列化的 tf.train.Example 元素...

上一篇文章TensorFlow 2.0 常用模块tf.data介绍了基本的使用读取数据方法，下面我们介绍如何通过 prefetch 和 map 的并行化参数，让 tf.data 的性能得到明显提升。当训练模型时，我们希望充分利用计算资源，减少 CPU/GPU 的空载时间。然而有时，数据集的准备处理非常耗时，使得我们在每进行一次训练前都需要花费大量的时间准备待训练的数据，而此时 GPU 只能空载...

在部分网络结构，尤其是涉及到时间序列的结构中，我们可能需要将一系列张量以数组的方式依次存放起来，以供进一步处理。当然，在 Eager Execution 下，你可以直接使用一个 Python 列表（List）存放数组。不过，如果你需要基于计算图的特性（例如使用 @tf.function 加速模型运行或者使用 SavedModel 导出模型），就无法使用这种方式了。因此，TensorFlow 提供了...

背景：很多时候，我们希望使用自己的数据集来训练模型。然而，面对一堆格式不一的原始数据文件，将其预处理并读入程序的过程往往十分繁琐，甚至比模型的设计还要耗费精力。为此，TensorFlow 提供了 tf.data 这一模块，包括了一套灵活的数据集构建 API，能够帮助我们快速、高效地构建数据输入的流水线，尤其适用于数据量巨大的场景。1、小数据集对象的建立:tf.data 的核心是 tf.dat...

window10 本地安装tensorflow cpu 版本pip install tensorflow==2.0.0 安装完成之后运行时总会显示如下警告信息：Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2如果你想忽略警告信息：import osos...

1、@tf.function 是干什么用的？虽然默认的 Eager Execution 为我们带来了灵活及易调试的特性，但在特定的场合（例如追求高性能或部署模型）时，我们依然希望使用图模式，将模型转换为 TensorFlow 图模型。此时，TensorFlow 2.0 为我们提供了 tf.function 模块，结合 AutoGraph 机制，使得我们仅需加入一个简单的 @tf.function...

大家都知道卷积神经网络可以用来做图片分类，那么循环神经网络可不可以同样用来做图片分类呢，答案是可以滴，下面我们使用TensorFlow 2.0构建循环神经网络LSTM，一起从minist 学习下吧。数据集特点：该数据集包含60,000个用于训练的示例和10,000个用于测试的示例。这些数字已经过尺寸标准化并位于图像中心，图像是固定大小(28x28像素)，值为0到255。为简单起见，每个图像都被...

在做深度学习项目的过程中，我们总会遇到困难或者说障碍，下面我们谈谈四个比较常见的问题。如何解决。目录：问题一：缺少训练数据怎么办？问题二：训练的模型过拟合怎么办？问题三：训练的模型欠拟合怎么办？问题四：模型训练时间太长怎么办？详解：1.1 缺少训练数据怎么办？深度学习模型通常需要大量的训练数据，一般来说，数据越多，模型的性能就越好。一般我们缺少训练数据，用得上一种技术，那就是数...

本篇文章将会带领大家了解什么是NLP模型当中的encoder-decoder和seq2seq。一、什么是 Encoder-Decoder ？1、Encoder-Decoder 模型主要是 NLP 领域里的概念。它并不特指某种具体的算法，而是一类算法的统称。Encoder-Decoder 算是一个通用的框架，在这个框架下可以使用不同的算法来解决不同的任务。Encoder-Decoder 这个...

导入训练好的权重文件时，报如下错误：错误1： File "/home/dongli/.conda/envs/tf2/lib/python3.7/site-packages/tensorflow_core/python/keras/saving/hdf5_format.py", line 165, in load_model_from_hdf5 raise ValueError('No ...

此文本分类教程在IMDB大电影评论数据集上训练递归神经网络，以进行情感分析。主要步骤：文本数据集处理。文本模型训练文本模型预测1、模型训练：# -*- coding: utf-8 -*-from __future__ import absolute_import, division, print_function, unicode_literalsimport tensorf...

1.安装anaconda目前anaconda官网的python版本是3.7的，目前python3.7不太支持tensorflow，推荐使用旧的python3.6版本的anaconda.下载地址：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-5.1.0-Windows-x86_64.exe清华大学镜像源：h...

创建一个数据集文件夹并命名（如 dataset）在数据集文件中创建一个名称为 train 的子文件夹在数据集文件中创建一个名称为 val 的子文件夹在 train 文件夹中，为每个你要训练的对象创建文件夹并命名在 val 文件夹中，为每个你要训练的对象创建文件夹并命名把每个对象的图像放在 train 文件夹下对应名称的子文件夹，这些图像是用于训练模型的图像，为了训练出精准度较高的模型，我...

项目目录：数据集：下载 二分类数据集：cats_and_dogs_filtered文件夹wget https://storage.googleapis.com/mledu-datasets/cats_and_dogs_filtered.zip目录结构如下：.├── [drwxr-x---] cats_and_dogs_filtered│ ├── [drwxr-x---] t...

本教程使用Keras Sequential API，因此创建和训练模型仅需几行代码。基本目录如下：1、导入tensorflow2、下载cifar图片数据集3、归一化4、创建序惯模型5、 编译和训练模型6、保存模型7、评估模型CIFAR10数据集包含10类60,000张彩色图像，每类6,000张图像。数据集分为50,000个训练图像和10,000个测试图像。这些类是互斥的，并且它们...

在我们训练深度学习网络的时候，如何保存模型，并提供给客户端使用，是常见的问题。保存Tensorflow的模型有很多方法-具体而言是您使用的API。本指南使用tf.keras。方式1：在训练期间保存模型（以checkpoints形式保存）您可以使用训练好的模型而无需从头开始重新训练，或在您打断的地方开始训练，以防止训练过程没有保存。tf.keras.callbacks.ModelCheckpoi...

下面我们用 tensorflow2.0 进行手写数字识别，看看tensorflow2.0 如何写代码。简单版：使用sequential 模型构建模型：# -*- coding: utf-8 -*-import tensorflow as tfmnist = tf.keras.datasets.mnist(x_train, y_train), (x_test, y_test) = ...

近几年最火的深度学习框架是什么？毫无疑问，tensorflow 高票当选，同时pytorch,caffe 用的人也非常多，这些框架各有优势，但都具备 一些普遍特征，下面我们抽象出来，整理一下，方便大家有目标学习。五大核心组件如下：（1）张量tensor的数据结构（2）基于张量的各种操作。（3）计算图。（4）自动微分工具。（5）BLAS、cuBLAS,cuDNN 等扩展包，加速运算。...

下面我们在GPU 服务器完成 nvidia-driver, docker 以及 nvidia-docker 安装。centos7 环境下：# 安装 CUDAwget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-rhel7-8-0-local-ga2-8.0.61-1.x86_64...

无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。人工智能教程安装python 环境，均以python3.7版本、可用anaconda 安装conda create -n tf2 python=3.7进入名为“tf2”的虚拟环境source activate tf2...

开始训练模型之前，需要对收集的图片进行处理。那么第一步 就是制作trian和val TXT的文件。训练和测试的图片数据集 分别放在 train 和val 两个文件夹下。数据集，共有五类图片，分别是：flower、guitar、animal、houses和plane。有了图片数据集后，需要划分为train和val数据集，前者用于训练模型的数据，后者主要用于验证模型。这里提供一个create_l...

有了 train.txt和val.txt数据集，我们就可以制作train.tfrecords和val.tfrecords文件了，下面提供一个用于制作tfrecords数据格式的Python文件：create_tf_record.pycreate_tf_record.py提供几个重要的函数：1、create_records()：用于制作records数据的函数，2、read_records()...

错误描述：ValueError : Tensor Tensor("predictions/Softmax:0",shape=(?,4),dtype=float32) is not an element of this graph在进行加载模型进行预测时报这个错误。问题描述：在keras+tensorflow框架下训练神经网络并得到权重h5文件。在之后需要调用的python代码中读取权重...

这在举国欢庆的日子，TensorFlow 2.0正式版终于发布了！深度集成Keras，更简单、更易用，GPU训练性能提升。这是一个革命性的新版本，欢迎来到 TensorFlow 2.0！TensorFlow 2.0的Alpha版本今年初在TensorFlow开发者大会上首次发布，经过近7个月的不断修改、更新，TensorFlow 2.0正式版可谓是千呼万唤始出来。为了提高易用性，TensorF...